前不久，谷歌公布了一系列與AR導航、沉浸式立體地圖相關的更新，讓我們進一步了解谷歌3D地圖的發展路徑，包括基于海量街景數據合成3D，以及後續會在街景相機上加入LiDAR模組，來實現3D定位等等。

相比于Niantic、Snap等初創公司，谷歌LBS AR、3D地圖領域更具優勢，僅背靠谷歌地圖、谷歌地球就擁有大量的環境和定位數據，因此擴展3D地圖布局将更加順利。

不僅如此，谷歌已經開始從多方面着手收集3D的環境數據。比如，谷歌母公司Alphabet旗下的自動駕駛汽車項目Waymo，近期就公布了圖像合成模型NeRF的衍生版本：Block-NeRF，其特點是可通過自動駕駛汽車的傳感器來收集街區的環境數據，并根據這些數據來合成大規模的3D場景。

據了解，NeRF簡單來講就是神經輻射場，原理是使用MLP神經網絡隐式的學習一個靜态3D場景，并通過靜态圖像，去渲染大規模3D場景的任意角度。

與此前谷歌的其他NeRF模型相比，Block-NeRF采用自動駕駛汽車Waymo用傳感器收集的路面數據，來生成區域神經輻射場，并組合成3D場景。Block-NeRF不局限于車輛經過的路面場景，也可以3D重建完整的大規模環境。比如，Waymo利用Block-NeRF渲染了舊金山阿拉莫廣場街區（約半平方公裡），其中包括35個街區NeRF模型。

經過三個月時間，Waymo捕捉280萬張圖片。一些場景甚至需要超過13小時車程（1330次駕駛）收集的數據。Waymo表示：我們構建了迄今為止最大的神經輻射場，可渲染出舊金山的完整街區。

Block-NeRF的亮點是比NeRF方案渲染的環境規模更大，其規模可跨越城市多個街區，因此有潛力渲染城市規模的3D場景。實際上，Block-NeRF是将多個街區分解為單獨的NeRF，并分别訓練這些分區NeRF，然後通過進行組合而生成完整場景。

分區訓練NeRF的好處是，可分解渲染時間，可快速擴展至任意大渲染規模，而且每一塊NeRF都可以獨立更新。

因此，利用Block-NeRF生成的3D場景可任意角度查看，而且可以調整一天任意時間的光影等元素變化。

等等，怎麼聽上去像這麼像是一個三維建模引擎，傳統的引擎是基于虛拟場景建模，而Block-NeRF則是基于真實場景來建模，同樣是建模，也見證了不同公司的不同視角。

很顯然，在面向LBS AR/MR的交互場景下，基于Block-NeRF的潛力無窮大。未來的AR将不局限于Local模式，基于真實世界的虛拟場景錨定将呈現完全不同的體驗​。

随着技術發展，神經輻射場在給定一組相機姿态圖像後，可實現照片級保真的3D重建和新視圖合成。不過，早期的方案主要針對小規模場景、目标物體為中心進行重建，難以實現城市級的規模化3D重建（重建大場景時容易導緻明顯的僞影和低視覺保真度）。

大規模3D場景重建有多種用途，可用于自動駕駛、航空測量等領域。比如地圖映射，為真實場景創建高保真的3D地圖，以幫助機器人定位、導航和躲避障礙。此外，大規模場景建模也可用于閉環機器人模拟。

對于自動駕駛系統來講，可生成任意視圖的3D場景可提升導航的穩定性，因為3D場景模型記錄了場景中可能出現的變化（比如環境照明條件、相機曝光、天氣和時間變化、汽車和行人運動），因此在實際導航時，即使路面信息變化，車輛的軌迹也不容易被改變。

不過，這種動态變化的3D場景無法依賴一次性采集的環境數據，為了體現場景中不同區域的變化，這些區域分别需要獨立的數據源。因此，Waymo在NeRF基礎上進行擴展，将一個場景分為多個block/區域，并通過外觀嵌入和學習姿态細化，以此開發了Block-NeRF模型，來計算動态環境變化。

相比于統一的NeRF模型，Block-NeRF更加模塊化，其好處是降低渲染時間和對算力的依賴，在擴展3D場景規模時，無需重新訓練整個網絡。也就是說，隻需要獨立渲染每一個Block-NeRF的分區，然後根據它所在的位置，合稱為3D場景。

這些NeRF模塊可并行渲染和訓練，在計算過程中可實現場景的平滑合成。同時，還優化了外觀代碼，以匹配環境光照條件，動态調整亮度權重。

而為了讓Block-NeRF在不同環境中也能穩定捕捉數據，Waymo更改了幾種架構設計，并為每個獨立的NeRF加入外觀嵌入、學習姿态細化和可控曝光功能。此外，為了提升NeRF模塊的組合效果，還引入了一個專門的拼接匹配程序。

為了覆蓋目标環境，Waymo會在每個交叉口放置一個Block-NeRF，可覆蓋相關街道75%面積。這意味着兩個相鄰街區常常有50%試圖重疊。這些NeRF模塊的尺寸和布局可自定義，隻要确保完整覆蓋整個場景即可。

為了展示研究成果，科研人員分别創建了基于舊金山阿拉莫光場和使命灣合成的3D場景。據悉，阿拉莫廣場面積960x570米，數據分别捕捉于6月、7月和8月，共由35個Block-NeRF組成，經過了38到48次數據收集訓練，訓練每個Block-NeRF分别使用了6.5萬到10.8萬張圖像數據，累計采集時間為13.4小時（1330次數據采集）。

使命灣數據集則是一個對照數據，作為Block-NeRF的訓練基準。該數據是在2020年11月一次性采集的，捕捉到的圖像擁有一支的環境條件，采集時間超過100秒，包含1.08公裡車程、1.2萬張圖像。

經過實驗驗證，科研人員發現Block-NeRF還存在一些局限，比如：

1）如果對象未正确遮蓋，它們可能會導緻生成的渲染中出現僞影，比如正确移除汽車後，常常還會留下汽車的影子。

2）另外，合成場景中的植被也打破了沉浸感，因為樹葉會随風移動的特性，導緻樹木和植物的渲染結果模糊。

3）訓練數據中可能會出現時間不一緻的模塊，需要手動重新訓練。

值得注意的是，目前Block-NeRF還無法渲染動态對象，未來可以在優化過程中訓練瞬态對象，或是直接對動态對象建模來解決這一問題。也可以通過分割掩模、邊界框來分離Block-NeRF和單獨可控的NeRF對象。

此外，還需要采用緩存技術、稀疏體積網格等方式，來優化NeRF渲染的計算成本、延遲。參考：Waymo

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!