自動駕駛汽車（ AV ）的開發需要大量的傳感器數據來進行感知開發。
開發人員通常從兩個來源獲得這些數據——真實世界驅動器的回放流或模擬。然而，真實世界的數據集提供的靈活性有限，因為數據僅固定于物理傳感器捕獲的對象、事件和視角。也很難大規模模擬真實世界條件的細節和缺陷，例如傳感器噪聲或遮擋。
近年來，神經領域獲得了巨大的吸引力。這些人工智能工具捕捉真實世界的內容，并從新穎的視角以高逼真度對其進行模擬，實現了 AV 模擬所需的保真度和多樣性。
在 NVIDIA GTC 2022 上，我們展示了如何利用神經重建技術，使用模擬中記錄的相機傳感器數據構建 3D 場景，并從新的視角進行渲染。我們在即將于 2023 年 10 月 2 日至 6 日舉行的 ICCV 會議上發表的論文中，詳細介紹了在合成激光雷達數據時，如何應用類似的方法來應對這些挑戰。
這種被稱為神經激光雷達場的方法優化了神經輻射場 (NeRF)，這是一種類似于激光雷達測量的表示，能夠從全新的視角合成逼真的激光雷達掃描。它將神經渲染與基于物理的激光雷達模型相結合，以準確再現傳感器行為，如光束發散、二次返回和光線下降。
利用神經激光雷達領域，我們可以提高新視圖的真實性，縮小與真實激光雷達數據記錄的領域差距。通過這樣做，我們可以提高激光雷達傳感器模擬的可擴展性，并加速 AV 的發展。
通過在 NVIDIA Omniverse 中應用神經渲染技術（如神經激光雷達場）， AV 開發人員可以繞過手動重建真實世界場景的時間和成本密集型過程。它們可以將物理傳感器帶入可擴展和可重復的模擬中。
新穎的視圖合成
雖然回放記錄的數據是測試和驗證的關鍵組成部分，但模擬 AV 系統體驗的新場景也是至關重要的。
這些場景可以測試車輛偏離原始軌跡的情況。它將以新穎的觀點看待世界。這一好處還擴展到在不同車型上測試傳感器套件，在這種情況下，鉆機的位置可能不同（例如，從轎車切換到 SUV ）。
由于能夠修改傳感器特性，如光束發散和光線模式，我們還可以在模擬中使用與最初記錄數據的傳感器不同的激光雷達類型。
然而，以前模擬新穎視圖的顯式方法已被證明是繁瑣的，而且往往是不準確的。首先，必須從掃描的激光雷達點云中提取表面表示，如曲面或三角形網格。然后，通過投射光線并將其與表面模型相交，從一個新的角度模擬激光雷達測量。
這些方法被稱為顯式重建，在渲染中引入了明顯的誤差，并假設了一個沒有光束發散的完美激光雷達模型。
神經激光雷達場方法
神經激光雷達場方法采用了 NeRF 風格的方法，而不是依賴于容易出錯的重建管道。它基于神經場景表示和傳感器建模，直接優化以渲染傳感器測量結果。這將產生更真實的輸出。
具體來說，我們使用了一種改進的激光雷達特定體積渲染程序，該程序可以從 3D 場景中創建范圍和強度測量。然后，我們添加了光束發散以提高真實感。我們考慮到激光雷達是一種主動傳感器，而不是像相機那樣的被動傳感器。這一點，加上光束發散等特性，使我們能夠再現傳感器特性，包括落射線和多次返回。
為了測試神經激光雷達場的準確性，我們在激光雷達模擬器中運行場景，將結果與在距離原始掃描不同距離處拍攝的各種視點進行比較。
然后，我們將這些掃描結果與Waymo Open 數據集進行比較，使用真實世界的強度、光線衰減和二次反射等指標來評估其保真度。我們還使用真實數據來驗證神經激光雷達場在具有挑戰性的場景中視圖合成的準確性。
在圖 2 中，神經激光雷達場準確地再現了波形特性。最上面一行顯示第一個表面完全散射激光雷達能量。其他行顯示，神經激光雷達場通過對計算的權重進行峰值檢測，然后進行基于體繪制的距離細化來估計距離。
后果
使用這些評估方法，我們將神經激光雷達場合成的激光雷達視圖與傳統的重建過程進行了比較。
通過考慮真實世界的激光雷達特性，與顯式重建相比，神經激光雷達場視圖減少了距離誤差，提高了性能。我們還發現隱式方法可以高精度地合成具有挑戰性的場景。
在我們確定性能后，我們使用兩個低級感知任務驗證了神經激光雷達場生成的掃描：點云配準和語義分割。
我們將相同的模型應用于真實世界的激光雷達掃描和各種合成掃描，以評估掃描保持準確性的程度。我們發現，在具有復雜幾何形狀和高噪聲水平的數據集上，神經激光雷達場的性能優于基線方法。
對于語義分割，我們將相同的預訓練模型應用于真實和合成激光雷達掃描。神經激光雷達領域實現了最高的車輛召回率，由于傳感器噪聲（如雙回波和射線下降），這些車輛尤其難以渲染。
雖然神經激光雷達領域仍然是一種活躍的研究方法，但它是可擴展 AV 模擬的關鍵工具。接下來，我們計劃將重點放在跨場景概括網絡和處理動態環境上。最終， Omniverse 和 NVIDIA DRIVE Sim AV 模擬器的開發人員將能夠利用這些人工智能驅動的方法進行加速和基于物理的模擬。
想要了解更多關于神經激光雷達領域以及我們的開發和評估方法的信息，請參閱Neural LiDAR Fields for Novel View Synthesis論文。
鳴謝
我們要感謝我們在蘇黎世聯邦理工學院的合作者，黃勝宇和 Konrad Schindler ，以及來自 NVIDIA 研究團隊的 Zan Gojcic 、 Zian Wang 、 Francis Williams 、 Yoni Kasten 、 Sanja Fidler 和 Or Litany 。
?
