DRIVE Sim – NVIDIA 技術博客

使用 Trajeglish 幫助自動駕駛汽車學習人類駕駛行為語言

Mon, 18 Dec 2023 04:08:32 +0000

駕駛員之間的溝通常常遠超于轉向燈和剎車燈的使用，很多情況下都依賴于人與人之間的交流，而并非汽車技術，比如，示意另一輛車繼續前行、觀察另一位駕駛員是否注意到了自己、友好地向對面的車揮手等。在不久的將來，自動駕駛汽車（AV）必將與人類駕駛員共存，因此它們需要能夠理解這種行為，才能做出不阻礙交通的安全決策。為了在訓練中解決這一挑戰，開發者必須能夠預測其他車輛的未來運動會如何受到自動駕駛汽車行動的影響。NVIDIA Research團隊在最近發表的一篇論文中介紹了一種交通建模方法——Trajeglish，其能夠以語言模型對單詞和短語進行標記的方式，來對車輛運動進行標記化處理，以此實現逼真的多車輛駕駛場景仿真。在 Waymo 仿真智能體挑戰賽（Waymo Sim Agents Challenge）的第一輪（V0）中，與其他16個交通模型相比，

Source

]]>

使用自監督學習重建動態駕駛場景

Tue, 05 Dec 2023 05:26:42 +0000

從單調乏味的高速公路到日常的社區出行，駕駛通常都很平靜。因此，在現實世界中收集的大部分自動駕駛汽車 (AV) 開發訓練數據嚴重傾斜于簡單的場景。這給部署穩健的感知模型帶來了挑戰。AV 必須經過全面的訓練、測試和驗證，才能處理復雜的情況，而這需要涵蓋此類情況的大量數據。模擬為在現實世界中查找和收集此類數據提供了一種替代方案，而這需要非常耗時和成本。然而，大規模生成復雜的動態場景仍然是一個重大障礙。在最近發表的一篇論文中，NVIDIA Research 展示了一種新的基于神經輻射場（NeRF）的方法（稱為 EmerNeRF），它如何使用自監督學習準確生成動態場景。通過自監督進行訓練，EmerNeRF 不僅在處理動態對象時優于其他基于 NeRF 的方法，而且在處理靜態場景時也表現出色。有關更多詳情，請參閱 EmerNeRF：通過自監督對緊急時空場景進行分解。

Source

]]>

使用 Bi-Level 模仿學習仿真現實交通行為

Tue, 28 Nov 2023 04:44:13 +0000

無論是突然加塞（cut-in），還是無意地 U 形掉頭，人類駕駛員的行為通常難以預測。行為的不可預測性源自人類決策過程的天然復雜性, 往往受多種因素的影響，而且在不同的運行設計域（ODD）和國家也會有所不同，因此很難在仿真中模擬駕駛行為。但自動駕駛汽車（AV）的開發人員需要有把握地開發和部署能夠在不同 ODD 環境以及多樣的交通行為下運行的駕駛系統。NVIDIA Research 團隊最近發表的論文 BITS: Bi-Level Imitation for Traffic Simulation 中概述了一種仿真現實世界交通行為的新方法，該方法可以幫助開發人員做到這一點。交通仿真 Bi-Level 模仿（BITS）是一種交通模型，該模型能夠以驚人的逼真度還原現實世界的復雜性，而且性能超過了以往的方法。在該論文詳細介紹的一個試驗中，

Source

]]>

使用合成數據處理自動駕駛汽車感知

Mon, 13 Nov 2023 07:35:59 +0000

自動駕駛汽車 (AV) 有各種形狀和大小，從小型客車到多軸半掛卡車不等。但是，部署在這些車輛上的感知算法必須經過訓練，以處理類似情況，例如避開障礙物或行人。用于開發和驗證這些算法的數據集通常由一種類型的車輛收集，例如配備攝像頭、雷達、激光雷達和超聲波傳感器的轎車。在車隊傳感器數據上訓練的感知算法可以在類似的傳感器配置上可靠地執行。但是，在使用不同傳感器配置的車輛上部署相同的算法時，感知性能會降低，因為它是從新的角度來看世界的。要解決感知準確性方面的任何損失，需要測量深度神經網絡 (DNN) 對新傳感器位置的敏感度。使用靈敏度分析，可以從多個角度重新訓練感知算法，從而有針對性地提高可靠性。但是，執行靈敏度分析和重新訓練感知都需要跨各種傳感器配置收集和標注數據集。這是一個耗時且成本高昂的過程。

Source

]]>

驗證 NVIDIA DRIVE Sim 雷達模型

Tue, 26 Sep 2023 05:13:33 +0000

傳感器模擬是解決自動駕駛汽車（AV）開發中現實世界數據差距的關鍵工具。然而，只有傳感器模型準確地反映了物理世界，它才有效。傳感器可以是被動的，比如相機，也可以是主動的，發出電磁波（激光雷達、雷達）或聲波（超聲波）來產生傳感器輸出。在模擬中建模時，每個模態都必須根據其真實世界中的對應模態進行驗證。在之前的文章中，我們詳細介紹了如何使用 NVIDIA DRIVE Sim 驗證相機和激光雷達模型，具體可以參見 Validating NVIDIA DRIVE Sim Camera Models 和 Validating NVIDIA DRIVE Sim Lidar Models。本文將涵蓋雷達，這是一種用于探測和躲避障礙物的重要傳感器。雷達驗證有多種方法。例如，您可以比較在真實世界數據上訓練的 AV 堆棧在遇到合成雷達數據時的行為。或者，

Source

]]>

用神經激光雷達場感知自動駕駛汽車仿真的新前沿

Thu, 27 Jul 2023 03:09:05 +0000

自動駕駛汽車（ AV ）的開發需要大量的傳感器數據來進行感知開發。開發人員通常從兩個來源獲得這些數據——真實世界驅動器的回放流或模擬。然而，真實世界的數據集提供的靈活性有限，因為數據僅固定于物理傳感器捕獲的對象、事件和視角。也很難大規模模擬真實世界條件的細節和缺陷，例如傳感器噪聲或遮擋。近年來，神經領域獲得了巨大的吸引力。這些人工智能工具捕捉真實世界的內容，并從新穎的視角以高逼真度對其進行模擬，實現了 AV 模擬所需的保真度和多樣性。在 NVIDIA GTC 2022 上，我們展示了如何利用神經重建技術，使用模擬中記錄的相機傳感器數據構建 3D 場景，并從新的視角進行渲染。我們在即將于 2023 年 10 月 2 日至 6 日舉行的 ICCV 會議上發表的論文中，詳細介紹了在合成激光雷達數據時，如何應用類似的方法來應對這些挑戰。

Source

]]>

利用合成數據聚焦遠場物體，實現基于攝像頭的 AV 感知

Thu, 18 May 2023 06:20:57 +0000

檢測遠場物體，如 100 米以外的車輛，是自動駕駛系統在高速公路上安全操作的基礎在這樣的高速環境中，每一秒都很重要。因此，如果在以 70 英里/小時的速度行駛時，自動駕駛汽車（ AV ）的感知范圍可以從 100 米增加到 200 米，那么車輛有更多的時間做出反應。然而，對于通常部署在量產乘用車中的基于攝像頭的感知系統來說，擴展這一范圍尤其具有挑戰性。訓練用于遠場物體檢測的相機感知系統需要收集大量的相機數據以及地面實況（ GT ）標簽，例如 3D 邊界框和距離。對于超過 200 米的物體來說，提取這些 GT 數據變得更加困難。物體離得越遠，在圖像中就越小，最終只有幾個像素寬。通常，像激光雷達這樣的傳感器與聚合和自動標記技術一起使用來提取 3D 和距離信息，但這些數據在激光雷達的工作范圍之外變得稀疏和嘈雜。

Source

]]>