駕駛員之間的溝通常常遠超于轉向燈和剎車燈的使用，很多情況下都依賴于人與人之間的交流，而并非汽車技術，比如，示意另一輛車繼續前行、觀察另一位駕駛員是否注意到了自己、友好地向對面的車揮手等。
在不久的將來，自動駕駛汽車（AV）必將與人類駕駛員共存，因此它們需要能夠理解這種行為，才能做出不阻礙交通的安全決策。
為了在訓練中解決這一挑戰，開發者必須能夠預測其他車輛的未來運動會如何受到自動駕駛汽車行動的影響。NVIDIA Research團隊在最近發表的一篇論文中介紹了一種交通建模方法——Trajeglish，其能夠以語言模型對單詞和短語進行標記的方式，來對車輛運動進行標記化處理，以此實現逼真的多車輛駕駛場景仿真。
在 Waymo 仿真智能體挑戰賽（Waymo Sim Agents Challenge）的第一輪（V0）中，與其他16個交通模型相比，使用這種標記化處理方法生成的交通軌跡最為逼真，比之前最先進的模型高出3.3%。
如同語言模型將段落分解成單詞和短語一樣，Trajeglish通過將每個場景分解成標記來模擬多智能體交通場景。這種方法可以考慮每個智能體和軌跡之間的相互關系，并根據它們的初始位置對運動進行預測，以涵蓋所有可能發生的交互。
圖 1. Trajeglish 僅根據行車日志的初始時間步而建模的場景，黑色標記處用于提示模型的初始狀態。
在只有現實場景初始時間步的情況下，Trajeglish也能嚴格按照日志數據，真實仿真其他車輛如何對自動駕駛汽車的行動做出反應。
模擬人類行為
在單車道高速公路場景中，模擬人類的駕駛行為相對簡單，因為在此類場景中很少有交叉路口、物體或行人。
但在城市環境中，由于交通流量和道路種類的增加，模擬多輛車的難度要大得多。為了建立適用于更廣泛場景的交通模型，近期的方法都在追求模仿行車日志中所觀察到的駕駛行為。
為了在仿真中做到這一點，需要對一個智能體在每個時間步中的實際行動進行采樣，所采樣的行動必須符合“時間步內依賴關系”，即對應所有其他智能體在該時間步所選擇的行動。
現實世界中的各行為主體都具有獨立的行為，但在交通模型中，由于記錄行車日志的時間步不連續，因此時間步之間的任何交互都會表現為協調行為，這使得時間步內依賴關系變得十分必要。通常不會記錄在日志數據中的交流，如眼神接觸或轉向燈等，也會使記錄場景中的行為主體之間表現出協調。
Trajeglish需要清楚地模擬這種時間步內依賴關系。為此，Trajeglish采用與語言模型相同的方式對給定場景進行標記化處理，使模型能夠根據場景情境只預測可能的軌跡或標記。然后，Trajeglish通過分析所有標記化場景的分布，模擬該時間步中的下一步行動。
圖2. Trajeglish通過迭代找到與下一狀態角距離最小的標記對軌跡進行標記化處理。
這個預測下一個標記的過程會不斷重復。在對一定數量的標記進行采樣后，Trajeglish就能掌握足夠的上下文，對各種長度和任意數量智能體的場景進行預測。
領先方法
Trajeglish 與 Waymo 仿真智能體 V0排行榜上的其他16個模型進行了比較，每個模型的任務是根據1秒鐘的初始駕駛信息，為最多128個智能體同時對32個場景一致的軌跡進行仿真。
該挑戰賽根據分布匹配度來評估每個仿真的真實性，計算出這些仿真場景的若干統計數據，并與在記錄場景中計算出的這些統計數據進行比較。數據越接近，得分就越高。
根據Waymo的參數，作為唯一使用標記化處理方法的模型，Trajeglish得出的結果最為真實。從質量上看，在智能體互動密集的場景中，Trajeglish的性能遙遙領先，比如交通擁堵、并線場景和四向停車路口等。
Waymo排行榜對每個模擬的三個方面進行評估，分別為運動學（如速度等）、交互或與最近車輛的距離，以及軌跡是否保持在可行駛區域內。整體逼真度為這些類別的加權平均值。
根據這些參數，Trajeglish在場景整體逼真度方面比以前的最先進模型提高了 3.3%，在交互方面提高了9.9%。
圖3. Trajeglish與Waymo仿真智能體挑戰賽其他參賽模型的成績對比（標有星號的是使用集成技術的參賽模型）
總結
人類的駕駛行為存在著很多細微差別，這給仿真再現工作帶來了巨大的挑戰。由于語言模型可以應對人類語言中相似的復雜性，因此通過借鑒語言模型，可以使這項任務變得更加容易。
這使得自動駕駛汽車的開發者可以在仿真中使用保真度更高的交通模型來加速訓練、測試和驗證。
更多信息，請閱讀論文全文以及Trajeglish：學習駕駛場景語言項目頁面（https://research.nvidia.com/labs/toronto-ai/trajeglish/）。
相關資源
- GTC session: Data-Driven AV Development: Data Management and MLOps (Spring 2023)
- GTC分會：數據驅動的自動駕駛汽車開發：數據管理和MLOPs（2023年春季）
- GTC session: Navigating the AV Landscape: Balancing Safety, Innovation, and Regulation (Spring 2023)
- GTC分會：駕馭自動駕駛汽車環境：平衡安全、創新和監管（2023年春季）
- GTC session: Accelerating AV Development with AI, Simulation, and Synthetic Data (Spring 2023)
- GTC分會：使用AI、仿真和合成數據加速自動駕駛汽車的開發（2023年春季）
- Webinar: Accelerate AV Development with DGX Cloud and NVIDIA AI Enterprise
- 網絡研討會：使用DGX Cloud和NVIDIA AI Enterprise加速自動駕駛汽車的開發
- Webinar: Inception Workshop 101 – Getting Started with Conversational AI
- 網絡研討會：Inception入門研討會：對話式AI入門
- Webinar: Exploring Efficient Tools for Autonomous Vehicle Development and Tuning
- 網絡研討會：探索用于自動駕駛汽車開發和調整的高效工具
