采用 NVIDIA DeepStream SDK 6.2 的先進實時多對象跟蹤器

當你在一段時間內觀察某件事時，你可以找到能夠進行預測的趨勢或模式。例如，通過預測，你可以主動提醒自己采取適當的行動。

更具體地說，當你觀察移動物體時，軌跡是理解目標物體行為的最重要方法之一，通過它你可以獲得可操作的見解（視頻 1 ）。

視頻 1 。獵豹追逐獵物（資料來源：Adobe)

當獵物距離較遠時，其較長期的運動模式對獵豹計劃游戲更為重要。隨著它離獵物越來越近，在做出預測時，獵物的短期運動模式更為重要。獵豹的視覺系統鎖定獵物，并一直跟蹤它，直到游戲結束。

生成物體的軌跡需要隨著時間的推移識別同一物體，即使在視覺外觀或運動動力學發生突然變化的情況下也是如此。然而，當涉及部分或完全閉塞時，要做到這一點變得越來越困難。即使是捕食者或擁有強大視覺系統的人類，在極其具有挑戰性的情況下，也經常會失去對目標的跟蹤，在這種情況下，附近會有長時間的遮擋或視覺上引人注目的物體（圖 1 ）。

圖 1 。東京澀谷十字路口（資料來源：Adobe)

物體軌跡也是許多視覺人工智能應用的關鍵推動者，例如用于結賬隊列分析或商店布局優化和制造檢查的店內購物者行為分析。

這個NVIDIA DeepStream SDK提供 GPU – 加速多對象跟蹤器（ MOT ）。最近DeepStream SDK 6.2發布后，多對象跟蹤器增加了顯著的改進，有效地解決了具有挑戰性的遮擋問題。他們通過利用基于深度神經網絡的重新識別（ ReID ）模型進行目標匹配和關聯來實現這一點。

NvDCF 公司現在可以配置為使用 ReID 模型來在可能經歷長時間遮擋或錯過檢測的較長時間段內改善同一對象的關聯。 NvDCF 仍然基于用于魯棒和高效短期跟蹤的判別相關濾波器（ DCF ）方法。現在，它還配備了神經網絡驅動的長期目標重新關聯，從而在多目標跟蹤的效率、準確性和魯棒性之間取得最終平衡。

Nv 深度排序使用從使用 NVIDIA TensorRT 執行的 ReID 模型中提取的深度特征來執行用于跨視頻幀跟蹤的目標關聯。它使您能夠使用自定義 ReID 模型，以便您可以使用自己的模型進行多對象跟蹤。

NvSORT 公司是 NVIDIA 增強的簡單在線和實時跟蹤器的實現 (SORT) 其使用卡爾曼濾波器進行狀態估計，并基于來自檢測器的目標邊界框使用數據關聯算法進行目標關聯。 NvSORT 使用級聯數據關聯算法進行更穩健的目標匹配，這是對原始 SORT 的增強。

得益于 DeepStream SDK 中的統一跟蹤器架構，增強的級聯數據關聯算法也用于所有其他類型的 MOT ： NvDCF 和 NvDeepSORT 。統一跟蹤器架構使您能夠通過NvMultiObjectTracker庫，根據選擇的跟蹤器類型啟用和禁用單個模塊。您也可以使用NvDsTracker構建自定義跟蹤器。

表 1 總結了 DeepStream 6.2 中提供的多對象跟蹤器組合。

跟蹤器類型	描述
NvSORT 公司	一個輕量級的、僅限 CPU 的實現，但由于其增強的數據關聯，仍然具有競爭力的準確性。
Nv 深度排序	使您能夠使用公共 ReID 模型，或在 NvSORT 之上使用自己的模型（ BYOM ）進行穩健的目標關聯。
NvDCF 公司	通過以深思熟慮的方式將傳統機器學習（ DCF ）和深度學習（ ReID ）相結合，產生最佳的準確性和魯棒性。允許跳過幀進行推理（檢測間隔> 0 ），同時仍然跟蹤每一幀中的對象，從而以高精度提高整體管道性能。

表 1 。 DeepStream SDK 6.2 中提供的多對象跟蹤器

行人追蹤

現在是時候使用這些對象跟蹤器在一些有趣的場景中生成對象的軌跡，并查看它們的外觀了。

首先，我們展示了一個行人跟蹤用例。我們使用了PeopleNet v2.6具有不同類型的物體跟蹤器的探測器。檢測器配置參數和跟蹤器參數都針對 PeopleNet v2.6 進行了調整。有關詳細信息，請參閱DeepStream 6.2 Object Tracker documentation.

在視頻 2 中，僅 PeopleNet 、 NvSORT 、 NvDeepSORT 和 NvDCF 的實時感知結果以順時針方向顯示，用于并排比較邊界框為了更容易識別，不同人的（ bbox ）用不同的顏色繪制，并且只有當場景中存在相應的對象時，才會顯示顏色編碼的軌跡。視頻是以 x0.5 的速度拍攝的，以便于比較，但實際數據是實時生成的。

bbox 頂部的標簽（例如，[21]: 80 (0.24)) 顯示個人 ID （例如，21) 跟蹤年齡（例如，80) 和跟蹤置信度（例如，0.24) 分別為。檢測器配置參數針對每種跟蹤器類型進行不同配置，以獲得更好的跟蹤精度。

視頻 2. 室內大堂的行人追蹤

當使用相同的檢測模型時，并排的視覺比較使您能夠獲得不同對象跟蹤器類型的行為和質量的定性見解。 NvDCF 跟蹤器具有最高的精度，因此我們在視頻 3 中更仔細地顯示了其跟蹤結果。

視頻 3 。 NvDCF 跟蹤器在完全遮擋的情況下跟蹤行人

這個場景的中心有一個大柱子，這會導致后面的人長時間被完全遮擋。對于任何物體檢測或跟蹤系統來說，這都是一個特別具有挑戰性的場景。一些檢測錯誤包括部分或雙重檢測和遺漏檢測（圖 2 ），根據背景和物理環境的不同，可能會非常頻繁地發生。

Four snapshots show a bounding box that's too large, a bbox with two people, and missed detection in groups of three (one standing, one sitting). — *圖 2 :樣本檢測錯誤*:*有兩個人的邊界框、遺漏檢測和部分檢測*

然而，由于新引入的基于 ReID 的目標重新關聯， NvDCF 跟蹤器可以成功跟蹤大多數人（視頻 4 ），即使他們在柱子后面經歷了如此完全的遮擋。它不僅在許多幀之后重新關聯大支柱之前和之后的相同對象，而且還恢復了由支柱引起的遺漏檢測（假陰性）。

一個更具挑戰性的場景是，除了這種環境遮擋之外，還有許多其他目標的遮擋（視頻 4 ）。這種遮擋產生不同程度的部分遮擋，其中檢測到的目標邊界框的大小和縱橫比在短時間內顯著變化。這給目標匹配和跟蹤中的關聯帶來了挑戰。

視頻 4 。 NvDCF 跟蹤器在完全和部分閉塞情況下對行人進行跟蹤

然而，盡管存在這些挑戰，您可以看到 NvDCF 跟蹤器在大多數情況下只需幾個 ID 開關即可執行穩健的跟蹤。在目標離開場景之后，目標跟蹤被配置為立即終止。視頻 4 中離開場景的一些目標在重新進入后被分配了不同的 ID ，這是意料之中的。

仔細觀察主題 ObjectID [3]，如圖 3 和視頻 4 所示。在整個行程中，它多次經歷嚴重的完全和部分閉塞，但從一開始一直被跟蹤，直到它離開現場。

Four snapshots show a person with a white shirt and tracking label, the same person in a group of three heading away from the camera; the same person behind another; and the same person heading toward the camera with two others. — *圖 3 。視頻 4 中的四張快照，照片中的人穿著標有對象 ID 的白襯衫[3]*

視頻 5 顯示了跟蹤器內部使用的目標模板，其中提取了特征，以及同一目標的相關性響應圖。紫色的“ x ”標記顯示附近的目標位置，而黃色的“+”標記顯示當前目標位置。

視頻 5 。（左）跟蹤器使用的圖像模板；（右）目標周圍的相關性響應

這些結果是使用相對簡單的基于 ResNet-10 的 ReID 模型生成的。為了獲得更好的結果，我們鼓勵您嘗試您選擇的更高級的自定義 ReID 模型。

DeepStream 6.2 中的 NvDCF 跟蹤器是一款最先進的多目標跟蹤器，在精度和性能之間取得了很大的平衡。查看MOT17 Challenge排行榜上，學術界和工業界都在積極提交許多跟蹤器。 NvDCF 跟蹤器，顯示為NvMOT _ DSv62 型在 MOT17 排行榜上，它是實時生成輸出的在線跟蹤器中的頂級跟蹤器之一。

車輛跟蹤

對于車輛跟蹤用例，我們使用TrafficCamNet帶有 DeepStream 多目標跟蹤器的探測器。我們使用了一個典型的車輛交通監控系統的場景，該系統俯瞰著一個繁忙的十字路口。有大小燈桿和交通信號桿，造成大量遮擋。相對較淺的攝像機有利位置更加劇了遮擋問題，這會導致其他車輛的許多遮擋。道路上的植被增加了場景的復雜性。

由于交通桿和樹木的存在，車輛會發生部分和完全遮擋，從而導致大量的漏檢和錯誤檢測。您可以在并排視頻中看到不同類型的對象跟蹤器如何處理這些具有挑戰性的情況（視頻 6 ）。視頻是以 x0.4 的速度拍攝的，但實際數據是實時生成的。