在過去的幾十年里，隨著經濟發展和城市化進程的推進，廢棄物產生率呈上升趨勢。廢棄物生產量的增加給全球政府帶來了巨大的挑戰，尤其是在高效處理和管理方面。盡管在一些國家 地區實施了廢棄物分類系統，但由于污染問題，大部分廢棄物最終仍會被填埋或燃燒，從而導致可回收材料的不可持續浪費。
本文介紹了邊緣計算和計算機視覺用于檢測垃圾收集卡車中的塑料袋污染的解決方案。該解決方案使用 NVIDIA Metropolis 應用框架，包括 NVIDIA Jetson, NVIDIA TAO 工具套件 以及 NVIDIA DeepStream SDK.
廢棄物管理實踐必須改變的原因
填埋和燃燒等傳統的廢棄物管理方法不僅無法解決日益加劇的廢棄物問題，而且還會帶來嚴重的環境和健康風險。為了確保可持續的未來，國家 地區日益需要加強廢棄物回收和管理實踐。
在本地垃圾管理領域，家庭垃圾中的污染是一個巨大的障礙，嚴重阻礙了回收過程。這一障礙在地方政府的雷達上非常明顯，促使人們采用垃圾桶標記和垃圾審計等創新策略來正面解決問題，并收集基本的污染相關數據，以便做出明智的決策。
然而，垃圾桶標記的普遍做法在很大程度上依賴于人工干預，通常由垃圾收集卡車司機執行，他們使用車載攝像頭直觀地檢查垃圾容器。遺憾的是，這種勞動密集型方法不僅給駕駛員的能力帶來壓力，而且還引入了主體性和潛在的數據差異，需要額外的分析和時間資源。
變革廢棄物管理實踐以及提高效率和可持續性的迫切性從未像現在這樣明顯。為此，開發利用尖端技術的自動化廢棄物污染檢測系統成為了一項關鍵需求。
邊緣計算解決方案
為幫助解決廢棄物污染問題，我們基于 NVIDIA Jetson 和 NVIDIA Metropolis 框架開發了邊緣計算視頻分析解決方案，并采用了以下新技術：
- 計算機視覺
- 智能視頻分析
- 邊緣計算
- AI
該擬議系統基于以下理念：從卡車漏斗中捕獲垃圾視頻，使用 NVIDIA Jetson 邊緣 AI 平臺處理垃圾以檢測塑料袋污染，并存儲與污染相關的信息以進行進一步分析。YOLOv4 深度學習模型使用我們的 Remondis 污染數據集 (RCD) 進行訓練，并使用 NVIDIA DeepStream SDK.
Remondis 污染數據集
訓練用于計算機視覺任務的卷積神經網絡 (CNN) 模型需要包含相關圖像的大量數據集。然而，垃圾污染檢測問題仍未得到充分探索，尤其是在現實世界實用程序的復雜背景下。大多數現有研究通過使用僅包含一種污染物的直接數據(通常使用高分辨率視覺效果)來過度簡化這一問題。遺憾的是，這些模型在處理污染與各種其他垃圾成分并存的真實場景方面表現出局限性，這些場景伴隨著具有挑戰性的照明情況和圖像質量降低。
為此，我們率先推出了 RCD，這是一種根據回收公司 Remondis 的歷史記錄精心策劃的新型訓練數據集。該數據集展示了捕獲塑料袋污染實例的圖像，提供了各種照明條件、捕獲角度和低分辨率，對真實世界的復雜性進行了更具代表性的描述。
最終數據集包含 1125 個樣本(968 個用于訓練，157 個用于驗證)，共包含 1851 個 bbox 標注(1588 個用于訓練，263 個用于驗證)。圖 1 顯示了 RCD 中的一些標注樣本。
系統開發
我們開發了一種自動化解決方案，用于檢測垃圾卡車中的塑料袋污染，使用板載模擬攝像頭處理圖像，并利用 NVIDIA 加速計算部署計算機視覺模型。圖 2 說明了這一概念。
開發的系統包括：
- 安裝在卡車上的模擬攝像頭 (Mitsubishi C4010) 用于捕獲從垃圾桶收集垃圾的卡車斗車。
- NVIDIA Jetson TX2 使用經過訓練的計算機視覺模型處理和推理廢棄物圖像。
- 計算機視覺模型(使用 CSPDarkNet 的 YOLOv4)用于檢測圖像中的塑料袋污染。
使用帶有 CSPDarkNet_tiny 主干的 YOLOv4 模型進行塑料袋檢測。使用 NVIDIA TAO Toolkit 由 Python、TensorFlow 和 Keras 提供支持。NVIDIA DGX 平臺 用于基于 RCD 中的圖像訓練模型。
開發擬議解決方案時采用了分三階段的方法(圖 3)：
第一階段：數據準備
- 原始數據集取自 Remondis 歷史記錄和在線來源。
- 對收集的數據進行處理和篩選，以識別潛在的訓練候選對象。
- 通過使用 LabelImg 軟件繪制邊界框，為處理后的數據集標記為塑料袋。
第二階段：模型訓練
- 從現有的模型 Zoo 中選擇合適的模型進行訓練。
- NVIDIA TAO 工具套件用于訓練用于檢測塑料袋污染的模型。
- 訓練性能受到密切監控，以確保正常的訓練過程。
階段 III：測試和驗證
- 訓練好的模型導出為 NVIDIA TensorRT 并部署在 NVIDIA Jetson TX2 上。
- 硬件性能已在 GPU 使用情況、溫度、CPU 使用情況和 FPS 方面進行驗證。
- 我們在現場部署了硬件，并收集了其他數據來微調模型。
經過訓練的最佳模型(使用 CSPDarkNet_tiny background 的 YOLOv4)導出為 TensorRT，并使用 NVIDIA DeepStream SDK 部署在 Jetson TX2 模塊上。硬件設置(圖 4)在實驗室中使用安裝在垃圾車上的同一攝像頭進行測試。在實驗室中驗證后，硬件設置部署在垃圾車上進行現場測試和其他數據收集。
在計算機視覺模型性能方面，第一個部署的基礎模型能夠為 NVIDIA Jetson TX2 實現 mAP=50%(63%)和 FPS=24.8.該模型在第一次部署后使用從現場收集的數據進行訓練。這實現了更好的結果。使用現場數據重新訓練后，模型的 mAP=50 增加了 10%.此外，在假陽性 (FP)、假陰性 (FN) 和真陽性 (TP) 方面的性能也得到了改進(表 1)。圖 5 顯示了計算機視覺模型在圖像中成功檢測到塑料袋污染的幾個示例。
| ? | 基礎模型 | 重新訓練的模型 | 百分比變化 |
| 誤報 (FP) | 176 | 112 | 減少 36.6% |
| 假陰性 (FN) | 238 | 218 | 減少 8.29% |
| 真陽性 (TP) | 330 | 359 | 增加 6.21% |
未來研究方向
計算機視覺在通過提取與污染物相關的信息來增強對廢棄物污染的理解方面具有廣闊的潛力。一些重點關注的未來方向包括：
- 多類別檢測：開發的解決方案可以擴展到檢測多個類別的塑料袋和包裝材料。這將有助于更好地了解污染中常見的塑料袋類型的趨勢，并可以相應地放置安全措施。
- 坑洞檢測：部署在邊緣計算機的多個經過訓練的計算機視覺模型可以使用相同的計算資源。在這種情況下，可以訓練另一個模型來檢測道路上的坑洞。這樣的模型可以幫助委員會識別損壞的道路并快速修復。
- 路邊垃圾檢測：與坑檢測概念類似，安裝在卡車上的其他攝像頭可用于檢測路邊垃圾。這有助于更好地管理環境和教育社區。
總結
本文詳細介紹了我們的邊緣計算視頻分析解決方案，該解決方案用于檢測垃圾收集卡車中的塑料袋污染。此類解決方案有助于改善垃圾回收，提高可持續性，并教育社區。
該解決方案由 NVIDIA Jetson 平臺提供支持，用于邊緣 AI 和機器人開發，用于檢測垃圾收集卡車上安裝的攝像頭拍攝的視頻片段中是否存在任何塑料袋。為了幫助在這個獨特的應用領域訓練計算機視覺模型，我們開發了一個名為 Remondis Contamination Dataset 的新型挑戰性數據集。
計算機視覺模型在污染檢測中的成功部署和鼓舞人心的結果表明，在改進垃圾管理方面有很大的空間。此類系統可以擴展到檢測多種類別的污染和多個類別的塑料袋，以更好地理解。此外，卡車上安裝的其他攝像頭可用于檢測坑和路邊垃圾。
