在他的一個鄰居家中遭到入室盜竊后,藍獅實驗室的同事杰森·德格林特( Jason Deglint )和胡安·帕克( Juan Park )著手創建自己的入侵者檢測系統。在本月的 Jetson 項目中,他們基于機器學習的安全平臺自動監控和檢測場景中的人,并立即向用戶發送攝像機拍攝的圖像和視頻。
該項目在 NVIDIA Jetson Nano 套件上運行,使用 NVIDIA DeepStream SDK分析流式視頻。
MaViS 系統由三部分組成:邊緣設備(本例中為 NVIDIA Jetson 納米開發工具包)、云和用于警報的移動組件。
Jetson Nano 實時分析連接的網絡攝像頭采集的視頻。 NVIDIA DeepStream SDK 充當流分析工具包。研究小組選擇了一個經過預訓練的 ResNet10 模型來識別一些類別,如車輛、兩輪車、人或路標。對于這個項目,團隊主要關注 person 類來檢測可能的入侵者。
檢測事件由 Jetson Nano 發送到云中的 S3 存儲桶,然后觸發一系列 lambda 函數。這些功能處理數據并將其返回到 S3 存儲桶,同時相應的視頻數據存儲在 Amazon RDS 數據庫中。 AWS SES 向用戶發送帶有數據訪問點(包括捕獲的圖像)的電子郵件通知。在 Jetson Nano 上運行的應用程序代碼在 Python 中實現。
該團隊在項目的第一次和第二次迭代中對 Raspberry Pi 和 Jetson Nano 進行了試驗,并決定在項目的最終迭代中繼續使用 Jetson Nano 和 DeepStream SDK 。這是因為需要在邊緣執行盡可能多的計算。
YouTube 上還提供了該項目的概覽演示。
向前看, MaViS 團隊已經確定了該項目未來需要改進的幾個方面,例如提高模型準確性和支持本地托管以實現更好的數據隱私。
查看代碼了解更多關于 Jetson Nano 如何在 MaViS 中使用的信息。