機器人模擬/合成數據生成 – NVIDIA 技術博客

利用合成數據微調 AI 模型提升多攝像頭跟蹤精度

Wed, 10 Jul 2024 06:51:40 +0000

針對特定用例的大規模合成數據在現實世界的計算機視覺和 AI 工作流程中變得越來越重要。這是因為數字孿生是一種強大的方式，可以為工廠、零售空間和其他資產創建基于物理性質的虛擬副本，從而實現真實環境的精確模擬。 NVIDIA Isaac Sim 基于 NVIDIA Omniverse 構建，是一款完全可擴展的參考應用，用于設計、模擬、測試和訓練支持 AI 的機器人。 Omni.Replicator.Agent (ORA) 是 Isaac Sim 中的一個擴展，用于生成合成數據，以便專門用于訓練計算機視覺模型，例如 TAO PeopleNet Transformer 和 TAO ReIdentificationNet Transformer. 本文是關于構建多攝像頭追蹤視覺 AI 應用的系列文章的第二篇。在第一篇文章中，我們提供了端到端多攝像頭追蹤工作流程的高級視圖，涵蓋模型的模擬、

Source

]]>

使用 NVIDIA Isaac Sim 4.0 和 NVIDIA Isaac Lab 實現人工智能和模擬的機械增壓機器人工作流

Mon, 17 Jun 2024 09:01:59 +0000

以物理人工智能為動力的機器人時代已經到來。物理人工智能模型了解其環境，并自主完成物理世界中的復雜任務。許多復雜任務，如靈巧的操縱和在崎嶇地形上的人形運動，都太難編程，依賴于使用強化學習（RL）在模擬中訓練的生成物理人工智能模型。通過NVIDIA Isaac Sim，這是一個基于NVIDIA Omniverse的參考應用程序，開發人員可以在一個遵守物理定律的虛擬環境中設計、模擬、測試和訓練基于人工智能的機器人和自主機器。 NVIDIA Isaac Sim 使團隊能夠生成合成數據、訓練機器人策略，并運行多種假設場景，以在部署前驗證整個機器人堆棧。該帖子涵蓋了最新的 Isaac Sim 4.0 版本，其中包括NVIDIA PhysX 5.4 和Isaac Lab。現在可以下載的 Isaac Sim 4.0 是基于NVIDIA Omniverse Kit 106構建的，

Source

]]>

利用多攝像頭追蹤工作流程優化大型空間的流程

Sun, 02 Jun 2024 08:25:30 +0000

倉庫、工廠、體育場和機場等大片區域通常由數百個攝像頭進行監控，以提高安全性并優化運營。通過這些攝像頭準確跟蹤物體和測量活動稱為多攝像頭跟蹤，可讓您有效地監控和管理空間。例如，零售商店可以使用多攝像頭跟蹤來了解客戶如何在通道中導航，并改善商店布局，以獲得更好的購物體驗。倉庫可以監控設備、材料和人員的移動，以提高安全性、提高交付速度并降低成本。機場可以跟蹤人員流動，以增強安全性和出行體驗。然而，實施多攝像頭追蹤系統可能具有挑戰性。首先，從不同的角度和視圖在多個攝像頭源中匹配受試者需要先進的算法和 AI 模型，準確訓練可能需要數月時間。特別是，真值訓練數據集很少，因為標記需要一個人或多達一個小組審查來自多個攝像頭的所有流，以實現一致的識別和跟蹤，從而延遲 AI 模型訓練。其次，實時多攝像頭跟蹤需要構建用于實時數據流、多流融合、行為分析和異常檢測的專用模塊，

Source

]]>

借助 NVIDIA OSMO 擴展 AI 機器人開發工作負載

Mon, 18 Mar 2024 06:46:33 +0000

自主機器開發是一個數據生成和收集、模型訓練和部署的迭代過程，其特點是跨異構計算資源的復雜的多階段、多容器工作流。涉及多個團隊，每個團隊都需要共享和異構計算。此外，團隊希望將某些工作負載擴展到云中，這通常需要 DevOps 專業知識，同時在本地維護其他工作負載。到目前為止，還沒有一個統一的平臺可供開發者輕松提交所需計算的工作負載。在本周的 GTC 大會上，NVIDIA 宣布推出 OSMO，這是一個云原生工作流程編排平臺，它提供一個單一界面，用于跨異構共享計算環境調度和管理各種自主機器工作負載。這些工作負載包括：借助 OSMO 統一計算資源調度，您可以輕松地在 Kubernetes 集群上部署和編排多階段工作負載。這包括共享的異構多節點計算資源，例如 aarch64 和 x86-64，可確保跨不同架構的靈活性和兼容性。

Source

]]>