• <xmp id="om0om">
  • <table id="om0om"><noscript id="om0om"></noscript></table>
  • 3 月 19 日下午 2 點,鎖定 NVIDIA AI 網絡中文專場。立即注冊觀看
    計算機視覺/視頻分析

    在 NVIDIA Omniverse Replicator 1.10 中使用低代碼工作流加速合成數據生成

    ?

    數據是 AI 系統的生命線,AI 系統依靠可靠的數據集進行學習并做出預測或決策。具體而言,對于感知 AI 模型而言,數據反映真實環境并整合一系列場景至關重要。這包括通常難以收集數據的邊緣用例,例如街頭交通制造裝配線

    為了啟動和加速計算機視覺模型的訓練,AI 和機器學習 (ML) 工程師可以利用合成數據?(SDG) 來生成大量不同的訓練數據集,以處理視覺檢測、機器人和自動駕駛領域的各種用例。

    最新更新的?NVIDIA Omniverse Replicator?是?NVIDIA Omniverse?的核心擴展,基于通用場景描述(OpenUSD)的平臺,開發人員可以構建比以往任何時候都更強大的合成數據生成管道。新功能亮點包括:

    • 借助基于 YAML 的低代碼配置器,為 AI 開發者釋放合成數據的強大功能。
    • 通過異步渲染擴展整個渲染過程,將傳感器模擬與渲染任務分解。
    • 借助基于事件的條件觸發器,在數據生成過程中實現更高的靈活性。

    借助 Omniverse Replicator,開發者能夠構建用于訓練計算機視覺模型的數據工廠。此外,Replicator 具有高度可定制性和可擴展性,因此能夠適應許多計算機視覺工作流程。

    Replicator 已集成到 NVIDIA Isaac Sim 機器人和 NVIDIA DRIVE Sim。在 ROSCon 2023 上,NVIDIA 宣布對 NVIDIA Isaac 機器人平臺進行重大更新,以簡化基于 AI 的高性能機器人應用的構建和測試。

    簡化的定制解決方案

    以前 Replicator 擴展程序的限制要求開發者編寫大量代碼行,以生成用于模型訓練的數據。不熟悉 3D 內容生成的 AI 和 ML 工程師缺乏生成數據的有效方法。

    現在,開發者無需為預先存在的場景編寫大量代碼行,而是可以使用基于 YAML 的描述性文件,使用語法(例如光線、環境、位置)簡單地描述要更改的參數。這種方法可以更輕松地將 SDG 參數作為模型創建和性能沿襲的一部分進行跟蹤,從而為真正以數據為中心的模型開發方法提供支持。

    此外,開發者可以通過使用 YAML 文件和 Replicator 在 Omniverse Farm 上運行 NVIDIA OVX system。用戶可以輕松共享和分發代碼 recipe,以創建同一文件的新版本,并創建用于數據生成的自動化工作流。

    視頻 1.學習基于 YAML 的簡單工作流程,通過隨機化倉庫中常見物體的位置來生成訓練數據

    使用異步渲染擴展合成數據生成

    SDG 的世界仿真、傳感器仿真和渲染任務通常作為緊密集成的同步應用程序實施。這限制了在不影響性能的情況下模擬傳感器以不同速率運行的靈活性。

    異步渲染在彼此之間異步運行傳感器的模擬和渲染,使用戶能夠更好地控制整個過程。這使得開發者能夠使用多個 GPU 大規模渲染合成數據,從而提高吞吐量。

    借助基于事件的觸發器,為 SDG 提供出色的靈活性

    在 Replicator 中,觸發器指定特定節點(例如 Randomizer 或 Writer)的激活時間。系統支持幀內觸發器在每一幀中激活節點,以及準時觸發器,以設置的時間間隔激活節點。

    最新的 Replicator 版本還引入了條件觸發器,可根據特定事件或條件激活節點。開發者現在可以通過自己的函數建立自定義邏輯,從而對 Randomizer 和 Writer 提供更精細的控制。

    使用新版 NVIDIA Isaac Sim 的機器人專家可以使用此功能針對特定事件啟動自主移動機器人 (AMR) 的運動。這為控制 SDG 的生成時間和方式提供了可靠的方法,具體取決于模擬事件。

    A gif showing a robot’s movement in a scene guided by a conditional trigger towards fallen objects.
    圖 1. NVIDIA Isaac Sim 中的條件觸發器對用于訓練自主移動機器人的場景進行隨機化

    開始使用 Omniverse Replicator 進行開發

    這些只是 Omniverse Replicator 1.10 中用于提升 SDG 流程的部分新功能。如需了解其他功能(包括材質支持、后渲染增強以及 2D 和 3D 散點節點增強),請參閱 Replicator 文檔

    開始開發您自己的 SDG 應用程序,請使用 Omniverse Replicator,免費下載 Omniverse 并按照 在 Omniverse Code 中開始使用 Replicator 的指南

    如果您想詳細了解 Replicator,請查看 Replicator 教程。歡迎加入 NVIDIA Omniverse Discord?與社區進行交流,并查看 合成數據生成 Discord 頻道

    您還可以訪問 NVIDIA 開發者論壇,了解 Omniverse 專家提供的信息。

    ?

    0

    標簽

    人人超碰97caoporen国产