在 SIGGRAPH 2024 大會上，NVIDIA 宣布推出基于 NVIDIA Omniverse 的新型生成式 AI 和基于 NVIDIA Omniverse 的 NVIDIA 加速開發工具。這將擴大 Universal Scene Description (OpenUSD) 在機器人、工業設計和工程領域的采用率，以便開發者可以為 AI 的下一次演進快速構建高度準確的虛擬世界。
OpenUSD 是適用于 3D 和 simulation 工作流程的開源框架和數據交換。 這種通用性使開發者能夠構建高度準確、AI-enabled 的虛擬世界以及使這些世界成為可能的工具。
借助基于 NVIDIA Omniverse 的 NVIDIA 加速開發工具和新型生成式 AI，更多行業的開發者可以創建用于可視化工業設計和工程項目的應用程序，或用于模擬環境的應用程序，從而構建下一波物理 AI 和機器人。新的開發者工具包括：
- 適用于 OpenUSD 語言、材料、空間智能和物理 AI 的 NVIDIA NIM 微服務和工作流程指南。
- OpenUSD Exchange SDK 和 USD 連接器，支持包括機器人和工業模擬格式在內的行業特定數據。
- NVIDIA Omniverse Kit SDK 和開發者工具，用于從頭開始構建和部署基于 OpenUSD 的應用程序。
將生成式 AI 引入 OpenUSD 工作流程
如今，生成式 AI 對于基于文本和數字的應用來說相對容易。但要讓生成式 AI 處理 3D 場景，AI 需要同時具備空間智能和物理智能。
適用于 OpenUSD 語言、材料、空間智能和物理 AI?的新 NVIDIA NIM USD 微服務將生成式 AI 引入 OpenUSD 工作流程。作為開發者，您可以使用這些微服務將經過微調的生成式 AI copilot 和代理整合到 3D 工作流程中，從而擴展 USD 的采用范圍到制造、汽車和機器人等新興行業。
預覽版中提供的微服務包括：
- USD 代碼 NIM 微服務: 可以回答 OpenUSD 知識查詢并生成 USD-Python 代碼的先進語言模型（LLM）。?
- USD 搜索 NIM 微服務: AI 功搜索 OpenUSD 數據、3D 模型、圖像和資產使用基于文本或圖像的輸入。
- USD 驗證 NIM 微服務: 驗證 OpenUSD 資產與 RTX 渲染和基于規則的驗證的兼容性。
全球大型營銷和傳播公司 WPP 是 NIM 微服務的早期采用者之一。WPP 與 The Coca-Cola Company 合作，使用 USD Search 和 Code 加速全球創意活動的迭代。
其他早期采用者包括創新 NVIDIA Inception 成員 HOMEE AI 和 Livvy by Aireal。 HOMEE AI 是 USD Search 的早期采用者。他們計劃使用 NIM 微服務來啟用智能搜索為其 AI 驅動的空間規劃 用戶。另一個早期采用者， Aireal, 計劃使用 USD NIM 微服務（包括 USD Search），以幫助他們開發 AI 驅動的工具，徹底改變室內設計行業。
用于 USD 開發的其他 NIM 微服務即將推出。其中包括 USD Layout NIM，這是一種生成式 AI 模型，用于從一系列文本提示中組合基于 OpenUSD 的場景，以及用于將逼真材質應用到 3D 對象的 USD SmartMaterial NIM。
fVDB 是一種深度學習框架，用于通過空間智能構建物理 AI。NIM 微服務也即將推出 for fVDB。fVDB (早期訪問版) 在 OpenVDB 之上構建 NVIDIA 加速的 AI 操作符，以生成 AI 就緒型虛擬環境，從而捕獲大規模空間規模和高分辨率的現實世界。如需了解詳情，請參閱 Building Spatial Intelligence from Real-World 3D Data Using Deep-Learning Framework fVDB。
開始使用 NIM 參考工作流程, 包括 ChatUSD 工作流程，使用 USD Code 構建交互式聊天界面，或使用 USD Search 和 USD Code 加速合成 3D 數據生成流程。
使用 NVIDIA Omniverse 構建 USD 本地應用
您可以使用 Omniverse 從頭開始構建 OpenUSD 原生應用程序 —— 利用?Omniverse Kit SDK 和開發者工具?快速入門。最新版本的?Omniverse Kit SDK 106, 帶來了新的工具和增強的功能，提供了更大的靈活性和控制力來優化開發工作流程。現在，Omniverse Kit 已經全面推出，并獲得了?Omniverse Enterprise 許可?的全面企業級支持。
此版本包含 Omniverse Kit 應用模板 資源庫，該資源庫提供各種應用模板，可用作起點，并根據任何項目的特定需求進行定制。這種基于模板的工具可顯著縮短開發時間，因此您可以專注于集成技術、數據流水線和功能，借助 NVIDIA AI 的強大功能解決之前棘手的問題。
Omniverse Kit 應用流 API 也已推出早期訪問版。此 API 啟用您將基于 Kit 的應用部署到云端并以交互方式從云端流式傳輸。您可以在任何公有云上自行托管這些應用，并將其無縫集成到基于 Web 的解決方案中。
將行業特定數據連接到 OpenUSD
為進一步推進OpenUSD生態系統擴展，NVIDIA 宣布推出OpenUSD Exchange SDK，該 SDK 將于今年晚些時候在GitHub上推出。借助該 SDK，您可以構建自己的強大OpenUSD數據插件、轉換器和交換器。開發者將能夠更輕松地訪問和貢獻于日益增長的第三方解決方案列表，這些解決方案可用于將常見數據源與OpenUSD連接起來。
對于需要使用 USD 交換行業特定數據的開發者而言，OpenUSD Exchange 尤其有用。為了幫助他們快速實現這一目標，NVIDIA 繼續構建和支持從關鍵格式到 OpenUSD 的連接器，例如 Unified Robotics Description Format (URDF)。將 URDF 連接到 OpenUSD 使機器人專家能夠在從設計到仿真再到強化學習的整個應用中無縫引入機器人數據。
此外，NVIDIA 還發布了新的開發者工具和 APIs，可通過 NVIDIA Graphics Delivery Network (GDN) 將大規模 OpenUSD 場景流式傳輸到 Apple Vision Pro (in 早期訪問版) 通過 NVIDIA Graphics Delivery Network (GDN)。
開始在 Omniverse 上進行開發
我們很高興看到您如何使用這些新工具和功能來開發自己的 OpenUSD 工作流程和應用。
- 開發者可以訪問 NVIDIA Omniverse，獲取所有必要的元素以在 Omniverse 上開始開發。
- 訪問OpenUSD 資源集合，包括 USD 示例和樣本。
- 與Omniverse 開發者社區。
有關行業特定用例，請查看Generative AI Content Creation、Virtual Factories和Product Configurators的參考架構。請持續關注，了解即將推出的熱門 Omniverse 用例的其他參考架構。
在 SIGGRAPH 2024 大會上，NVIDIA CEO Jensen Huang 與 Meta 創始人兼 CEO Mark Zuckerberg 和 WIRED Sr. Writer Lauren Goode 進行了爐邊談話。點播觀看 NVIDIA 在 SIGGRAPH 2024 大會上的爐邊談話和其他會議從 NVIDIA 在 SIGGRAPH 2024 大會上點播。
訂閱時事通訊，并在YouTube、Discord和Medium上關注 NVIDIA Omniverse，保持最新動態。
?
