為了加速 3D 世界和 元宇宙 的發展, NVIDIA 推出了許多人工智能研究項目,以幫助 creators 跨行業利用 生成人工智 打開新的可能性。
生成型人工智能將觸及元宇宙的各個方面,它已經被用于 在 Omniverse ACE 讓 AI 化身栩栩如生 等用例。其中許多項目,如 Audio2Face 和 Audio2Gesture ,從音頻生成動畫,已成為 Omniverse community 中廣受歡迎的工具。
在 CES 上, NVIDIA 發布了新的生成 AI 技術,這些技術將應用于 Omniverse ,以幫助比以往更快、更容易地創建虛擬世界。這些模型既可以作為 NVIDIA 合作伙伴的第三方連接器提供,也可以作為 NVVIDIA 研究團隊發布的內部 AI 項目的擴展提供 AI ToyBox 。
NVIDIA Omniverse 中提供的所有生成 AI 研究項目和連接器都使用合法許可和購買的數據集。
通過生成 AI 連接器和擴展加速 3D 內容創建
NVIDIA Omniverse 引入了最新、最強大的生成 AI 技術,并為第三方技術提供了連接器和擴展。
Move.ai 根據身體運動生成動畫。 Move.ai 使您能夠在任何地方捕捉人體運動并直接導出到 Omniverse 。
視頻 1 。 NVIDIA Omniverse 中的單個拳擊示例, Move.ai 運動數據為角色提供動力。
Lumirithmic 通過面部掃描生成頭部的 3D 網格。該連接器使您能夠通過面部掃描輕松創建電影級化身,并支持任何行業的大規模 3D 掃描。 Lumirithmic 聯合創始人兼首席執行官 Gaurav Chawla 表示:“我們很高興能夠與 NVIDIA 合作,通過 Omniverse 將我們的 3D 面部掃描產品帶給創作者、游戲玩家和開發者,使游戲、廣告技術、元宇宙和其他應用程序獲得最高質量的 3D 面部的機會民主化。”。
視頻 2. Omniverse – Lumirithmic 3D 化身捕捉集成
Elevate3D 通過 360 °視頻記錄生成產品的真實感 3D 可視化,利用神經輻射場創建具有無與倫比視覺逼真度的 3D 網格。 Elevate3D 聯合創始人 Alexandre Carlier 和 Martin Danelljan 表示:“ Omniverse 使我們能夠為最廣泛的工作流程和行業提供我們的技術。此外,出色的文檔和開發經驗使我們很高興在平臺上構建擴展。”。“這一擴展將使掃描物理對象的挑戰成為過去。”
視頻 3 。提升 Omniverse 的 3D 擴展
探索和實驗最新的生成型人工智能研究
人工智能工作流是 Omniverse 體驗的核心。這就是為什么 NVIDIA 一直在進行新的研究項目,以幫助 3D 藝術家和創作者加速他們的人工智能工作流程。這些人工智能項目中的許多都變成了廣泛使用的功能,如 Machinima 和 NVIDIA Canvas 中的姿勢估計,這些功能可以從一些 2D 筆觸生成 360 度圖像。
在 CES 上發布的 GET3D 是一種新的生成型人工智能模型,它從 2D 圖像、文本和數字等數據中生成具有拓撲結構、豐富幾何細節和紋理的 3D 形狀。這些 3D 形狀或紋理網格可以采取動物和人類的形式,汽車、椅子、摩托車和建筑即將出現,這使多個行業的創作者能夠快速縮放其虛擬世界中內容的數量和多樣性。
圖 1 。 GET3D 允許您快速生成 3D 動物和其他形狀和網格以填充場景。
GET3D 將在 Omniverse AI ToyBox 以及 NVIDIA 發布的現有生成 AI 研究項目(如 GANVerse3D Image2Car 和 AI Animal Explorer )中提供。 AI ToyBox 包含所有最新的 NVIDIA AI 項目,使內容創作者能夠在虛擬世界中探索新的可能性。
人工智能與元宇宙:共生關系
正如人工智能對元宇宙的擴張至關重要一樣,元宇宙對人工智能的擴張也至關重要。從汽車到醫療器械,再到倉庫機器人,全球行業都在由軟件定義。如果沒有在真實環境中進行徹底測試,這些軟件定義的技術就無法開發或部署。
metaverse 中的 Digital twins 正在提供物理上精確的虛擬環境,允許開發人員比以往更快地模擬和測試軟件定義技術(如智能機器人)的人工智能。在元宇宙中創建的 Synthetic data 通過允許人工智能在比以前更多的數據上進行訓練,進一步加速了尖端人工智能應用程序的訓練。
生成型人工智能是擴展這些數字孿生和虛擬環境的關鍵,這將開啟人工智能和元宇宙的新時代。
開發者可以使用 Omniverse’s modular development framework 為 3D 世界構建生成人工智能工具,企業可以利用最新的生成人工智能技術,通過 NVIDIA Omniverse Enterprise 縮放數字孿生模擬。
訂閱 Omniverse 電子報 在 Omniverse 中接收關于生成 AI 的更新。
訪問 Omniverse Developer Resource Center 有關其他資源,請 在 Omniverse 上查看 最新教程,查看 論壇 以獲得支持。加入 Omniverse 社區 與社區聊天 .