NVIDIA 研究人員在 SIGGRAPH 亞洲實時直播 活動中，展示了集成到交互式紋理繪制工作流程中的生成式 AI 技術。這項技術使藝術家能夠直接在 3D 物體表面上繪制復雜、獨一無二的紋理。
此原型展示了 AI 如何作為藝術家手中的畫筆，而不僅僅是在高級用戶的指導下生成完整的結果。它支持交互式地添加具有無限紋理變化和逼真過渡的局部細節。如果您錯過了直播節目，請查看預錄制版本的演示。
這是 NVIDIA 一系列研究項目中的一項，旨在通過實時 AI 推理和直接控制來開發新的迭代工作流，利用 AI 的強大功能支持創造力。SIGGRAPH 大會上的 AI 通用材質在 2023 年 8 月贏得了 Real-Time Live 節目獎項。
AI 紋理繪畫使 AI 在交互式循環中更進一步。此項目使您能夠通過交互式繪畫直接控制紋理的位置、比例和方向，而不是在方形平鋪上生成和迭代基于物理性質的渲染 (PBR) 材質，然后將其應用于 UV 映射的 3D 對象。每個 3D 繪畫筆觸都由 AI 實時生成。
定制 AI 以實現創意
在設計創意工具的各個方面中，對結果的直接迭代控制是最重要的方面之一。將現代基礎圖像 AI 模型集成到交互式工作流(例如繪畫)中的挑戰之一是，AI 非常擅長想象可能不一定是藝術家意圖的東西。在某些情況下，這可能會導致需要仔細的工程提示和似乎難以控制的不可預測的結果。
在此界面中，研究人員選擇不使用基于文本的界面來放置或識別紋理。根據“一張圖像勝于千言萬語”這句語，AI 筆刷以目標紋理的示例圖像為條件。
靈感圖像是 3D 設計中的常見概念。這些圖像通常僅用作參考，必須經過大量處理，才能集成到 3D 場景中。
SIGGRAPH 大會上的 AI 材質演示展示了如何將不完美的靈感圖像轉換為可平鋪的 PBR 材質，從而更輕松地將來自現實世界的靈感引入 3D 工作流。在這個新的演示中，任何現實世界紋理的靈感圖像都可以轉換為 AI 畫筆，供藝術家使用以 3D 方式繪畫。您不僅可以控制筆觸形狀，還可以控制畫筆大小和紋理方向。
原型中的 AI 旨在確保筆觸包含參考變體，且不會偏離太多標識。骨干基礎 AI 模型還可在不同紋理的區域之間提供逼真的過渡，而無需任何此類過渡引用。例如，AI 可以使用 AI 紋理筆刷在原始草紋理和以交互方式繪制的巖石路徑之間填充逼真的過渡。
如果沒有可以為畫筆添加種子的鼓舞人心的圖像，該怎么辦？
文本轉圖像的 AI 可用于生成多個版本。您可以選擇要使用的確切筆刷，在交互式循環中直接由藝術家控制，從而提供各種創意可能性。
由 NVIDIA 技術提供支持
為實現此原型， NVIDIA 采用了多種技術。速度是交互式界面和實時實時程序的要求之一。借助 NVIDIA GPU 中 Tensor Core 的加速推理，此原型可實現 0.23-0.15 秒的每個筆刷推理速度。
該原型的開發初衷是作為 NVIDIA Omniverse 的擴展。Omniverse 是一個 模塊化開發平臺，提供了用于構建應用和服務的 API 和微服務。它依托于 OpenUSD 和 NVIDIA RTX 技術，使開發者能夠構建包含 AI 的復雜 3D 工具。
在這種情況下，集成的 NVIDIA Warp 庫 提供了高效的動態紋理支持，使 AI 能夠為渲染對象提供快速更新。
在幕后，該方法依賴于NVIDIA Kaolin 庫，它用于 3D 深度學習，能夠直接在 GPU 上高效實現離屏光柵化和紋理反向投影。
致謝
此演示是 Anita Hu、Nishkrit Desai、Hassan Abu Alhaija、Alexander Zook、Seung Wook Kim、Ashley Goldstein、Carsten Klove、Daniela Hasenbring、Rajeev Rao 和 Masha Shugrina 跨團隊合作的成果。Anita Hu 和 Alexander Zook 做了現場演示。
?
