Computer Graphics & Visualization – NVIDIA 技術博客

視覺語言智能與 Edge AI 2.0

Fri, 03 May 2024 07:12:18 +0000

VILA 是 NVIDIA Research 和麻省理工學院共同開發的一系列高性能視覺語言模型。這些模型的參數規模從 ~3B 到 ~40B 不等。值得注意的是，VILA 是完全開源的，包括模型檢查點、訓練代碼和訓練數據。在這篇文章中，我們描述了 VILA 在交付邊緣 AI 2.0 時如何與其他模型進行比較。邊緣人工智能的初始版本涉及將壓縮的人工智能模型部署到邊緣設備上。這個階段被稱為 Edge AI 1.0，專注于特定任務的模型。這種方法的挑戰在于需要用不同的數據集訓練不同的模型，在這些數據集中，負樣本很難收集，異常情況也很難處理。這一過程非常耗時，凸顯了對適應性更強、通用性更強的人工智能解決方案的需求。 Edge AI 2.0 標志著由基礎視覺語言模型（VLM）推動的向增強泛化的轉變。像 VILA 這樣的 VLM 表現出令人難以置信的多功能性，

Source

]]>

使用自然語言語音命令創建 XR 體驗：Mellon 測試項目

Thu, 23 Mar 2023 08:51:29 +0000

Project Mellon 是一個輕量級的 Python 軟件包，能夠利用語音人工智能的重量級力量 (NVIDIA Riva) 和大型語言模型（ LLM ） (NVIDIA NeMo 服務) 以簡化沉浸式環境中的用戶交互。 NVIDIA 在環境影響評估 GTC 2023開發人員可以開始測試 Project Mellon ，探索創建由自然語言語音命令控制的免提擴展現實（ XR ）體驗。正如 J · R · R ·托爾金（ J.R.R.Tolkien ）的《守護杜林之門》（ Doors of Durin ）（“說朋友的話，然后進入”）所提醒的那樣，文字可以移山倒海。梅隆計劃背后的基本理念是，可以以一種實用的方式利用語音人工智能和 LLM 的力量來打開大門，并在虛擬世界中做更多的事情在 XR 中，用戶界面可能復雜且難以使用，破壞了自然沉浸感，這是虛擬、混合和增強現實的本質。

Source

]]>

在 PC 上構建 XR 應用程序以獲得高質量的圖形

Wed, 15 Feb 2023 03:44:10 +0000

在創建沉浸式虛擬環境時，用戶希望體驗盡可能逼真。盡管 AIO 耳機為 VR 用戶提供了移動性和自由度，但這些耳機并不總是具有足夠的功率，能夠以精確的物理和照明來渲染逼真的場景。使用云和專業 GPU ，您可以為沉浸式環境生成逼真的圖形。 NVIDIA CloudXR 提供了兩全其美，包括增強的移動性和 NVIDIA RTX GPU 的功能：進一步了解在使用 NVIDIA RTX GPU 的 PC 上構建 XR 應用程序時可以體驗到的三大好處。大多數開發人員創建的虛擬現實環境可以在任何平臺上無縫運行。但在許多情況下，需要更高級別的圖形逼真度。 VR 場景的圖形質量或復雜性對體驗的有效性有著巨大的影響。例如，為手術室場景進行虛擬培訓或運行數字孿生是非常復雜的。這些場景中的大量物體需要只有 PC 才能提供的計算機能力。

Source

]]>

預測圖像如何影響視覺反應速度

Fri, 05 Aug 2022 05:45:00 +0000

想象一下，當你沿著一條路行駛時，一個障礙突然出現在你的路上。你能多快做出反應？你的反應速度如何隨時間、障礙物的顏色以及它在你視野中的位置而變化？對視覺事件做出快速反應的能力對日常生活很有價值。它也是快節奏視頻游戲中的一項基本技能。 NVIDIA 、紐約大學和普林斯頓大學的研究人員最近進行了合作 – SIGGRAPH 2022 年技術論文獎得主 – 探索圖像特征與觀察者反應所需時間之間的關系。隨著顯示技術的不斷進步，人類的反應時間已經成為圖形管道中的主要瓶頸。與遠程服務器通信、渲染和顯示圖像以及收集和處理鼠標或鍵盤輸入的響應時間通常為幾十毫秒或更短。相比之下，人類感知的管道要慢得多，根據視覺輸入的復雜程度，可以在 100 到 500 毫秒之間。這項研究旨在簡化和優化圖像，盡可能減少我們的反應時間。

Source

]]>

提高虛擬引擎 5 中 Path-Traced 渲染的標準：與 3D 藝術家 Daniel Martinger 的問答

Wed, 20 Apr 2022 06:31:00 +0000

NVIDIA 很幸運地與 3D 道具和環境藝術家丹尼爾·馬丁格交談，他以驚人的真實路徑追蹤渲染場景《木匠的地窖》吸引了計算機圖形學界的注意下面， Martinger 討論了他如何使用 NVIDIA RTX 3090 Unreal Engine 5 ，以及他在哪里找到靈感。圖 1 。虛幻引擎 5 中的完全路徑跟蹤場景 . 你在哪里尋找靈感和想法？ Martinger: 在開始一個項目之前，我真的需要有一個清晰的愿景和想法。我需要非常興奮才能開始這個項目。當我在戶外時，我經常觀察自然界中我周圍的物體，以及閃電如何影響它們。例如，在白天，當我在外面或里面看電影的時候，我對一個環境有了一些想法，并想在 3D 中重現它。我的想法來自我周圍的環境。如果我看了一部電影，看到了一些讓我感興趣的很酷的東西，比如一間凌亂的房間，我就會開始用谷歌搜索類似房間的參考照片。

Source

]]>

從 NVIDIA GTC 的 3D 設計和仿真專家學習在 Omniverse 中構建

Thu, 10 Mar 2022 09:35:00 +0000

NVIDIA Omniverse 繼續改變開發者、研究人員和創造者在世界各地的工作流程，還有更多的工作要做。體驗 Omniverse 在 3 月 21 日開幕的NVIDIA GTC 上的其他功能。我們將介紹獨家活動、 sessions 和其他資源，以展示開發人員如何使用 Omniverse 為虛擬世界構建下一級應用程序和工具。有一個課程供任何有興趣了解該平臺的人參加。在會議期間，深入進行技術學習或面對面分組討論 Omniverse 開發者日 .或與社區建立聯系 Omniverse 用戶組 . 現在免費注冊，并加入我們來看看 Omniverse 社區如何構建虛擬世界的未來。 Omniverse 開發者日將展示用戶和開發者在平臺上構建擴展和應用的多種方式。聽取 Omniverse 工程領袖和行業專家的意見，包括來自皮克斯、育碧軟件、 Autodesk 、

Source

]]>

使用信號量和內存共享擴展與 NVIDIA OpenCL 進行 Vulkan 互操作

Thu, 24 Feb 2022 06:48:00 +0000

OpenCL 正在改進與其他 API （如 Vulkan ）的互操作方式。本文向您介紹了最新的 OpenCL 互操作風格，最新的 NVIDIA 驅動程序已經支持這種風格。我們提供了可下載的示例代碼，所以您今天可以嘗試這個新功能。開發人員通常將 OpenCL for compute 與其他 API （如 OpenGL ）一起使用，以訪問包括圖形渲染在內的功能。 OpenCL 長期以來一直支持通過擴展與 OpenGL 、 OpenGL ES 、 EGL 、 Direct3D 10 和 Direct3D 11 共享隱式緩沖區和圖像對象：新一代 GPU API （如 Vulkan ）使用對外部內存的顯式引用以及信號量來協調對共享資源的訪問。到目前為止，還沒有 OpenCL 擴展來支持外部內存和信號量與這類新的 API 共享。

Source

]]>

GANcraft ：將玩家變成 3D 藝術家

Tue, 18 Jan 2022 03:58:00 +0000

NVIDIA 和康奈爾大學的科學家們引入了一種混合的無監督神經渲染管道，以有效地表示體素世界中的大型復雜場景。從本質上講， 3D 藝術家只需要構建最小值，剩下的部分將由算法來構建照片級真實感世界。研究人員將這種混合神經渲染管道應用于 Minecraft 區塊世界，以生成更逼真的 Minecraft 場景。 NVIDIA 和更廣泛的研究團體（ pix2pix 、 pix2pixHD 、 MUNIT 、 SPADE ）以前的工作已經解決了圖像到圖像轉換（ im2im ）的問題——將圖像從一個域轉換到另一個域。乍一看，這些方法似乎為將一個世界轉換為另一個世界的任務提供了一個簡單的解決方案—一次翻譯一幅圖像。但是， im2im 方法不保持視點一致性，因為它們不了解 3D 幾何體，并且每個 2D 幀都是獨立生成的。從下面的圖像中可以看出，這些方法的結果會產生抖動和突然的顏色和紋理變化。

Source

]]>

AWS 通過新的 EC2 G5 實例將 NVIDIA A10G Tensor Core GPU 引入云中

Thu, 11 Nov 2021 06:55:00 +0000

今天， AWS 宣布推出了由 NVIDIA A10G Tensor Core GPU 驅動的新型 Amazon EC2 G5 實例。這些實例設計用于要求最苛刻的圖形密集型應用程序，以及 AWS 云上的機器學習推理和訓練簡單到中等復雜的機器學習模型。新的 EC2 G5 實例具有多達八個 NVIDIA A10G Tensor Core GPU ，它們針對高級可視化計算工作負載進行了優化。由于支持 NVIDIA RTX 技術和比 AWS 上任何其他 NVIDIA GPU 實例都多的 RT （光線跟蹤）內核，它提供了高達 3 倍的圖形性能。與上一代 Amazon EC2 G4dn 實例相比，基于 NVIDIA Ampere 體系結構的 G5 實例在機器學習推理方面的性能提高了 3 倍，在機器學習培訓方面的性能提高了 3 . 3 倍。客戶可以使用 G5 實例加速廣泛的圖形應用程序，

Source

]]>

iClone Connector 為 NVIDIA Omniverse 添加了突破性的角色動畫工作流

Tue, 09 Nov 2021 10:15:00 +0000

Reallusion 發布了 NVIDIA Omniverse 的 iClone Connector ，為 Omniverse Create 和 Omniverse Machinima 應用程序添加了完整的角色動畫管道。當 Character Creator 3 Omniverse Connector 于 2021 年 4 月推出時，所有技能級別的創造者都可以高效輕松地為任何類型的項目創建數字人類。 Reallusion 現在通過新的 iClone Omniverse 連接器為角色創建動畫，從而增強了管道功能。數字人在虛擬世界中扮演著重要的角色，但角色動畫的制作往往伴隨著巨大的專業障礙和價格標簽。 iClone 憑借其快速直觀的動畫制作系統，為不同風格的角色提供了一種個性化動畫的創新方式。 iClone 連接器簡化了面部混合變形動畫、身體動畫、道具、相機、燈光和場景設置，

Source

]]>

Theia Interactive 使用 DLSS 和 RTX 全局照明生成逼真的交互式場景

Thu, 28 Oct 2021 05:57:00 +0000

Theia Interactive 為數百家企業客戶（包括許多《財富》 500 強公司）創建了獲獎的可視化產品，涉及汽車、航空航天、制造產品、建筑、工程和建筑（ AEC ）等行業。 Theia 以在非游戲混合現實和交互式開發中使用實時渲染而聞名。它還專門創建定制配置程序，用于查看內部空間（如酒店房間或辦公環境）中的各種設計選項。此前， Theia 團隊使用靜態或內置照明使圖像看起來盡可能逼真。但是，在構建環境中使用配置器會帶來多種挑戰，包括 3D 網格改變形狀、陰影不對齊以及反射不同照明和顏色的材質。因為照明是烘焙的，所以很難測試多個照明場景。 Theia 可以預烤所有 configurator 定制選項，但這將導致定制模型的數千種配置。因此，預烤所有這些選項幾乎是不可能的。該團隊需要一個能夠提高效率和生產率的解決方案，同時允許他們制作照片級真實感圖像。

Source

]]>

工程師的元宇宙：在 NVIDIA GTC 上介紹 NVIDIA Omniverse 開發者日

Tue, 19 Oct 2021 04:00:08 +0000

11 月 10 日，星期三，首屆 NVIDIA Omniverse 開發者日在 NVIDIA GTC 發射。本次活動的主題是NVIDIA Omniverse—一個功能強大的多 GPU 、實時模擬和 3D 生產管線協作平臺。 Omniverse 的開發人員和用戶可以參加以技術和業務為重點的會議，學習如何為不斷增長的 Omniverse 生態系統提供構建、擴展和連接工具和平臺。還提供了與 Omniverse 平臺的高級開發人員舉行的以工程為重點的排他性分組會議。構建、連接、擴展–開發者 Omniverse 平臺簡介 11 月 9 日，參加由 Omniverse 開發人員平臺副總裁 Richard Kerris 和 Omniverse 開發人員工具包總監 Katja Reitemeyer 主持的介紹性會議，了解開發人員如何利用靈活、高度模塊化的平臺開發自己的extensions、

Source

]]>

人工智能研究人員設想了全球變暖引起的洪水

Tue, 12 Oct 2021 03:45:00 +0000

你可能很快就能看到未來的洪水將如何通過新開發的人工智能模型襲擊你的城市。來自加拿大和美國研究人員團隊的研究使用生成性對抗網絡（ GAN ）生成氣候變化引起的洪水的真實圖像。名為 ClimateGAN 的研究小組開發了該模型，以強調極端天氣事件的破壞性，并促使采取集體行動遏制排放。研究人員寫道：“預測極端氣候事件（如熟悉地區的洪水）的潛在后果，有助于使氣候變化的抽象影響更加具體，并鼓勵采取行動。”。全球各地的人們都在努力應對更頻繁的極端天氣事件，包括風暴、颶風、干旱和由一顆正在下沉的行星引發的野火。由于海平面上升、風暴增強和融雪速度加快，沿海和內陸社區也正在經歷更嚴重的洪水。全球變暖的毀滅性后果可能會讓經歷過這些災難的人們深受其害，無論是颶風艾達造成的毀滅性洪水還是澳大利亞各地的叢林大火。然而，許多人仍將氣候變化影響視為一種假設的、

Source

]]>