AR/VR AI – NVIDIA 技術博客
http://www.open-lab.net/zh-cn/blog
閱讀開發者創建的最新技術信息、頭條新聞 和內容。
Wed, 26 Mar 2025 06:48:10 +0000
zh-CN
hourly
1
196178272 -
使用 NVIDIA AI Blueprint 構建實時多模態 XR 應用以進行視頻搜索和摘要
http://www.open-lab.net/zh-cn/blog/build-real-time-multimodal-xr-apps-with-nvidia-ai-blueprint-for-video-search-and-summarization/
Tue, 11 Mar 2025 06:43:16 +0000
http://www.open-lab.net/zh-cn/blog/?p=13357
Continued]]>
隨著 生成式 AI 和視覺基礎模型的最新進展，VLM 呈現了新一波視覺計算浪潮，其中模型能夠實現高度復雜的感知和深度上下文理解。這些智能解決方案為增強 XR 設置中的語義理解提供了一種很有前景的方法。通過集成 VLM，開發者可以顯著改進 XR 應用解釋用戶操作以及與用戶操作交互的方式，使其響應速度更快、更直觀。 本文將向您介紹如何利用 NVIDIA AI Blueprint 進行視頻搜索和摘要 ，以及如何增強 Blueprint 以支持 XR 環境中的音頻。我們介紹了實時語音識別和沉浸式交互的分步過程——從設置環境到無縫集成。 借助對話式 AI 功能增強 XR 應用，為用戶帶來更加身臨其境的體驗。通過創建在 XR 環境中提供 Q&A 功能的生成式 AI 智能體，用戶可以更自然地進行交互并獲得即時幫助。多模態 AI 智能體處理并合成多種輸入模式，例如視覺數據 (例如 XR…
Source
]]>
13357
-
使用人工智能開發更小、更輕的擴展現實眼鏡
http://www.open-lab.net/zh-cn/blog/developing-smaller-lighter-extended-reality-glasses-using-ai/
Fri, 14 Jun 2024 09:08:59 +0000
http://www.open-lab.net/zh-cn/blog/?p=10474
Continued]]>
如今的沉浸式擴展現實（XR）設備需要重型光學器件和顯示器用頭帶固定，這增加了體積并形成了社會障礙。在設想的未來，頭帶將不再是必要的。在過去的幾年里，NVIDIA Research 一直在與斯坦福大學計算成像小組合作，研究如何開發更小、更輕的 XR 眼鏡，該小組由 Gordon Wetzstein 教授領導。 XR 眼鏡光學設計中最重要的規則是顯示器應該靠近用戶的面部，以實現緊湊和輕便的設計，而圖像應該看起來更遠。隨著顯示器移動得離眼睛更遠，重心也發生了變化。 然而，人眼無法正確感知離得太近的顯示器，因此必須使用透鏡等光學系統將圖像中繼到舒適的觀看距離。為了使該系統有效，顯示器需要位于透鏡的焦距附近，這反諷地需要將顯示器放置得更遠（圖 1）。 一種解決方案是使用折疊光路的煎餅透鏡，這種方法引入了新的問題，如像差和額外的重量。光波導也經常用于實現緊湊型 XR 眼鏡，
Source
]]>
10474
人人超碰97caoporen国产