使用人工智能開發更小、更輕的擴展現實眼鏡

如今的沉浸式擴展現實（XR）設備需要重型光學器件和顯示器用頭帶固定，這增加了體積并形成了社會障礙。在設想的未來，頭帶將不再是必要的。在過去的幾年里，NVIDIA Research 一直在與斯坦福大學計算成像小組合作，研究如何開發更小、更輕的 XR 眼鏡，該小組由 Gordon Wetzstein 教授領導。

A man wearing a VR headset. Inside the headset, a display panel is positioned close to the focal length of an eyepiece, which functions as a magnifying lens for the display. — *圖 1。今天的 XR 耳機體積龐大，主要是因為它們的光學設計，透鏡可以放大小型微型顯示器的圖像*

XR 眼鏡光學設計中最重要的規則是顯示器應該靠近用戶的面部，以實現緊湊和輕便的設計，而圖像應該看起來更遠。隨著顯示器移動得離眼睛更遠，重心也發生了變化。

然而，人眼無法正確感知離得太近的顯示器，因此必須使用透鏡等光學系統將圖像中繼到舒適的觀看距離。為了使該系統有效，顯示器需要位于透鏡的焦距附近，這反諷地需要將顯示器放置得更遠（圖 1）。

一種解決方案是使用折疊光路的煎餅透鏡，這種方法引入了新的問題，如像差和額外的重量。光波導也經常用于實現緊湊型 XR 眼鏡，但它們也有自己的挑戰，包括有限的視角和無限遠的固定焦點。

XR 全息眼鏡

全息近眼顯示器作為一種能夠克服這些限制的技術正在受到關注。新的顯示元件，空間光調制器（SLM），不是操縱光的強度，而是操縱光的相位，從而能夠在 SLM 之前或之后重建三維全息圖。使用此功能，三維圖像可以定位在鏡頭焦距附近，即使顯示器非常靠近鏡頭。

利用這一原理，我們的團隊推出了厚度僅為 2.5 毫米的虛擬現實全息眼鏡（圖 2），如虛擬現實全息玻璃所示。通過波導、全息近眼顯示器和幾何相位透鏡，VR 眼鏡可以在沒有自由空間傳播的情況下以最小的厚度制造，該團隊實施了臺式和可穿戴原型進行測試。

On the left, an image shows the results of a captured optical bench prototype are shown. On the right, a 2.5mm-thick wearable prototype is shown. — *圖 2:全息眼鏡光學工作臺原型（左）和雙目可穿戴原型（右）的捕獲結果*

我們的雙目可穿戴原型支持 3D 焦點提示，它提供了 22.8 度的對角視野，帶有 2.3 毫米的靜態眼盒和帶光束轉向的動態眼盒的額外功能，同時重量僅為 60 克，不包括驅動板。利用用戶瞳孔作為自然傅立葉濾波器的思想，我們首次提出了一種真正的眼鏡形狀因子全息 VR。

雜志《自然》最近刊登了這項研究，即全彩 3D 全息增強現實顯示器，具有金屬表面波導。本研究介紹了獨特的全息增強現實（AR）眼鏡，它結合了逆向設計的全色元表面光柵、緊湊的色散補償波導幾何結構和人工智能驅動的全息算法。

采用與我們之前的工作類似的方法，這項研究從光路中消除了透鏡，并戰略性地使用全色超表面光柵作為內耦合器和外耦合器。如圖 3所示，傳統的 AR 眼鏡使用振幅 SLM，如有機發光二極管或微型發光二極管，這些都需要基于投影儀的光引擎，該光引擎通常至少與投影透鏡的焦距一樣厚。

A diagram of conventional AR glasses. It is at least as thick as the focal length f of the projection lens, and it only provides a 2D image. A diagram of holographic AR glasses uses a phase-only SLM that can be mounted very close to the in-coupling grating, thereby minimizing the device form factor. Unlike conventional AR glasses, our holographic design can provide full 3D depth cues for virtual content. Compact 3D-printed prototype illustrating the components of our holographic AR glasses in a wearable form factor. — *圖 3。基于波導的 AR 顯示器的光學原理。我們的全息 AR 眼鏡的設計使用了僅相位 SLM，可以安裝在耦合光柵附近，從而最大限度地減小器件的形狀因子*

我們的全息 AR 眼鏡的設計使用了僅相位 SLM，該 SLM 可以安裝在非常靠近內耦合光柵的位置，從而最大限度地減小了器件的形狀因子。與傳統的 AR 眼鏡不同，我們的全息設計可以為虛擬內容提供全 3D 深度提示。圖4顯示了通過我們的緊湊型全息顯示器原型捕獲的實驗結果。這項創新工作是首次在完全透明的玻璃結構中成功實現全彩 3D 全息。

Image showing compact holographic display prototype experimental results. Real objects and augmented virtual content are shown simultaneously. The proposed wave propagation model showed the best image quality. — *圖 4。通過我們的緊湊型全息顯示器原型獲得的實驗結果。在光學透視 AR 模式下拍攝的 3D 全息圖的比較*

我們設計的另一個重要特征是使用了人工智能驅動的全息算法，這使得能夠使用之前介紹的緊湊、輕便的全息 XR 眼鏡。SLM 由相干光源（如激光）供電，其中波導系統中相干波前的精確操作對于全息顯示器至關重要，但由于相干光的干擾性質，這一點非常具有挑戰性。為了應對這一挑戰，我們開發了一個數學模型，該模型結合物理精確建模技術和人工智能來描述波導中相干波的傳播。

如圖 5 所示，波導的物理方面（以綠色突出顯示）與從相機反饋中學習的 AI 組件（以橙色突出顯示）相結合。在我們的模型中，輸入相位模式（左）將從 0 到 2π的每像素相位延遲應用于會聚照明，然后波前被所學習的耦合器內效率調制。本文中的效率是指表征元表面的物理量。

然后，該波陣面被發送到耦合器內平面處的 CNN，并使用其物理激勵傳遞函數通過波導傳播，然后使用額外的學習輸出耦合器效率來確定輸出耦合波陣面（中心）。后者被傳播到距離用戶不同距離的目標場景，在那里應用 CNN，將復值場轉換為觀察到的強度（右）。

This is an illustration of the mathematical model that describes the propagation of coherent waves in a waveguide using a combination of physically accurate modeling techniques and artificial intelligence. — 圖 5。提出的波浪傳播模型。當該模型在捕獲的數據集上進行訓練時，所學習的參數使其能夠準確預測我們的全息 AR 眼鏡的輸出，并在運行時計算目標場景的相位模式

當在捕獲的數據集上進行訓練時，CNNs 的學習參數、耦合器效率和波導傳播使該模型能夠準確預測我們的全息 AR 眼鏡的輸出該模型是完全可微分的，使得簡單的梯度下降計算機生成的全息算法能夠在運行時計算目標場景的相位模式

該模型可以通過神經網絡組件參數化，這些組件可以從相機反饋中自動學習。在實際的全息顯示器中，即使是波長尺度的錯位也會導致圖像質量的顯著下降，使得人工智能驅動的校準至關重要，尤其是在波導等復雜結構中。所提出的波傳播模型準確地表示了物理光學，相比其他模型顯著提高了圖像質量（圖 2和圖 4）。

An image of holographic AR lenses. — *圖 6。全息 AR 鏡頭。圖片來源：Andrew Brodhead*

總結

一度被認為不可能，但人工智能使實用的全息顯示器變得可行，并使 3D XR 眼鏡能夠支持聚焦提示。這一研究領域為人工智能在顯示器中開辟了新的可能性。雖然人工智能已經被用于內容創建和人機交互，但它也可以顯著減少顯示器本身的尺寸和重量，這是一個真正突破性的成就，超越了傳統的期望。這些創新還為新的顯示器外形因素帶來了潛力，超越了自誕生以來一直占據主導地位的傳統 2D 矩形顯示器。

要了解更多信息，請參閱帶有 metasurface 波導的全息 AI 眼鏡。