利用 AI 和 NVIDIA RTX GPU 加速現實捕捉工作流程效率

作為現實捕獲的第一步，站點掃描使用激光雷達和攝影測量等方法生成詳細的 3D 模型，同時由 NVIDIA RTX GPU 提供支持的加速處理可實現更快、更高效的數據處理。NeRFs 擅長生成逼真的 3D 場景，而高斯射板技術則提供了一種實現流暢、高效渲染的新穎方法。人工智能通過提供用于對象檢測、分割和分類的高級算法來增強這些工具，從而提供更深入的見解。

本文將探討 NVIDIA 如何走在人工智能與現實捕獲集成的前沿，借助強大的 GPU、軟件解決方案和尖端研究推動這些技術進步。

現實捕捉基礎知識?

現實捕獲過程始于對物理環境進行掃描或拍照，然后通過攝影測量或激光雷達進行處理以生成點云— 一組密集的數據點，代表精確的 3D 表面位置。通常會將點云轉換為 3D 模型，以提供物理空間的詳細虛擬表示。

攝影測量?

攝影測量是一種使用攝影圖像提取物理物體的詳細空間信息的技術，包括物體在空間中的距離、尺寸、形狀和確切位置。通過從多個視角分析角度、重疊和視角，攝影測量可以創建點云，然后將點云轉換為高度精細的 3D 模型。

這種方法易于使用且經濟高效，尤其是與激光雷達（Lidar）相比，因為它只需要基本的攝影設備。然而，攝影測量的準確性在很大程度上取決于所捕獲圖像的質量和數量，并且可能難以處理某些表面，例如反射或透明表面，從而導致結果的可靠性降低。

激光雷達?

激光雷達（光線檢測和測距）技術使用激光脈沖來測量距離，并通過計算光線從表面反射所需的時間來創建精確的環境 3D 模型。即使在具有挑戰性的照明條件（例如低光照或黑暗）下，它也能以超高的準確性捕獲大片區域的詳細空間數據，并能有效繪制各種材質的地圖，包括透明物體下方的植被和表面。

由于需要專業硬件，激光雷達通常比攝影測量貴，并且難以處理水或玻璃等高度反射的表面，從而可能會扭曲數據或造成間隙。此外，雖然激光雷達在幾何精度方面表現出色，但與攝影測量相比，它提供的紋理信息更少，這可能會限制其在需要照片級細節的應用中的有效性。

激光點云和 3D 網格?

點云和 3D 網格是現實捕獲的基本元素，可以將激光雷達或攝影測量的原始數據轉換為詳細、準確的虛擬模型。點云由映射精確 3D 表面位置的密集點集合組成，這些點通常會轉換為 3D 網格，形成連續的、有紋理的表面，以實現更逼真的表示。

CUDA 、 NVIDIA RTX 和 NVIDIA Omniverse 平臺顯著改進這一過程。CUDA 加速處理大型數據集所需的復雜計算，RTX 實現實時光線追蹤渲染，從而實現高度逼真的照明和陰影，而 NVIDIA Omniverse 提供強大的協作平臺，用于實時無縫編輯和可視化 3D 網格。

選擇合適的現實捕捉技術?

根據項目的具體需求，選擇合適的現實捕獲技術。Lidar 是獲取高分辨率、細節豐富的空間數據的首選，非常適合大規模勘測、復雜站點以及精度至關重要的環境。Autodesk ReCap 和 Bentley iTwin Capture 等軟件通常用于簡化 Lidar 數據處理和分析。

另一方面，攝影測量法在捕獲詳細的顏色數據方面具有優勢，特別是在建筑文檔和文化遺產保護方面。配備高分辨率攝像頭的無人機可以從多個角度和難以到達的區域捕獲圖像，從而顯著增強攝影測量法，進而為大型或復雜的場地創建全面的 3D 模型。諸如 Esri Site Scan for ArcGIS 和 Pix4D 等工具廣泛應用于攝影測量，提供了可靠的解決方案，可將無人機捕獲的圖像處理成詳細的 3D 模型。

使用 CUDA 和 NVIDIA RTX 增強工作流程?

為了處理通常與現實捕獲相關的大型數據集，CUDA 通過利用并行計算加速了 LiDAR 點云和攝影測量數據的處理，從而顯著縮短了數據轉換、可視化和分析所需的時間。這使得它對高分辨率掃描和 3D 重建項目非常有價值。

RTX 技術通過整合光線追蹤來增強這些 3D 模型的可視化效果，從而提供逼真的照明、陰影和反射效果。借助 Omniverse 和 Unreal Engine 等工具，此功能對于創建沉浸式、高保真的可視化效果至關重要，尤其是在激光雷達和攝影測量工作流程中使用 RTX 驅動的渲染功能。

NeRF 和高斯拼接?

與傳統攝影測量相比，NeRF 正在利用機器學習從數量大大減少的 2D 圖像中生成高度精細且逼真的視圖，從而改變 3D 場景合成。NeRF 可以在稀疏數據點之間進行插值，甚至從最初未捕獲的角度也能創建流暢、逼真的場景。

NeRF 能夠處理更少的圖像，同時仍能提供出色的視覺保真度，這使其成為建筑可視化和虛擬現實環境等應用的理想選擇。 NeRF Studio 等工具使開發者能夠添加語義嵌入等功能，從而實現更高級的應用和更豐富的交互式體驗，進一步增強 NeRF 的功能。

盡管 NeRF 效率很高，但仍然需要大量的計算資源和高質量的圖像才能有效運行，這可能會限制其在實時處理或動態環境中的實用性。NVIDIA 正在通過研究項目推進 NeRF 技術，例如用于大規模模型的 NVIDIA NeRF-XL 和用于加速處理的 NVIDIA Instant-NeRF ，從而突破現實捕捉的可能性極限。

高斯拼接是一種高效技術，用于在 2.5D 空間中實時渲染 3D 表面或體積，通過在 2.5D 空間中布局 2D 拼接（小型、重疊的高斯函數），實現平衡細節和性能的流暢、連續的可視化。它在需要快速、清晰地可視化復雜 3D 點云的場景中表現出色，非常適合建筑、城市規劃、增強現實和虛擬現實等應用。

圖 1. 攝影測量捕捉結構的網格，但忽略了周圍環境和背景 (左)。高斯拼接包括背景，為開發者提供更好的可視化效果，并可從完整上下文中受益 (右)。照片來源：Ben Stocker，Skender

雖然它提供出色的流暢度和速度，但在幾何精度方面存在權衡，這可能會限制其在需要高保真度的環境中的使用。NVIDIA 借助 NVIDIA InstantSplat 等工具推進了這項技術，例如用于快速 3D 重建的 NVIDIA InstantSplat、用于實時動態場景可視化的 NVIDIA 4D-Rotor Gaussian 拼接以及用于從文本描述中生成高質量 4D 可視化效果的 NVIDIA Align Your Gaussians (AYG)。在 Omniverse 平臺的支持下，這些創新技術可在大型項目和動態環境中實現高效、細致的實時可視化，為建筑可視化、施工監控和數字內容創建帶來顯著優勢。

像 Atomic Maps 這樣的 初創公司正在通過將高斯斑點集成到 Cesium 圖塊 中來突破界限，為地圖級別的地理環境提供了一個全面的地理框架，從而增強了可視化效果。

這些技術通過捕獲傳統攝影測量法可能缺失的復雜細節和上下文元素，實現了更準確、更身臨其境的環境表示。雖然攝影測量法在精確測量和勘測方面表現出色，但 NeRF 和高斯拼接提供了出色的視覺保真度，使開發者、業主和利益相關者能夠可視化具有豐富背景的項目（例如從建筑物的陽臺上欣賞城市景觀），并看到標準攝影測量法中經常缺失的電話線和交通標志等精細細節。這些增強的可視化功能可讓人們更全面地了解項目，幫助在設計、規劃和施工階段做出更好的決策。

用于現實捕捉的 AI?

AI 通過顯著改善物體識別、分割和 3D 重建流程，正在改變現實捕獲方式。例如， Hover 等初創公司正在使用 AI 來生成詳細的建筑物 3D 模型，從而提高結構分析和分類的準確性和效率。

NVIDIA Research 正在利用 SAL (在激光雷達中分割任何內容) 方法 推進分割，這是現實捕獲的一個關鍵方面。該方法使用文本提示的零樣本模型對激光雷達數據中的物體進行分割和分類，而無需手動監督。這簡化了工作流程，實現了更靈活、更可擴展的分割。 Gauzilla 等工具通過引入空間時間間隔來進一步擴展這些功能，有助于可視化隨著時間的推移發生的結構變化，并對項目開發和維護需求提供更深入的見解。

越來越多的公司使用 AI 和自主機器人來簡化現實捕獲流程。 Field AI Field Foundation Models (FFMs) 使自主機器人能夠在復雜的 GPS 拒絕的環境中運行，捕獲高質量的現實捕獲數據，這些數據可以通過開放式合作伙伴關系模型與 Naska.AI 等平臺集成。然后，Naska.AI 使用這些數據自動比較激光掃描與建筑信息建模 (BIM)，盡早突出關鍵信息，降低成本并防止進度超限，最終提高施工準確性和效率。

NVIDIA 正在利用 fVDB 進一步推進現實捕獲，fVDB 可將 NeRF 和激光雷達數據實時轉換為大規模的 AI 就緒型環境，非常適合城市規劃、自動駕駛系統和數字孿生。NVIDIA Research 的 AI 模型 Neuralangelo 可將 2D 視頻轉換為具有復雜紋理的詳細 3D 結構，為藝術、視頻游戲和工業數字孿生領域的應用提供支持。

結束語?

借助 NVIDIA 開發工具，軟件開發者能夠顯著加速現實捕獲工作流程，并嵌入用于物體識別、分割、分類和 3D 重建的 AI 工作流。這些創新簡化了流程，提高了準確性，并擴展了現實捕獲的潛力。借助由 CUDA 提供支持的 NVIDIA RTX GPU 加速，企業現在可以更快、更精確地處理和可視化現實捕獲數據，從而突破建筑和城市發展的極限。

探索更多適用于 AEC 行業的 NVIDIA 解決方案 。

致謝?

Francis Williams，NVIDIA 高級研究員 Zan Gojcic，NVIDIA 高級研究員 Michael Rubloff，Radiancefields.com 創始人兼總編輯 Jonathan Stephens，EveryPoint 首席布道者兼營銷總監 Ben Stocker，Skender 高級建筑技術專家 Michal Gula，Overhead4D 首席技術官 Chantal Matar，Studio Chantal Matar 創始人 Jim Young，Atomic Maps 管理總監 Stuart Maggs，Naska.ai 首席執行官兼聯合創始人