利用 NVIDIA Holoscan 和多模態成像融合實現實時手術指導

在本文中，我們將向您介紹如何使用最先進的 AI 和成像技術，并重點介紹 ImFusion 集成 NVIDIA Holoscan 以實現實時傳感器處理、AI 和 I/O。我們將探索 NVIDIA Holoscan 如何使流程性能提高一倍，并解釋如何通過結合兩種成像模式來提高手術準確性、減少并發癥并改善結果。

整合多模態手術數據所面臨的挑戰?

在微創或機器人圖像輔助手術期間，準確的導航和對患者解剖結構的詳細了解對于手術的成功至關重要。

在術前規劃期間，外科醫生通常依靠多模態成像技術（包括 3D 診斷成像模式，如計算機斷層掃描（CT）掃描），來識別異常、指定目標區域并精確定位如血管等關鍵結構。

然而，在實時手術過程中，將這些術前 3D 圖像數據集與術中視頻無縫結合仍然是一項重大挑戰，因為外科醫生在手術過程中往往無法充分利用這些寶貴的術前數據。

作為手術室程序指導的下一代醫療設備需要使用術前和術中的多模態數據的應用。這些應用必須同時執行多個計算密集型管道，并執行以下功能：

• 實時跟蹤解剖結構： 在手術過程中準確監測目標組織和器官的表面。
• 融合術前數據和術中數據：將 3D 術前圖像與實時手術視頻源無縫融合。
• 提供低延遲可視化： 在手術期間以低于 100 毫秒的端到端延遲提供融合的多模態信息，從而實現充分的手眼協調和實時決策。

這需要人工智能、加速計算和高級可視化功能的獨特組合。

NVIDIA Holoscan 是一個特定于領域的計算平臺，可提供加速的全棧基礎設施，滿足在臨床邊緣對流數據進行可擴展、軟件定義和實時處理的需求。它包含一個參考應用庫，幫助開發者快速構建和優化用于生產部署的 AI 應用。

NVIDIA 合作伙伴為 Holoscan AI 傳感器處理社區提供此庫，以分享應用程序，使您能夠重復使用和貢獻組件和示例應用程序，促進創新，并加速先進醫療設備的開發。

融合手術前數據和實時數據的實時 3D 手術導航

為了解決實時數據限制問題，總部位于慕尼黑的 ImFusion 公司，該公司是 NVIDIA Connect 計劃 成員，使用 NVIDIA Holoscan 創建了一個可以將術前數據與術中實時成像集成的系統。

該新型系統以 3D 網格的形式跟蹤目標解剖結構的表面。3D 網格是一種數字模型，可準確描述結構的形狀和輪廓，并將其流暢地融合到外科醫生的視野中。網格從術前 CT 掃描中提取，然后近乎實時地疊加到腹腔鏡攝像頭的實時視頻源上。

這使外科醫生能夠直觀地呈現術中和術前患者的混合信息，并做出更明智的實時決策。

使用 NVIDIA Holoscan 和 NVIDIA IGX 實現實時手術數據融合

ImFusion 的解決方案基于其專有的 ImFusion SDK 而構建，該 SDK 將圖像處理、配準、分析和可視化算法捆綁在一起。將 NVIDIA Holoscan 集成到 ImFusion SDK 中，進一步提升了性能、效率和靈活性。

ImFusion 計算機視覺負責人 Alexander Ladikos 解釋說：“將 Holoscan 集成到我們的 ImFusion SDK 中有助于我們實現了近乎實時的性能，這對于手術應用程序至關重要。它加快了我們的開發流程，節省了我們的時間，并允許我們在未來的項目中重復使用現有和自定義運算符。”

這種集成使 ImFusion 能夠構建和運行低延遲、人工智能增強的傳感器流應用程序，為下一代軟件即醫療設備（SaMD）奠定了基礎，使外科醫生能夠同時查看實時和融合的術前數據。

ImFusion 系統的核心是三個關鍵神經網絡，每個神經網絡都使用 Holoscan 加速功能和開源參考應用庫。

• 立體深度估算： 該網絡使用基于合成數據訓練的基于 CNN 的先進模型，從內窺鏡立體視頻幀生成深度信息。Holoscan 的實時處理能力使得可以從視頻流中即時估算深度，為手術指導提供關鍵的空間信息。
• 光流估計： 該網絡計算幀之間的 2D 像素位移，可確保在各種手術場景中實現穩健的性能。Holoscan 支持快速的 2D 流估計，以便隨后投射到 3D 空間，從而增強系統追蹤手術區域內運動的能力。
• 分割： 由位于比利時的全球領先機器人手術培訓機構 ORSI Academy 開發的 該深度學習分割模型 可以識別手術儀器和目標組織，這對于準確的追蹤和疊加至關重要。Holoscan 支持快速分析分割組織區域的 3D 流估計，因此系統可以實時精確識別和追蹤特定的解剖結構和儀器。

基于這三個神經網絡，ImFusion 的系統實現了令人驚嘆的實時性能。

術前 CT 的表面網格與底層解剖結構手動注冊，然后在整個手術過程中自動追蹤。使用配備 NVIDIA RTX 6000 Ada GPU 的 NVIDIA IGX 開發者套件，系統可實現約 13.5 Hz 的幀率中值，端到端延遲低于 75 毫秒。

雖然這種延遲會繼續得到進一步優化，但代表著性能的顯著提升。與之前的硬件配置和 NVIDIA TensorRT AI 模型推理優化之前相比，Holoscan Flow 基準測試顯示端到端延遲降低了 50％。

增強手術導航和加速開發

這種高水平的性能對于實時手術應用至關重要，因為它使外科醫生能夠接收到即時的視覺反饋，并提供前所未有的手術場景視圖。

作為歐洲最大的機器人手術培訓中心，ORSI Academy 通過與 NVIDIA 和 ImFusion 合作來指導開發并加強其臨床相關性，對這一進步做出了貢獻。

Orsi Innotech (ORSI 學院的外科 AI 部門) 的工程師兼外科住院醫師 Pieter De Backer 博士表示：“將實時視頻源與疊加 3D 網格投影無縫融合，可以提高我們外科醫生在微創手術或機器人輔助手術中瀏覽復雜解剖結構的能力。例如，在具有挑戰性的腎外科案例中，實時可視化腫瘤表面網格可以增強腫瘤的描繪效果，并最大限度地減少對健康組織的損害。“

集成用于低延遲任務和 AI 推理工作負載的 Holoscan-SDK 可加速 AI 增強型 SaMD 的開發。它與 ImFusion-SDK 等特定領域的框架兼容，可創建強大的開發環境，從而縮短開發時間并降低成本。

生態系統協作和開源貢獻

ImFusion 與 NVIDIA Holoscan 的合作正在提升微創手術和機器人輔助手術的可能性，將 AI、加速計算和領域特異性相結合，以提高精度、性能和安全性。ImFusion 對 Holoscan 參考應用的貢獻可以由其醫療技術客戶進行集成和構建，其多模態數據融合應用即將推出。

我們邀請您探索 Holoscan 參考應用庫 并為其做出貢獻，以擴展生態系統、加速 AI 增強型醫療設備的開發，并推進用于手術指導的實時傳感器融合。