醫療科技的未來是機器人，醫院將實現完全自動化，AI 驅動的手術系統、機器人助手和自主患者護理將改變我們所知的醫療保健行業。
構建 AI 驅動的機器人系統帶來了一些關鍵挑戰。將數據收集與專家見解相集成就是其中之一。為逼真的解剖結構、傳感器和機器人創建詳細的生物力學模擬是另一回事。這些仿真對于生成合成數據和訓練機器人至關重要。確保從虛擬部署無縫過渡到現實世界部署至關重要，同時在操作期間管理具有超低延遲的高帶寬、多模態傳感器 AI 也至關重要。
這些限制凸顯了對整體框架的需求，包括用于訓練高級模型的 AI 計算、用于在高保真虛擬環境中開發和驗證機器人行為的模擬計算，以及用于在臨床環境中實時執行的運行時計算。
適用于醫療健康領域的 NVIDIA Isaac 是一個 AI 醫療健康機器人開發者框架，可助力醫療健康機器人開發者解決這些挑戰。適用于醫療健康領域的 Isaac 是一個特定領域專用的框架，利用 NVIDIA 三計算機系統實現物理 AI。
它包括用于預訓練模型和代理式 AI 框架的 MONAI，其中 MAISI 和 Vista-3D 等模型可以生成模擬工作流程所需的解剖合成數據。其次，它包括用于仿真的 NVIDIA Omniverse（NVIDIA Isaac Sim 和 NVIDIA Isaac Lab），使開發者能夠引入醫療設備/機器人、傳感器和解剖結構，以創建特定領域的物理精準虛擬環境，機器人系統可以在其中安全地學習技能。第三，它包含 NVIDIA Holoscan，用于機器人上部署和實時傳感器處理。
該框架提供數字原型設計、硬件在環（HIL）產品開發和測試、用于 AI 訓練的合成數據生成、策略訓練以及醫療機器人實時部署等功能，涵蓋以下領域：
- 手術和介入機器人
- 成像和診斷機器人
- 康復、輔助、服務型機器人
Isaac for Healthcare：助力醫療健康領域的下一波 AI 機器人開發浪潮
Isaac for Healthcare 將數字孿生和物理 AI 的組合功能用于：
- 新一代醫療健康機器人系統、傳感器和儀器的數字原型設計 ，使用 GPU、DPU 和 Jetson 等技術。
- 使用高保真仿真環境生成的真實合成數據訓練 AI 模型。
- 使用硬件在環 (HIL) 在數字孿生環境中評估 AI 模型。
- 通過在數字孿生中啟用 XR 和/或觸覺反饋支持的機器人系統遠程操作， 通過模仿學習收集數據來訓練機器人策略 。
- 訓練機器人策略以增強靈活性 (例如，在機器人輔助手術中)，使用 GPU 并行化來訓練強化和模仿學習算法。
- 通過 HIL 數字孿生系統對機器人系統進行 Continuous Testing (CT)。
- 創建部署應用程序 ，將仿真連接到現實世界，并在物理手術機器人上進行部署，例如使用 GPU 和 Jetson 等技術進行部署。
最新版本具有 手術子任務自動化 和自主機器人超聲波的兩個端到端參考工作流，涵蓋了手術和成像機器人的用例，旨在為您的用例快速跟蹤自主機器人功能的發展。
下文將介紹這些工作流程。
機器人手術子任務自動化工作流程
此工作流可作為模板，供開發者構建和部署手術子任務自動化解決方案。結合數字孿生、強化學習和模仿學習、高保真合成數據生成以及實時機器人評估，為 AI 驅動的手術自動化提供了一種可擴展的方法。
該工作流以 ORBIT-Surgical 為基礎，ORBIT-Surgical 是 NVIDIA、 PAIR Lab (多倫多大學和佐治亞理工學院) 和 AUTOLAB (加州大學伯克利分校) 在 ETH Zurich 的合作研究項目。
ORBIT-Surgical 正在向 Isaac 過渡，并發展為機器人手術子任務自動化工作流，學術界、行業和臨床環境中的現有和新協作者將在其中進一步發展。
約翰?霍普金斯大學 和斯坦福大學的協作者將一個視覺語言模型（VLM）與 da Vinci Research Kit（ dVRK ）集成在一起，該系統在其中自主執行三項關鍵的手術任務：小心提起身體組織、使用手術針和縫合傷口（如上圖所示）。
借助此工作流，開發者可以將自己的手術機器人、傳感器、儀器和患者模型引入 NVIDIA Omniverse，以創建高保真手術數字孿生。這使他們能夠在不接觸患者的情況下模擬縫合、切割和組織操作等復雜程序，同時大規模生成大量基于物理性質的逼真合成數據來訓練機器人策略。
然后，在 Isaac Lab 中使用合成生成的數據集來訓練強化和模仿學習流程，或微調現有的通用視覺語言動作模型（例如π0）來捕捉人類外科醫生在手術機器人方面的技能和靈活性。
最后，這些策略在數字孿生中經過全面訓練，將仿真連接到現實世界，并部署在物理手術機器人（在本例中即為 dVRK）上。
在手術子任務自動化工作流程中，Isaac 在醫療健康領域的主要功能：
- 自帶 (BYO) 組件：使用定制機器人、儀器、用品和解剖結構。
- 仿真就緒型環境：逼真、支持物理效果的數字孿生環境，例如 NVIDIA 的數字孿生環境，支持 GPU 和 cuOpt 等技術。
- 數據生成和收集：合成數據和專家演示。
- 策略訓練：用于技能獲取的強化學習和模仿學習。
- 評估和測試：通過 HIL 測試對數字孿生進行 Benchmark。
- Sim2Real transfer：將 AI 從模擬部署到現實世界的外科手術。
BYO 解剖學
此用于創建 逼真解剖模型 的工作流從合成 AI 輔助 CT 合成 (由 NVIDIA MAISI) 和分割 (由 NVIDIA VISTA3D 或 Auto3DSeg) 開始，然后是網格轉換、網格清理和細化、逼真紋理，最后是將所有紋理器官組裝到一個統一的 OpenUSD 文件中。
該工作流支持 創建特定于患者的模型 ，以模擬罕見或復雜的病例。這一點尤為重要，因為此類病例的真實患者數據通常很少，因此模擬成為訓練和準備的寶貴工具。
逼真的人體器官模型可在 GitHub 上獲取。
BYO 機器人/ 儀器
該工作流在 da Vinci Research Kit (dVRK)上執行，但提供的模板可泛化到其他機器人平臺。手術機器人的導入過程遵循通用的 Isaac Sim 導入指南。有關詳細指導，請參閱 Isaac Sim URDF 導入教程 。Isaac Sim 4.5 可讓您將機器人 CAD 模型轉換為 USD 格式，從而提供簡化的工作流，以便為仿真準備機器人模型。轉換為 USD 后，您可以繼續執行 關節裝配 的基本步驟，其中包括添加關節物理特性和定義機器人的運動屬性。完成這些關鍵準備工作后，您的機器人模型就可以集成到模擬場景（數字孿生）中，以物理精準的方式與器官或其他物體進行交互。
BYO 傳感器
該工作流為 AI 策略學習提供了多種感知模式。開發者可以集成不同的成像傳感器 (例如立體攝像頭、內窺鏡攝像頭、深度傳感器) 來定制 AI 感知管道。
專家演示集合 (通過 teleoperation)
此工作流還提供 recipes/examples，以便在各種手術任務中利用 teleoperation 生成高質量的演示數據，這對于訓練和評估手術機器人中的 AI 模型至關重要。
鍵盤、Spacemouse、游戲手柄、VR 控制器、da Vinci Research Kit (dVRK) Master Tool Manipulator (MTM) 等各種外圍設備可以與數字孿生通信，并提供輸入命令來控制 Cartesian 空間中的機器人。
策略學習
對于任務自動化，我們支持各種先進的強化和模仿學習算法 (例如，Action Chunking Transformer (ACT) 和 https://arxiv.org/abs/2303.04137)，以便高效獲取手術技能
自主機器人超聲波工作流程（Autonomous robotic ultrasound workflow）
超聲成像主要采用非侵入性、便攜式和安全技術。但是，要獲取高質量的超聲波圖像，需要技能熟練的超聲波檢查技術人員。隨著訓練有素的工作人員日益短缺，超聲波成像很好地展示了任務自動化的潛在優勢，即擴大護理范圍并支持及時、準確的診斷。
此參考工作流提供了一個可復制、可定制的模塊化框架，用于使用 AI、數字孿生和更廣泛的三臺計算機框架構建超聲波機器人自動化。許多此工作流程的主要功能與機器人手術子任務自動化工作流程的功能重疊。因此，我們在這里僅回顧超聲波工作流程特有的功能。
使用此工作流，開發者可以將自己的機械臂、攝像頭傳感器、超聲波探針和患者模型引入 NVIDIA Omniverse，以創建高保真超聲檢查數字孿生。您可以構建逼真的解剖模型和虛擬探針，模擬超聲波如何與不同密度的組織相互作用，從而為訓練提供豐富的數據集。
這種方法使您能夠探索不同的掃描角度、壓力水平和解剖變化，而不受物理實驗室的限制。開發者可以利用 Isaac Lab 從模擬和專家演示中提取數據，以采用強化學習或模仿學習，并訓練機器人系統進行最佳定位，并調整超聲波探針的方向以捕獲高質量圖像。
Isaac for Healthcare 的早期采用者和生態系統合作伙伴
Isaac for Healthcare 通過與外科、介入治療和成像機器人領域的行業領導者以及機械臂供應商合作，加速 AI 驅動的醫療機器人技術的未來。
在手術機器人領域，Virtual Incision 正在評估用于手術合成數據生成（SDG）的 Isaac for Healthcare，以便為其未來的機器人手術系統開發機器人任務自主性，并利用逼真的模擬環境提高手術精度。
Moon Surgical 正在對 自主機器人設置 進行原型設計，以動態適應外科醫生的技術和程序化工作流程，從而提高精度和效率。
在 介入式機器人領域 ， Neptune Medical 正在使用 NVIDIA Omniverse 和 Isaac Sim 設計和模擬 機器人內窺鏡檢查 ，從而增強診斷能力。
XCath 正在使用 Isaac for Healthcare 為其血管內機器人、治療設備和人體血管創建全面的數字孿生，在其基于導管的機器人系統中實現自主導航的運動規劃和控制。
Kinova 和 Franka 等領先的 機械臂 提供商 正在為開發者生態系統提供支持，在 Isaac for Healthcare 中提供 仿真就緒的預構建機械臂 。
與全面的參考工作流搭配使用，這些解決方案為開發者提供了強大的技術基礎，使其能夠快速對自主功能進行原型設計并將其部署到醫療設備中，從而推動醫療健康機器人的創新，例如使用 Python、PyTorch 和 GPU 等技術。
開始使用
利用我們全面的資源套件探索 Isaac for Healthcare ，旨在加速您進入 AI 驅動的醫療健康機器人開發之旅。如果您有興趣，請訪問我們的 早期訪問頁面 。
從手術子任務自動化工作流（Surgical Subtask Automation Workflow）或自主機器人超聲工作流（Autonomous Robotic Ultrasound Workflow）中進行選擇，以啟動您的項目。
?
?
