在手術室中集成機器人手術助手（RSAs）為外科醫生和患者的治療效果帶來了巨大的優勢。目前，這些手術機器人平臺由經過訓練的外科醫生在控制臺中通過遠程操作進行操作，可提高靈活性，從而簡化手術工作流程并減輕外科醫生的工作量。探索下一代手術助手的視覺行為克隆，可以進一步增強機器人輔助手術的能力和效率。
本文將介紹用于機器人手術輔助的兩個模板框架： 手術首次交互式自主助理（SuFIA） 和 手術首次交互式自主助理 – 行為克隆（SuFIA-BC）。SuFIA 使用自然語言引導和大語言模型（LLMs）來實現手術機器人的高級規劃和控制，而 SuFIA-BC 則通過行為克隆（BC）技術提高機器人手術助理的靈活性和精度。這些框架將探索 LLMs 和 BC 技術的近期進展，并對其進行調整，以便出色應對手術場景的獨特挑戰。
這項研究旨在加速手術機器人助手的開發，最終目標是減輕外科醫生的疲勞、增強患者安全并普及高質量的醫療服務。SuFIA 和 SuFIA-BC 通過在模擬和物理環境中展示其在各種手術子任務中的能力來推進這一領域的發展。此外，這項研究中引入的逼真資產使更廣泛的研究社區能夠探索手術機器人——一個傳統上由于數據訪問受限、專家演示成本高昂以及所需硬件昂貴而面臨著重大的入門障礙的領域。
這項研究增強了 ORBIT-Surgical 框架 ，可為手術機器人創建逼真的訓練環境，并利用 NVIDIA Omniverse 提供解剖學上準確的模型和高保真渲染。ORBIT-Surgical 是一個開放式模擬框架，用于學習手術增強的靈活性。它基于 NVIDIA Isaac Lab ，這是一個基于 NVIDIA Isaac Sim 的模塊化機器人學習框架，為各種用于強化學習和模仿學習的庫提供支持。
手術數字孿生?
圖 1 展示了一個 手術數字孿生 工作流，說明了從原始 CT 體積數據到 Omniverse 中的最終通用場景描述（ Universal Scene Description（OpenUSD））的完整流程。該流程包括器官分割、網格轉換、網格清理和細化、逼真紋理，最終將所有紋理器官組裝成統一的 OpenUSD 文件。
由此產生的數字孿生模擬器可生成高質量的合成數據，這些數據對于在復雜的手術任務中訓練和評估行為克隆模型至關重要。這項研究研究了各種視覺觀察模式，包括來自單攝像頭和多攝像頭設置的 RGB 圖像，以及來自單攝像頭深度數據的點云表示。
通過遠程操作進行策略學習和專家演示
該實驗框架包括五個用于評估的基本手術子任務：組織收縮、提針、接針、縫合襯墊穿線和塊狀轉移。如需了解更多信息并觀看任務視頻，請參閱 SuFIA-BC：在手術子任務中為視覺運動策略學習生成高質量演示數據 。
結果表明，雖然更簡單的任務在不同模型中表現出可比的性能，但復雜的任務卻揭示了編碼器效率的顯著差異。基于點云的模型通常在空間定義的任務（例如針頭抬起和針頭移交）中表現出色，而在需要顏色線索進行語義理解時，基于 RGB 的模型則表現更好。
為了確定經過訓練的模型的采樣效率，我們改變了專家演示的數量。在此實驗中，模型根據訓練演示的數量展示了不同的成功率，并在使用較少的演示時突出顯示了常見的失敗模式。這些發現強調了具有更高采樣效率的架構的重要性，并強調了引入的框架的重要性，其中數據收集比真實世界的數據更容易獲得。此外，使用不同的針式實例評估了泛化能力，與基于點云的模型相比，多攝像頭 RGB 模型顯示了更好的適應性。
對攝像頭視角變化的穩健性進行評估后發現，與基于 RGB 的模型相比，點云模型在視角變化方面表現出更出色的抗干擾能力，這凸顯了它們在手術環境中的實際部署潛力。
總結?
通過訪問本文中鏈接的開源資源，探索這項突破性技術。訪問 GitHub 上的 ORBIT-Surgical ，獲取用于訓練策略的視頻演示以及逼真的人體器官模型。通過利用這些資源，您可以推進手術機器人研究，試驗不同的學習方法，并為復雜的外科手術程序開發創新解決方案。我們鼓勵社區在此基礎上更進一步，分享見解，并協作增強機器人輔助手術。
?
