外科醫生在常規手術中常用和手動操作的機器人現在可以像人類一樣精確地自主執行關鍵的手術任務。
約翰?霍普金斯大學和斯坦福大學的研究人員透露，他們已將經過數小時手術視頻訓練的視覺語言模型（VLM）與廣泛使用的 da Vinci 機器人手術系統集成。
與 VLM 連接后，達芬奇的微型抓手 (或稱“手”) 可以自動執行三項關鍵手術任務：仔細提起身體組織、使用手術針和縫合傷口。
傳統的機器人訓練方法需要對機器人動作的每個組件進行詳細編程，而改裝后的 da Vinci 機器人僅使用模擬學習執行零樣本手術任務。該機器人僅依靠其視覺語言模型來模仿醫生在手術視頻中所做的操作。
這些結果讓我們一窺未來完全由自主機器人進行手術的可能性。
約翰?霍普金斯大學博士后研究員 Ji Woong “Brian” Kim 說：“這些機器人現在能夠自主執行這些非常復雜的任務，這真是太神奇了。“對機器人進行編碼，讓它們可以從模仿學習中進行真正的操作，這是機器人領域的重大范式轉變，我認為，也是自主手術機器人的未來所在。”
為了訓練模型，研究人員使用了 NVIDIA GeForce RTX 4090 GPU、PyTorch 和 NVIDIA CUDA-X AI 庫。
研究人員于 11 月在慕尼黑的機器人學習大會上公布了 他們的研究結果 。為了開展研究，機器人專家使用了 da Vinci 機器人手術系統 ，該系統可配備多達四個機械臂，并在全球范圍內被外科醫生用于各種腹腔鏡手術。
為了訓練他們的 VLM，Kim 及他的同事將微型攝像機連接到約翰?霍普金斯大學擁有的三臺 da Vinci 機器人的手臂，并借給研究人員進行實驗。
Kim 和他的同事使用醫生通常用于練習手術技術的小型硅墊，像外科醫生在腹腔鏡手術期間操作機器人一樣。
Kim 錄制了大約 20 個小時的視頻，講述了他如何操控 da Vinci 的 grippers——合起來大約只有一分錢大小——來執行三個手術：舉起人體組織的一份傳真、操作手術針以及用手術線打結。
他還記錄了與手動操作抓手相關的運動學數據。這些運動學數據包括有關 Kim 在每個手術步驟中操縱機器人時所使用的角度和壓力的精確信息。
在使用手術視頻和運動學數據訓練 VLM 后，研究人員將其模型與 da Vinci 機器人連接起來，并指示機器人執行三項手術任務。
研究人員對雞肉和豬肉進行了實驗，這是機器人從未遇到過的動物肉，模仿人體組織的外觀和感覺。
令他們欣喜的是，它在零樣本環境中幾乎完美地執行了外科手術。
Kim 表示，其中一個驚喜是機器人如何自主解決意想不到的難題。
有一次，抓手意外掉落了一根手術針，盡管從未接受過明確的手術訓練，但還是拿起它繼續進行手術任務。
Kim 說：“我們從未在豬或雞肉組織上訓練模型，也沒有在掉下來時拾起一根針。我們很高興它能在訓練分布之外的全新環境中工作，并且可以自動運行。”
Kim 已經在撰寫一篇新論文，其中概述了在動物身上部署機器人的近期實驗結果。他還在開發可用于擴展 da Vinci 機器人功能的其他訓練數據。
在?GitHub 閱讀研究人員的論文。
?
