斯坦福大學研究人員的一項新研究和 AI 模型正在簡化癌癥診斷、治療規劃和預后預測。這項名為 MUSK (Multimodal transformer with Unified maSKed modeling) 的研究旨在提高精準腫瘤學，根據每位患者獨特的醫療數據為其定制治療計劃。
“多模態基礎模型是醫學 AI 研究的新領域，”放射腫瘤學副教授兼研究高級作者 Ruijiang LI 說。“最近，我們為醫學領域開發了視覺語言基礎模型，尤其是在病理學領域。但是，現有研究使用的現有基礎模型需要配對的圖像 – 文本數據進行預訓練。盡管我們付出了大量努力，最終打造出 1M 病理圖像文本對，但它仍然不足以完全捕捉整個疾病譜系的多樣性。”
在考慮患者狀況和規劃最佳治療方案時，腫瘤科醫生依靠多種數據源。然而，醫生和 AI 模型仍然難以集成和解釋復雜的醫療數據。該研究最近發表在 Nature 雜志上，重點介紹了 MUSK 如何幫助醫生做出更準確、更明智的決定，同時解決醫學 AI 領域的長期挑戰。
借助深度學習，MUSK 處理臨床文本數據（如醫生的筆記）和病理學圖像（如組織學幻燈片），以識別醫生可能無法立即發現的模式，從而獲得更好的臨床見解。
為此，它使用了兩步多模態 transformer 模型。首先，它從大量未配對的數據中學習，從有用的文本和圖像中提取特征。然后，它通過關聯配對的圖像-文本數據來微調對數據的理解，這有助于識別不同類型的癌癥、預測生物標志物，并提出有效的治療方案。
研究人員基于該領域最大的數據集之一預訓練了 AI 模型，使用了來自 11,577 名患者的 50M 病理學圖像，其中有 33 種腫瘤類型和 1B 病理學相關文本數據。
據輻射物理學研究主要作者兼博士后學者 Jinxi Xiang 稱，預訓練在 8 個節點上使用 64 個 NVIDIA V100 Tensor Core GPUs 進行了 10 天以上，使 MUSK 能夠高效處理大量病理學圖像和臨床文本。二級預訓練階段和消融研究使用 NVIDIA A100 80GB Tensor Core GPUs 。研究人員還使用 NVIDIA RTX A6000 GPUs 評估下游任務。該框架通過 NVIDIA CUDA 和 NVIDIA cuDNN 庫進行加速，以優化性能。
在 23 項病理學基準測試中，MUSK 在多個關鍵領域的表現優于現有 AI 模型。它擅長將病理學圖像與相關的醫學文本進行匹配，從而更有效地收集相關的患者信息。它還能解讀與病理學相關的問題，例如識別癌變區域或預測生物標志物的存在，準確率高達 73%。
它將乳腺癌、肺癌和結直腸癌等癌癥亞型的檢測和分類能力提高了 10%，這有助于早期診斷和治療規劃。它還檢測到乳腺癌生物標志物，AUC（用于衡量模型準確性的指標）為 83%。
此外，MUSK 有 75%的時間能夠可靠預測癌癥生存期結果，以及哪些肺癌和胃食道癌會對免疫治療做出反應，準確率為 77%。與準確率僅為 60-65%的標準臨床生物標志物相比，這是一個顯著的改進。
“一個驚人的發現是，集成多模態數據的 AI 模型的性能始終優于僅基于圖像或文本數據的 AI 模型，這凸顯了多模態方法的強大功能，”Li 說。“MUSK 的真正價值在于它能夠利用大規模的未配對圖像和文本數據進行預訓練，與需要配對數據的現有模型相比，這是一個巨大的提升。”
這項研究的一個核心優勢是，它可以在幾乎沒有訓練的情況下適應不同的臨床環境。這可以提高腫瘤學工作流程的效率，并幫助醫生更快地診斷癌癥，同時定制治療方案以改善患者的治療效果。
他們未來的工作重點將是在來自不同人群的多機構患者群體中驗證該模型，以及用于治療決策等高風險應用。研究人員指出，臨床試驗中的前瞻性驗證需要獲得監管機構的批準。
“我們還致力于將 MUSK 方法擴展到數字病理學，包括放射學圖像和基因組數據等其他類型的數據，”Li 說。
研究人員的工作（包括安裝說明、模型權重、評估代碼和樣本數據） 可在 GitHub 上獲取。
?
