3D 醫學圖像的分析對于提高臨床反應、疾病跟蹤和患者的整體生存率至關重要。深度學習模型構成了現代 3D 醫學表示學習的支柱,實現了對臨床決策至關重要的精確空間上下文測量。這些 3D 表示對醫學成像數據(例如 CT 或 MRI 掃描)的生理特性高度敏感。
醫學圖像分割是醫學應用的一項關鍵視覺任務,是測量醫學圖像各個方面的定量工具。為了改進對這些圖像的分析,基礎模型的開發和應用在醫學圖像分析領域變得越來越重要。
什么是基礎模型?
基礎模型是最新一代人工智能神經網絡,在廣泛多樣的數據集上進行訓練,可用于廣泛的任務或目標。
隨著大型語言模型展示其處理一般任務的能力,視覺基礎模型正在出現,以解決各種問題,包括分類、檢測和分割。
基礎模型可以用作強大的人工智能神經網絡,用于分割醫學圖像中的不同目標。它為醫學成像應用開辟了一個可能性的世界,增強了分割任務的有效性,并實現了更準確的測量。
醫學圖像分析面臨的挑戰
醫學基礎模型在醫學圖像分析中的應用提出了重大挑戰。與一般的計算機視覺模型不同,醫學圖像應用程序通常需要高級領域知識。
傳統上,研究機構僅依靠輸入數據特征和靶標標簽之間的關聯,為脾臟或腫瘤等特定靶標創建了完全注釋的數據集。處理多個目標更加困難,因為手動注釋既費力又耗時。訓練更大或多任務模型也越來越具有挑戰性。
盡管最近取得了進展,但由于其異質性,在理解大型醫學成像數據方面仍然存在一個長期存在的問題:
- 醫學體積數據通常具有極高的分辨率,因此需要大量的計算資源。
- 當前的深度學習模型尚未有效地捕捉解剖變異性。
- 醫學成像數據的大規模性質使得學習魯棒和高效的 3D 表示變得困難,尤其是在處理異構數據時。
然而,對高分辨率、高維和大規模醫學體積數據的現代分析為加速發現和獲得對人體功能、行為和疾病的創新見解提供了機會。
基礎模型提供了解決異質變化的能力,這些變化使主題間和主題內差異的糾正變得復雜。人工智能有可能通過對大規模復雜數據進行更準確、更高效的分析,徹底改變醫學成像。
醫學視覺分割基礎模型平臺
MONAI 模型園 是一個用于托管醫學視覺基礎模型的平臺。它包含一組使用 MONAI 框架開發的預訓練模型,用于醫學成像任務。
MONAI 模型動物園是一個公開可用的資源,為不同的醫學成像任務(如分割、分類、配準和合成)提供了對各種預訓練模型的訪問。這些預訓練的模型可以用作在新數據集上進行訓練或針對特定應用進行微調的起點或基礎模型。
MONAI 模型動物園旨在加速新的醫學成像應用程序的開發,使研究人員和臨床醫生能夠利用已有的模型并在此基礎上進行構建。
全身 CT 分割
從單個模型中分割整個全身 CT 掃描是一項艱巨的任務。然而, MONAI 團隊已經迎難而上。他們開發了從一個模型中分割所有 104 個解剖結構的模型:
- 27 個器官
- 59 塊骨頭
- 10 塊肌肉
- 8 血管
MONAI 利用 totalSegmentator 團隊發布的數據集進行了研究和基準測試,以實現快速推理。對于高分辨率 1 . 5 mm 模型,使用單個 NVIDIA V100 GPU 對所有 104 個結構的推斷時間僅為 4 . 12 秒,而使用 CPU 的推斷時間為 30 . 30 秒。這比原論文報道的單次 CT 掃描的推斷時間(超過 1 分鐘)有了顯著改進。
要訪問 MONAI 全身 CT 分割基礎模型,請參閱 MONAI 模型園。
欲了解更多有關全身 CT 掃描中所有解剖結構概述的信息,請參閱 TotalSegmentator: robust segmentation of 104 anatomical structures in CT images 白皮書。
(資料來源:TotalSegmentator:CT圖像中104個解剖結構的強健分割)
全腦 MRI 分割
全腦分割是醫學圖像分析中的一項關鍵技術,為從臨床結構磁共振成像( MRI )中測量大腦區域提供了一種非侵入性手段。然而,由于人類大腦中有 130 多個子結構,分割大腦中的任何東西對 MRI 3D 分割來說都是一個艱巨的挑戰。不幸的是,大腦的詳細注釋很少,這使得這項任務對醫學成像界來說更加具有挑戰性。
為了解決這個問題, MONAI 團隊與范德比爾特大學合作開發了一種深度學習模型,該模型可以同時分割所有 133 個大腦結構。使用 3D 切片器, MONAI 模型可以在 2 . 0 秒內推斷出整個大腦。 MONAI 全腦 MRI 分割模型代表了醫學成像研究的一個有前途的發展,為提高臨床環境中大腦測量的準確性提供了寶貴的資源。
訪問 MONAI 模型園,查看MONAI 全腦 MRI 分割基礎模型。
如何訪問醫學成像基礎模型
在醫學圖像分析中使用基礎模型在提高診斷準確性和加強患者護理方面具有巨大潛力。然而,重要的是要認識到醫學應用需要強大的領域知識。
基礎模型具有處理大量數據和識別細微模式和異常的能力,已被證明是醫學圖像分析領域的寶貴工具。這些模型的開發和完善正在進行中,研究人員和從業者正在努力提高其準確性并擴大其能力。
盡管必須解決患者隱私和潛在偏見等挑戰,但基礎模型的使用已經證明了顯著的好處。預計未來它將在醫療保健領域發揮更突出的作用。
隨著研究人員、臨床醫生和用戶繼續關注基礎模型, MONAI 模型動物園,一個托管預訓練醫學圖像模型的平臺,正在擴大其影響。微調預訓練模型對醫學圖像分析的未來至關重要。
MONAI 模型動物園為各種醫學成像任務提供了對各種預訓練模型的訪問,包括分割、分類、配準和合成。通過使用這些預先存在的模型作為起點,研究人員和臨床醫生可以加快新的醫學成像應用程序的開發,節省時間和資源。
加入我們,今天就開始探索MONAI Model Zoo吧!
?