• <xmp id="om0om">
  • <table id="om0om"><noscript id="om0om"></noscript></table>
  • 計算機視覺/視頻分析

    MONAI 成立 5 周年,慶祝開放科學和企業 AI 創新

    值此 MONAI 成立五周年之際,我們見證了開放式醫療 AI 愿景與生產就緒型企業解決方案的融合。

    此公告帶來兩項激動人心的進展:MONAI Core v1.4 的發布 (擴展了開源功能),以及 VISTA-3D 和 MAISI 作為 NVIDIA NIM 微服務的全面推出。這一雙重版本反映了我們對研究社區和臨床部署的承諾。

    五年的社區創新?

    MONAI 的發展歷程非常了不起,下載量超過 350 萬次,發表的論文超過 1000 篇,展示了 MONAI 對醫學 AI 研究的影響。

    最初是 NVIDIA 與倫敦國王學院的合作,現已發展成為一個充滿活力的生態系統,并得到了全球領先機構的支持。GSK、DKFZ、Bristol Myers Squibb、Alara、Quantiphi、Dataiku 和 Newton’s Tree 等組織貢獻了寶貴的專業知識和資源,幫助 MONAI 成為醫學影像 AI 的標準平臺。

    MONAI Core v1.4:推進開放式醫療 AI 發展?

    最新版本的 MONAI Core 具有一系列新的算法功能和三個基礎模型,展示了 MONAI 框架的通用性和強大功能。

    基礎模型 VISTA-3D、VISTA-2D 和 MAISI?

    VISTA-3D 是一種專門的交互式基礎模型,擅長從 3D CT 圖像中標注人體解剖結構。它的兩個主要特性是:開箱即用的準確性能,涵蓋超過 126 個解剖學類;以及零樣本能力,能夠學習使用交互式注釋分割新結構。

    該模型及其實現詳情可在“ VISTA3D:用于 3D 醫學成像的統一分割基礎模型 (VISTA3D:A Unified Segmentation Foundation Model For 3D Medical Imaging)”論文中找到,您可以通過 MONAI Model Zoo 訪問該模型。直接通過 NVIDIA API Catalog 體驗 VISTA-3D 的交互功能,或將其部署為可擴展的便攜式 NVIDIA NIM 微服務

    VISTA-2D 為細胞生物學研究人員引入了顯微鏡分析功能。它使用具有約 1 億個參數的 Transformer 網絡架構,該架構基于 Meta 的 Segment Anything Model (SAM) 架構構建。它能夠高精度處理多種細胞類型和成像模式。

    該模型在 TissueNet、LIVECell 和 Cellpose 等數據集上的廣泛驗證證明了其在實際應用中的性能。有關更多信息,請參閱 使用 NVIDIA AI 基礎模型 VISTA-2D 推進細胞分割和形態分析 ,并通過 MONAI Model Zoo 訪問實施。

    MAISI (Medical AI for Synthetic Imaging) 代表著我們在醫療健康領域的 3D 生成式 AI 的發展。此潛在擴散模型可以創建分辨率高達 512 × 512 × 768 體素的高分辨率 3D CT 圖像,體素大小從 0.5mm 到 5.0mm 不等,用戶可以控制 10 個身體習性類以及相應的分割遮罩。

    最初在 MONAI 生成式存儲庫中開發的關鍵模塊已集成到 MONAI Core 代碼庫中,并用于 MAISI 的開發。有關更多信息,請參閱 MAISI:用于合成成像的醫療 AI ,通過 MONAI Model Zoo 訪問模型,或直接通過 NVIDIA API Catalog 進行體驗。

    An image shows that MAISI can generate simulated, high-resolution, full-field CT images from user prompts, providing more data for training or validating other AI models.
    圖 1. 模擬腹部 CT 掃描的 2D 和 3D 可視化

    企業就緒型 NIM 微服務:VISTA-3D 和 MAISI

    基于這些開源模型的成功經驗,我們很高興地宣布 VISTA-3D 和 MAISI 作為 NVIDIA NIM 微服務全面推出。

    這些生產就緒型解決方案作為 NVIDIA AI Enterprise 的一部分提供,可提供容器化的 GPU 加速推理功能,只需一條命令即可跨云端、數據中心和工作站進行部署。

    VISTA-3D 和 MAISI 的 NIM 微服務實現為企業部署提供了幾個關鍵優勢:

    • 使用 NVIDIA TensorRT 優化推理引擎,實現最佳性能
    • 行業標準 API,可無縫集成到現有的醫學成像工作流程中
    • 基于 GPU 系統優化響應延遲和吞吐量
    • 跨各種基礎設施環境的靈活部署選項
    • Enterprise-grade 安全性和可擴展性功能

    這些醫療 AI 模型受益于 NIM 架構。組織可以通過這些容器化部署使用 NVIDIA 性能優化專業知識,同時保持對其應用和數據的完全控制。

    對于希望集成這些功能的開發者和醫療健康組織,我們通過 NVIDIA AI Enterprise 平臺提供全面的文檔、部署指南和支持資源。

    無論您是在研究環境中實施這些模型,還是針對臨床工作流進行擴展,NIM 微服務都能提供部署所需的基礎架構基礎。

    M3:醫學視覺語言模型的未來?

    在進行核心開發的同時,我們也很高興分享 M3 (MONAI 多模態模型),這是一項探索醫療 AI 未來的研究計劃。此框架彌合了視覺理解和自然語言處理之間的差距,展示了基礎模型如何與專業專家模型協同工作。

    通過 VILA-M3,我們將展示 AI 系統如何在分析醫學影像時利用多種類型的專業知識。例如,在 MRI 掃描中查詢腫瘤時,系統可以自動觸發相關分割模型,以增強分析。 Hugging Face 上提供的 VILA-M3 具有多個模型參數大小,可支持各種部署需求。

    The M3 system design extends multi-modal LLMs such as VILA with expert models that can provide critical information on demand to aid in answering user queries.
    圖 2、M3 系統架構

    有關 MONAI v1.4 功能的完整概述,請參閱 v1.4 版本說明 。您還可以通過我們錄制的 MONAI Days 2024 演示視頻 了解這些功能的實際應用,其中展示了 VISTA-3D、VISTA-2D、VILA-M3 和 MAISI。

    MONAI 2024 日:社區實際應用?

    今年的 MONAI Days 活動是與 MICCAI Society 合作舉辦的,展示了我們社區的充滿活力的精神。演示主題得到擴展,包括 開源 Holoscan SDK

    第一天,在 300 個注冊者的支持下,Holoscan SDK 作為開源基礎呈現給了 MONAI Deploy 。Holoscan SDK 使 MONAI 模型能夠輕松集成到放射工作流程以及實時手術指導和手術機器人系統中。

    ARVE Error: src mismatch
    provider:    youtube
    url: https://youtu.be/8cTjMtGdwZE?list=PLtoSVSQ2XzyDOjOn6oDRfEMCD-m-Rm2BJ&t=1

    src: https://www.youtube-nocookie.com/embed/8cTjMtGdwZE?list=PLtoSVSQ2XzyDOjOn6oDRfEMCD-m-Rm2BJ
    src gen: https://www.youtube-nocookie.com/embed/8cTjMtGdwZE?start=1&list=PLtoSVSQ2XzyDOjOn6oDRfEMCD-m-Rm2BJ
    視頻 1、歡迎和 Holoscan 平臺概述

    次日,超過 500 名注冊者參加了會議,與會者聆聽研究人員討論了對 MONAI 的最新貢獻、量化驗證性能的指標,以及 MONAI Core v1.4 版本中宣布的生成式 AI 和 M3 功能。

    在為期兩天的活動中,其他與會者回答了與會者提出的許多問題。MONAI 社區已經實現了自我維持,這不僅體現在為其代碼庫提供的先進方法方面,也體現在為新用戶和開發者提供的支持方面。

    所有演講均可在 MONAI YouTube 頻道 觀看。這種真正的合作顯而易見,因為經驗豐富的社區成員站起來回答新加入者的問題,展示了我們共同構建的支持環境。

    塑造未來 5 年的醫療 AI?

    在展望 MONAI 的未來時,您將看到推動我們創新的幾個關鍵方向。每個方向都在當前勢頭的基礎上更進一步,同時進軍對醫療 AI 的發展至關重要的新領域。

    擴大臨床影響?

    我們專注于彌合研究和臨床部署之間的差距,與 MedTech 合作伙伴密切合作,將 MONAI 功能集成到日常醫療工作流程中。這包括擴展我們的企業就緒型解決方案,簡化從開發到部署的過程。

    多模式集成?

    醫療 AI 的未來在于將多個數據流 (從醫學成像和電子健康記錄到實時傳感器數據) 結合起來。

    基于 M3 等計劃,我們致力于創建能夠理解和集成各種醫療數據類型的全面系統。

    實時處理演進?

    通過與 Holoscan SDK 等技術集成,我們正在突破實時醫療 AI 處理的極限,實現從手術指導到即時診斷協助的各種應用。

    加入我們,共創未來?

    我們攜手創造的不僅僅是軟件,我們還在構建一個蓬勃發展的醫療 AI 創新生態系統,讓全球的研究人員、臨床醫生和患者受益。如需了解更多信息并參與其中,請參閱 MONAI

    ?

    0

    標簽

    人人超碰97caoporen国产