醫療設備創新不斷加速，每年獲得 FDA 批準的數量都創下新高。向臨床醫生和患者介紹這些全新或更新的設備時，他們需要接受培訓，以正確、安全地使用這些設備。
使用后，臨床醫生或患者可能需要獲得排查問題的幫助。醫療設備通常附有冗長且技術復雜的 Instructions for Use (IFU) 手冊，這些手冊描述了設備的正確用法。快速找到正確的信息可能很困難，在新設備上訓練是一項耗時的任務。醫療設備代表通常會提供支持培訓，但可能無法實時回答所有問題。這些問題可能會延遲醫療設備的使用和較新技術的采用，在某些情況下，還會導致錯誤使用。
使用生成式 AI 對醫療設備進行故障排除
檢索增強型生成 (RAG) 使用深度學習模型 (包括大語言模型 (LLMs))，使用自然語言高效搜索和檢索信息。借助 RAG，用戶可以接收大型文本語料庫 (例如 IFU) 中特定問題的易于理解的說明。語音 AI 模型，如自動語音識別 (ASR) 和文本轉語音 (TTS) 模型，使用戶能夠使用語音與這些先進的生成式 AI 工作流進行通信，這在手術室等無菌環境中至關重要。
NVIDIA NIM 推理微服務是為這些模型優化的 GPU 高性能容器，可為最新模型提供最低的總體擁有成本和最佳的推理優化。通過將 RAG 和語音 AI 與部署 NIM 微服務的效率和簡便性相集成，開發先進醫療設備的公司可以實時為臨床醫生提供準確、免持的答案。
圖 1、醫療設備訓練助手的聊天機器人用戶界面
使用 NIM 微服務構建的醫療設備訓練助手
在本教程中，我們構建了具有可選語音功能的 RAG 工作流，以回答有關使用其 IFU 的醫療設備的問題。所使用的代碼可在 GitHub 上獲取。
我們在 RAG 管道中使用以下 NIM 微服務。您可以靈活地將管道中的組件更改為適用于不同模型的其他 NIM 微服務：
- Llama3 70B Instruct (meta/llama3-70b-instruct)：一種大語言模型，可根據檢索到的文本生成用戶問題的答案。
- NV-EmbedQA-e5-v5 (nvidia/nv-embedqa-e5-v5)：嵌入來自 IFU 的文本塊和用戶查詢的嵌入模型。
- NV-RerankQA-Mistral-4b-v3 (nvidia/nv-rerankqa/mistral-4b-v3)：一種重新排序模型，用于對檢索到的文本塊進行重新排序，以便由 LLM 執行文本生成步驟。
- RIVA ASR：自動語音識別模型 ，可將用戶的語音查詢轉錄為模型的文本。
- RIVA TTS：輸出 LLM 響應音頻的文本轉語音模型。
RAG 有兩個步驟：文檔攝取，然后檢索和生成答案。可以在圖 2 的參考架構圖中找到這些步驟和相關的 NIM 微服務。
使用 NVIDIA NIM?
您可以訪問 NVIDIA 的 API Catalog（ build.nvidia.com ），注冊免費的 API 積分，或在自己的計算基礎設施上部署，以訪問 NIM 微服務。
在本教程中，我們使用 API Catalog 端點。有關使用 NIM 微服務、查找 API 密鑰以及其他預備知識的更多信息，請訪問 GitHub 。
按照以下步驟構建具有可選語音的 RAG 工作流，以便使用其 IFU 回答醫療設備問題。
- 構建和啟動容器 查看我們為使用 NIM 微服務和向量數據庫啟動容器而創建的 Docker Compose 文件。您可以在 GitHub 上獲取 詳細說明 和代碼。
- 提取設備手冊 導航瀏覽器，在“Knowledge Base”（知識庫）選項卡中上傳您的 IFU，如圖 3 所示。
- 檢索并生成答案導航 至“Converse”選項卡，開始與 IFU 對話（圖 1）。請務必單擊“Use Knowledge Base”，將 IFU 用作知識資源。要使用語音進行交談，請單擊文本輸入區域旁邊的麥克風，RIVA ASR 模型將轉錄您的問 題。要接收語音輸出，請單擊“Enable TTS output”。更多信息關于使用和故障排除的 UI 是在 Github 文檔。
- 在自定義數據集上進行評估使用自定義問題數據集和自動化 RAGAS 指標評估 RAG 工作流的性能。RAGAS 指標評估檢索器和生成器的性能，是以自動化方式評估 RAG 工作流的常用方法。有關如何使用評估腳本的說明，請參閱 GitHub 。
開始使用?
要開始使用此工作流，請訪問 GenerativeAIExamples GitHub 資源庫 ，其中包含本教程中使用的所有代碼以及大量文檔。
有關 NIM 微服務的更多信息，您可以參閱官方 NIM 文檔 了解詳情，并在我們的 NVIDIA Developer NIM 論壇 上提出問題。
?
