想象一下，一個應用程序可以篩選堆積如山的患者數據，智能地搜索和回答有關診斷、健康史等的問題。這種人工智能驅動的虛擬“臨床助理”可以簡化與患者預約的準備工作，總結健康記錄，并輕松回答有關單個患者的詢問。這樣的系統也可以被微調以執行下游任務，例如臨床試驗。
隨著 大型語言模型 的擴散，人工智能驅動的解決方案正在醫療保健領域出現，幫助醫療專業人員快速提取、總結和破譯關鍵的、可能挽救生命的信息。然而，基于 LLM 的臨床輔助系統面臨著挑戰，例如 LLM 引起的潛在錯誤，如幻覺，以及受保護健康信息（PHI）泄露的風險。
這篇文章探討了使用 檢索增強生成（RAG） 技術為臨床醫生開發高效、可靠和安全的虛擬助理的管道。RAG 管道確保機器人提供的答案來源于數據，同時也可以進行事實核查并防止幻覺。
虛擬臨床助理的 RAG 管道
本員額提議的虛擬臨床助理由兩個主要組成部分組成：
- NVIDIA NeMo Guardrails 是一個開源工具包，允許開發者輕松地將可編程護欄添加到基于 LLM 的會話系統中。它是 NVIDIA NeMo 框架的一部分，一個用于開發定制生成人工智能的端到端平臺。
- RAG 系統，它用相關數據增強 LLM 提示，以獲得更實用、更準確的響應。
NeMo Guardrails 的實施將智能地調解與臨床醫生的對話，RAG 系統將根據臨床醫生的查詢和患者文檔生成答案。
用于構建 RAG 管道的工具?
許多商業和開源工具為管理端到端 LLM 應用程序開發生命周期提供了不同的功能，包括 RAG 工作流。為了構建和部署強大的生成型人工智能應用程序，需要有效地處理大規模數據管理和矢量數據庫的攝入。要了解更多信息，請參閱 如何分四個步驟將 RAG 應用程序從試運行到生產。
該系統還應該能夠擴展以實時處理數十億個矢量查詢。應用程序還可能需要 LLM 培訓或微調。降低延遲的性能優化推理對最終用戶體驗也至關重要。
將護欄構建到應用程序中?
NeMo Guardrails?負責協調對話管理，確保 LLM 智能應用程序的準確性、適當性和安全性。例如，可以使用 NeMo 護欄來指示模型不要討論政治話題，用預定義的參數響應特定的用戶請求，遵循預定義的對話路徑，或者使用特定的語言風格。
NeMo Guardrails 作為 RAG 系統的主干，增加了可靠性和安全性。它保護應用程序免受利用公共語言模型漏洞的攻擊，同時通過事實核查和幻覺檢測保持答案質量。NeMo 護欄也是可編程和可擴展的，使開發人員能夠添加獨特的應用程序和特定領域的護欄。從本質上講，護欄使你能夠利用生成人工智能的巨大潛力，最大限度地減少風險，實現積極成果的最大化。
RAG 系統使用 OpenAI Ada 嵌入模型，即 GPU 優化的矢量數據庫，有效地檢索患者信息并生成準確的答案。該系統結合Milvus矢量數據庫和一個即時調整的 LLM。嵌入模型處理檢索到的文檔，并將它們存儲在 Milvus 矢量數據庫中，以實現高效的索引和檢索。此外，您可以選擇使用醫學知識預訓練的 LLM，并進一步微調模型，以最大限度地提高其在醫療任務中的性能。
保護數據和隱私?
為了保護隱私并避免在執行此任務時使用真實的患者數據，NVIDIA 團隊創建了真實的人工患者記錄。使用迭代采樣程序生成臨床數據，借助 GatorTron GPT 生成臨床數據。
應用 Top-p 采樣（細胞核采樣）和溫度采樣來平衡臨床文本生成的多樣性和質量。此任務的臨床文本生成限制為 2048 個令牌。圖 2 顯示了合成生成的臨床醫生數據片段，該數據片段被攝入用于填充 RAG 管道的 Milvus 矢量數據庫中。
推理過程?
當收到臨床醫生的請求時，NeMo Guardrails 服務器在不同的步驟中通過五個不同的軌道來調解用戶和系統之間的對話。這使生成模型保持在正軌上。這五個軌道包括輸入軌道、對話框軌道、檢索軌道、執行軌道和輸出軌道，下面將詳細解釋。
輸入導軌會在將用戶輸入傳遞到對話框軌道之前對其進行預處理和凈化，以屏蔽敏感信息或完全拒絕有毒或不符合主題的文本。
對話框導軌通過利用用戶輸入和對話框歷史記錄來編排系統流程。該過程始于用戶的意圖生成，然后繼續實現該意圖，可能涉及檢索任務或使用執行軌道調用另一個工具。
啟用了護欄回收導軌功能，以增強 RAG 應用程序的安全性，使其不會檢索不相關或敏感的患者文檔，也不會響應對話軌道發送的請求而指定任何其他文檔。
執行導軌確保根據需要適當地調用工具。例如，對于數學查詢，執行軌道將負責提取可以發送到 WolframAlpha 等工具的相關數學表達式，然后將該工具的結果適當地替換到原表達式中。
最后，輸出導軌將鞏固生成的答案并消除可能的幻覺。
開始使用?
欲了解如何使用 GatorTron GPT、Milvus 矢量數據庫和 NVIDIA NeMo Guardrails 等尖端工具過濾 LLM 應用程序中的有害和不準確響應，請觀看 人工智能安全衛士：強化醫療邊界的護欄解決方案。
?
