參加我們將于 6 月 17 日結束的比賽，使用前沿技術展示您的創新成果：由生成式 AI 驅動的應用程序，該應用程序使用 NVIDIA 和 LangChain 技術。為了讓您開始，我們將探索一些用于激發您的創意之旅的應用程序，同時分享提示和最佳實踐，幫助您在開發過程中取得成功。
快速激發您的創造力
生成式 AI 智能體有許多不同的實際應用。在之前的比賽中開發的智能體或 Copilot 應用會根據應用的隱私、安全和計算要求使用大型語言模型 (LLM) 或小型語言模型 (SLM)。
這些示例包括：
- 借助本地托管的 LLM 模型，專為 Outlook 設計的插件可幫助用戶撰寫電子郵件、總結電子郵件主題并回答收件箱問題。
- 使用命令行助手將簡單的英語指令轉換為可行的命令行提示，從而增強命令行界面。
- 視覺探索工具，可分析圖像并提供直觀的照片分析功能。
開發者可以在游戲、醫療健康、媒體和娛樂等領域創建用于內容生成的應用。其他選項包括總結、在醫療健康領域，客服人員可以通過分析患者癥狀、病史和臨床數據來幫助診斷疾病，例如問答環節。
其中許多想法都適用于您的數據和您想要解決的問題 – 無論是使用客服改善每周的雜貨店購物，還是在業務環境中優化客戶服務響應
開發之旅的快捷提示
開發由 LLM 或 SLM 驅動的應用程序需要集成多個組件。此過程包括準備數據、選擇合適的基礎模型、微調選定的基礎模型，以及針對各種下游任務編排模型。這些任務可能包括代理創建、推理服務和其他專用功能。
讓我們先來了解一下在 Omniverse Create 中 基于 LLM 的智能體應用。在代理應用中，選擇合適的基礎模型至關重要，因為它在準確、高效地理解用戶查詢方面發揮著關鍵作用。此決策提出了幾個重要問題，例如選擇 LLM 還是 SLM，以及是否對模型進行量化。
這些問題的答案并不簡單，而是受到應用程序需求、部署基礎設施、所需推理速度和準確性要求等因素的影響。
下列提示值得牢記。
如果您的應用程序部署在顯存占用較小的 GPU 上，則應考慮在使用之前使用量化模型或量化現有模型。開發者可以使用的一些工具是量化框架，例如 模型優化器 及其各種插件，包括適用于大型語言模型的 NVIDIA TensorRT TensorRT-LLM。這些工具可以在 LangChain 框架中實現模型量化和優化。
如果推理準確性很重要，您應使用與其用例保持一致的基礎模型，但其中一些模型需要具有大顯存的 GPU。
如果您的目標是使用?檢索增強生成 (RAG)?在您的應用中，格式化和整理文檔是應用開發的一個重要方面。您可以利用諸如?NVIDIA NeMo Curator?或文檔加載器?等工具來支持處理不同的文檔模式，并查看我們?最近的博文，以獲取有關 NeMo Curator 的更多見解。
這些主題將幫助您開始使用您的應用程序。對于更高級的用例，例如微調和構建多智能體應用，您可以探索 NeMo 框架 和 LangGraph。
立即注冊，開始構建新一代 AI 應用程序。
