本周發布的模型包括兩個新的 NVIDIA AI 基礎模型：Mistral Large 和 Mixtral 8x22B。這兩個高級文本生成 AI 模型由 Mistral AI 開發，并通過 NVIDIA NIM 微服務提供預構建容器，以簡化部署過程，將部署時間從數周縮短到幾分鐘。這兩個模型可通過 NVIDIA API 目錄 訪問。
Mistral Large?
Mistral Large 是大型語言模型 (LLM)，它擅長處理復雜的多語種推理任務，包括文本理解、轉換和代碼生成。它因精通英語、法語、西班牙語、德語和意大利語以及對語法和文化語境的深入理解而脫穎而出。
該模型具有 32K 令牌上下文窗口，可從大量文檔中調用精確信息。它在指令跟隨和函數調用方面表現出色。Mistral Large 在各種基準測試中表現強勁，并展示了應對編碼和數學挑戰的強大推理能力。
Mixtral 8x22B
Mixtral 8x22B 是一種先進的語言模型 (LLM)，其特點是使用 Sparse多專家模型 (MoE) 架構。該模型以其龐大的尺寸和先進的功能而聞名，有助于其理解和生成復雜文本的能力。這意味著它適用于各種自然語言處理任務，包括聊天機器人、內容生成以及需要更深入地理解語言的更復雜的任務。
據報道，該模型在各種基準測試中的表現優于其他模型，展示了其在文本生成和理解方面的有效性。其架構支持快速、低成本的推理，使其成為需要實時響應以用于研究和商業用途的應用程序的一個有吸引力的選擇。
NVIDIA NIM 微服務
NVIDIA NIM 微服務現在支持二十多個流行的 AI 模型，包括 Mixtral 8x7B、Lama 70B、穩定視頻擴散、Code Lama 70B 和 Kosmos-2。NIM 的目的是簡化性能優化的部署，以使 10 倍到 100 倍的企業應用開發者能夠為 AI 轉型做出貢獻。有關更多詳細信息，請參閱 NVIDIA AI 基礎模型。
借助 NIM，開發者可以輕松地：
- 實現即時部署并保持對生成式 AI 應用和數據的控制。
- 簡化 AI 應用程序開發，為企業環境量身打造的行業標準 API 和工具。
- 利用最新的生成式 AI 模型，以預構建容器形式提供各種選項和靈活性。
- 卓越性能，具有領先的延遲和吞吐量，可實現經濟高效的擴展。
- 定制模型支持，開箱即用，可根據特定領域的數據訓練模型。
- 自信部署具有專用的功能分支、嚴格的驗證流程和強大的支持結構。
NVIDIA AI Foundation 模型旨在優化延遲和吞吐量。例如，Llama 2 利用 NVIDIA TensorRT-LLM 技術，將推理性能提高近 9 倍。
這些模型以 Nemo 格式提供，使開發者能夠利用 NVIDIA NeMo 輕松利用各種定制技術，包括 SFT、LoRA、RLFH 和 SteerLM。
精心策劃的基礎模型集包括生成文本、代碼和語言的 LLM、理解視覺效果并提供基礎信息的視覺語言模型 (VLM)，以及用于視覺內容生成、藥物研發、基因組學、氣候模擬等的模型。
NVIDIA 繼續與基礎模型開發者合作，優化其模型的性能，并將其與 NIM 微服務打包。
NVIDIA API 目錄?
NVIDIA API 目錄 包含性能優化的 API 端點，以企業級運行時形式提供。您可以從瀏覽器中體驗這些端點。
借助免費的 NVIDIA Cloud Credits，您可以開始大規模測試模型。您還可以通過將應用程序連接到運行在完全加速堆棧上的 NVIDIA 托管 API 端點來構建概念驗證 (POC).這些 API 與 Langchain 和 LamaIndex 等框架集成，簡化了企業應用程序開發。
在本地、云端或工作站上使用 NIM 微服務，只需幾分鐘即可部署模型。隨時隨地運行的靈活性可保持數據的安全性和隱私性，避免平臺鎖定，并使您能夠利用現有的基礎設施投資和云承諾。
請訪問 ai.nvidia.com 以開始使用。
?
