Nik Spirin – NVIDIA 技術博客

借助 NVIDIA NeMo Evaluator 簡化 LLM 的準確性評估

Wed, 27 Mar 2024 08:36:07 +0000

大型語言模型 (LLM) 從處理復雜的編碼任務到創作引人入勝的故事，再到翻譯自然語言，已展示出非凡的功能。企業正在定制這些模型，以提高特定于應用程序的效率，從而為最終用戶提供更高的準確性和更好的響應。然而，為特定任務定制大語言模型 (LLM) 會導致模型對先前學習的任務“忘記”。這稱為 **災難性遺忘**。因此，隨著企業在應用中采用 LLM，有必要針對原始任務和新學習的任務評估 LLM，不斷優化模型以提供更好的體驗。這意味著在自定義模型上運行評估需要重新運行基礎和對齊評估，以檢測任何潛在的回退。為了簡化 LLM 評估，NVIDIA NeMo 團隊宣布搶先體驗計劃用于 NeMo Evaluator。NeMo Evaluator 是一種云原生微服務，可提供自動基準測試功能。它評估先進的基礎模型和自定義模型，這些模型使用一系列多樣化、精心策劃的學術基準測試、

Source

]]>

NVIDIA NIM 提供經過優化的推理微服務，用于大規模部署 AI 模型

Mon, 18 Mar 2024 04:59:20 +0000

數字生成的生成式 AI 采用率一直很高。在 2022 年推出 OpenAI 聊天 GPT 的推動下，這項新技術在幾個月內積累了超過 1 億用戶，幾乎推動了各行各業的開發活動激增。到 2023 年，開發者開始使用 Meta、Mistral、Stability 等公司的 API 和開源社區模型創建 POC。進入 2024 年后，企業組織正將注意力轉向大規模生產部署，其中包括將 AI 模型連接到現有企業基礎設施、優化系統延遲和吞吐量、日志記錄、監控和安全性等。這種生產路徑既復雜又耗時，需要專門的技能、平臺和流程，尤其是大規模部署。 NVIDIA NIM 是 NVIDIA AI Enterprise 的一部分，為開發 AI 驅動的企業應用程序和在生產中部署 AI 模型提供了簡化的路徑。 NIM 是一套經過優化的云原生微服務，旨在縮短上市時間，并簡化生成式 AI 模型在云、

Source

]]>

掌握 LLM 技術：LLMOps

Wed, 15 Nov 2023 06:39:19 +0000

企業比以往更依賴數據和 AI 來創新、為客戶創造價值并保持競爭力。機器學習 (ML) 的采用催生了對工具、流程和組織原則的需求，這些需求是為了管理那些可靠、經濟高效且能夠大規模運行的代碼、數據和模型。這通常被稱為機器學習操作（MLOps）。世界正在迅速進入一個由基礎模型，尤其是大型語言模型 (LLM) 提供動力支持的新生成式 AI 時代。ChatGPT 的發布進一步加速了這一轉變。生成式 AI 操作 (GenAIOps) 和大型語言模型操作 (LLMOps) 的新專業領域隨著 MLOps 的演變而出現，旨在解決在生產環境中開發和管理生成式 AI 和 LLM 驅動的應用所面臨的挑戰。在本文中，我們概述了生成式 AI 應用開發之旅，定義了 GenAIOps 和 LLMOps 的概念，并將其與 MLOps 進行了比較。

Source

]]>