企業比以往更依賴數據和 AI 來創新、為客戶創造價值并保持競爭力。機器學習 (ML) 的采用催生了對工具、流程和組織原則的需求，這些需求是為了管理那些可靠、經濟高效且能夠大規模運行的代碼、數據和模型。這通常被稱為 機器學習操作（MLOps）。
世界正在迅速進入一個由基礎模型，尤其是大型語言模型 (LLM) 提供動力支持的新生成式 AI 時代。ChatGPT 的發布進一步加速了這一轉變。
生成式 AI 操作 (GenAIOps) 和大型語言模型操作 (LLMOps) 的新專業領域隨著 MLOps 的演變而出現，旨在解決在生產環境中開發和管理生成式 AI 和 LLM 驅動的應用所面臨的挑戰。
在本文中，我們概述了生成式 AI 應用開發之旅，定義了 GenAIOps 和 LLMOps 的概念，并將其與 MLOps 進行了比較。我們還解釋了為什么掌握運營對于執行企業級 AI 轉型的業務領導者至關重要。
為企業構建現代生成式 AI 應用
構建現代生成式 AI 應用的旅程從基礎模型開始，該模型會經歷預訓練階段，以學習有關世界的基礎知識并獲得緊急功能。下一步是使用由人類生成的提示和響應的精選數據集，使模型與人類的偏好、行為和價值觀保持一致。這為模型提供了精確的指令遵循功能。用戶可以選擇訓練自己的基礎模型或使用預訓練模型。
例如，各種基礎模型，如 NVIDIA NeMo Megatron-3 和社區模型，Llama，都可以通過 NVIDIA AI Foundations?獲得。這些模型都得到了 NVIDIA 專有算法和系統的優化，以及安全性和企業級支持的增強，詳情請見 NVIDIA AI Enterprise。
接下來是自定義階段。基礎模型與特定于任務的提示符相結合，或在精心策劃的企業數據集上進行微調。基礎模型的知識僅限于預訓練和微調數據，除非不斷重新訓練模型，否則會隨著時間的推移而過時，而這可能會付出高昂的代價。
一個 檢索增強一代 (RAG) 工作流程用于保持信息的新鮮度，并在查詢期間讓模型以外部知識為基礎。這是生成式 AI 應用開發生命周期中最關鍵的步驟之一，也是模型學習隱藏在企業數據中的獨特關系時的關鍵步驟之一。
完成自定義后，模型可以獨立使用，也可以作為鏈的一部分使用，鏈結合了多個基礎模型和 API 來提供端到端應用程序邏輯。此時，至關重要的是測試整個 AI 系統的準確性、速度和漏洞，并添加護欄以確保模型輸出準確、安全可靠。
最后，反饋回路關閉。用戶通過用戶界面與應用程序交互，或使用系統儀器自動收集數據。這些信息可用于不斷更新模型和 A/B 測試，從而提高其對客戶的價值。
企業通常擁有許多針對不同用例、業務功能和工作流程定制的生成式 AI 應用。此 AI 產品組合需要持續監督和風險管理，以確保平穩運營、合乎道德的使用，并針對處理事件、偏見或回歸發出及時警報。
GenAIOps 通過自動化加速了從研究到生產的過程。它優化了開發和運營成本，提高了模型的質量，增加了模型評估流程的可靠性，并保證了大規模的持續運營。
了解 GenAIOps、LLMOps 和 RAGOps
有幾個術語與 生成式 AI 相關。我們將在下一節中概述這些定義。
將 AI 視為一系列嵌套層。在最外層，ML 涵蓋了智能自動化，其中的程序邏輯不是明確定義的，而是從數據中學習的。隨著我們深入探討，我們會遇到專門的 AI 類型，例如基于 LLM 或 RAG 構建的 AI 類型。同樣，有一些嵌套概念可實現可再現性、重復使用性、可擴展性、可靠性和效率。
每個模型都基于先前的模型構建，并添加或優化了從基礎 MLOps 到新開發的 RAGOps 生命周期的功能：
- MLOps 是一個總體概念，涵蓋了從端到端的機器學習系統在生產中的開發與操作所需的核心工具、流程和最佳實踐。
- GenAIOps 擴展了 MLOps，用于開發和運營生成式 AI 解決方案。GenAIOps 的顯著特點在于管理基礎模型并與其交互。
- LLMOps 是一種專門用于開發和部署基于大型語言模型 (LLM) 解決方案的獨特 GenAIOps。
- RAGOps 是 LLMOps 的子集，專注于 RAG（Retrieval-Augmented Generation）的交付和操作。它也可以被視為生成式 AI 和大型語言模型 (LLMs) 的終極參考架構，推動了其大規模采用。
GenAIOps 和 LLMOps 涵蓋整個 AI 生命周期。這包括基礎模型預訓練、通過監督式微調實現模型比對、從人類反饋中進行強化學習 (RLHF)、針對特定用例與預處理/后處理邏輯相結合的自定義、與其他基礎模型、API 和護欄的鏈。RAGOps 范圍不包括預訓練，并假設提供了基礎模型作為 RAG 生命周期的輸入。
GenAIOps、LLMOps 和 RAGOps 不僅涉及實現 AI 開發的工具或平臺功能，還涵蓋了設定目標和 KPI、組織團隊、衡量進度和不斷改進運營流程的方法。
為生成式 AI 和 LLM 擴展 MLOps
通過定義關鍵概念，我們可以專注于兩者之間的細微差別。
MLOps
MLOps 為在生產環境中開發、訓練、評估、優化、部署、推理和監控機器學習模型的結構化方法奠定了基礎。
關鍵的 MLOps 概念和功能與生成式 AI 相關，包括以下內容。
- 基礎設施管理：請求、調配和配置計算、存儲和網絡資源，實現以編程方式訪問底層硬件。
- 數據管理：收集、提取、存儲、處理和標記數據以進行訓練和評估。配置基于角色的訪問控制；進行數據集搜索、瀏覽和探索；實施數據來源跟蹤、數據記錄、數據集版本控制、元數據索引、數據質量驗證、數據集卡片和數據可視化控制面板。
- 工作流與工作流管理：使用云資源或本地工作站；將數據準備、模型訓練、模型評估、模型優化和模型部署等步驟整合到一個結合數據和計算的端到端自動化且可擴展的工作流中。
- 模型管理：訓練、評估和優化用于生產的模型；在集中式模型注冊表中存儲和版本化模型及其模型卡；評估模型風險并確保符合標準。
- 實驗管理與可觀察性：跟蹤和比較不同機器學習模型實驗，包括訓練數據、模型和超參數的變化。自動搜索給定模型架構的可能模型架構和超參數空間；在推理過程中分析模型性能，監控模型輸入和輸出以檢測概念漂移。
- 交互式開發：管理開發環境，并與外部版本控制系統、桌面 IDE 和其他獨立開發者工具集成，使團隊能夠更輕松地制作原型、啟動作業和 就項目開展協作。
GenAIOps
GenAIOps 包括 MLOps、代碼開發操作 (DevOps)、數據操作 (DataOps) 和模型操作 (ModelOps)，適用于從語言到圖像再到多模態的所有生成式 AI 工作負載。對于生成式 AI，必須重新考慮數據管護和模型訓練、自定義、評估、優化、部署和風險管理。
新出現的 GenAIOps 功能包括：
- 合成數據管理：利用新的原生生成式 AI 功能擴展數據管理。通過域隨機化生成合成訓練數據，以提高遷移學習能力。以聲明方式定義和生成邊緣案例，以評估、驗證和認證模型的準確性和可靠性。
- 嵌入管理：將任何模式的數據樣本表示為密集的多維嵌入向量；在向量數據庫中生成、存儲和管理嵌入的版本。為了臨時探索，可視化嵌入。通過 RAG 的向量相似性搜索、數據標注或數據管護（作為主動學習循環的一部分）查找相關的上下文信息。對于 GenAIOps，使用嵌入和向量數據庫可以替代與 MLOps 相關的特征管理和特征存儲。
- 智能體/鏈管理：定義復雜的多步驟應用程序邏輯。將多個基礎模型和 API 組合在一起，并按照 RAG 模式使用外部內存和知識增強基礎模型。調試、測試和追蹤具有非確定性輸出或復雜規劃策略的鏈，實時和離線可視化和檢查多步驟鏈的執行流程。智能體/鏈管理作為推理管道的關鍵部分，在整個生成式 AI 生命周期中具有重要價值。它是 MLOps 工作流/管道管理的擴展。
- 護欄：在將對抗或不支持的輸入發送到基礎模型之前，攔截這些輸入。確保模型輸出準確、相關、安全可靠。維護和檢查對話和活動上下文的狀態，檢測意圖，并在執行內容策略的同時決定操作。護欄基于模型管理中涵蓋的 AI 輸入/輸出的基于規則的預/后處理構建。
- 提示管理：包括 create (創建)、store (存儲)、compare (比較)、optimization (優化) 和 version promotions (版本提示)。在測試期間分析輸入和輸出并管理測試用例，進行 提示工程。創建參數化提示模板，在用戶與應用程序交互期間選擇推理時間的最佳超參數和系統提示作為起點；并為每個基礎模型調整提示。具有獨特功能的提示管理是生成式 AI 實驗管理的邏輯擴展。
LLMOps
LLMOps 是更廣泛的 GenAIOps 范式的子集，專注于為基于 Transformer 的網絡的生產應用中的語言用例操作。語言是一種基礎模式，可以與其他模式相結合，以指導 AI 系統的行為。例如，NVIDIA Picasso 是一種結合文本和圖像模式的多模態系統，用于視覺內容制作。
在這種情況下，文本驅動 AI 系統的控制循環，并將其他數據模式和基礎模型用作特定任務的插件。自然語言界面擴展了用戶和開發者基礎，降低了 AI 采用門檻。LLMOps 下包含的一組操作包括提示管理、代理管理和 RAGOps.
借助 RAGOps 推動生成式 AI 的采用
RAG 是一種旨在增強通用型 LLM 功能的工作流。在查詢期間整合專有數據集的信息并為生成的事實答案奠定基礎，可確保事實正確性。雖然無需外部知識即可針對情感分析等任務對傳統模型進行微調，但 RAG 專為受益于訪問外部知識來源的任務(如問答)而定制。
RAG 將信息檢索組件與文本生成器集成在一起。此過程包括兩個步驟：
- 文檔檢索和提取：提取文檔并使用嵌入模型對文本進行分塊的過程，以將其轉換為向量并存儲在向量數據庫中。
- 用戶查詢和響應生成：用戶的查詢在查詢時會與嵌入模型一起轉換為嵌入空間，而嵌入模型則用于在向量數據庫中搜索最接近的匹配塊和文檔。原始用戶查詢和排名最高的文檔被輸入到自定義的生成器 LLM 中，該生成器會生成最終響應并將其返回給用戶。
它還具有無需全面重新訓練即可更新其知識的優勢。這種方法可確保生成的響應的可靠性，并解決輸出中的“幻覺”問題。
RAGOps 是 LLMOps 的擴展。這涉及管理傳統意義上的文檔和數據庫以及矢量化格式，以及嵌入和檢索模型。RAGOps 將生成式 AI 應用開發的復雜性提煉成一種模式。因此，它使更多的開發者能夠構建功能強大的新應用，并降低 AI 采用的門檻。
GenAIOps 提供許多業務優勢
隨著研究人員和開發者掌握 GenAIOps，將其擴展到 DevOps、DataOps 和 ModelOps 之外，將帶來許多業務優勢。其中包括以下內容。
- 加快上市時間：通過自動化和加速端到端的生成式 AI 工作流程，可以縮短 AI 產品的迭代周期，使組織更加靈活，并能迅速適應新挑戰。
- 更高的產量和創新：通過簡化 AI 系統的開發流程并提升抽象化水平，GenAIOps 能夠進行更多實驗，增加企業應用程序開發者的參與度，從而優化 AI 產品的發布。
- 風險緩解：基礎模型有可能徹底改變行業，但也有可能放大其訓練數據中固有的偏差或不準確之處。一個基礎模型的缺陷會傳播到所有下游模型和應用鏈。GenAIOps 能夠確保在最大限度地減少這些缺陷并積極應對道德挑戰方面保持前瞻性。
- 簡化協作：GenAIOps 支持跨團隊（從數據工程到研究，再到項目內的產品工程）的順利交接，并促進跨項目的構件和知識共享。它需要嚴格的操作規范、標準化和協作工具，以保持多個團隊的同步。
- 精簡運營：GenAIOps 通過工作負載優化、日常任務自動化以及為 AI 生命周期中的每個階段提供專用工具來幫助減少浪費，從而提高生產力并降低總體擁有成本 (TCO)。
- 再現性：GenAIOps 有助于維護代碼、數據、模型和配置的記錄，確保成功運行的實驗可以按需復制。這對于受監管行業尤其重要，因為在這些行業中，再現性不僅僅是一項功能，而是開展業務的一項重要要求。
生成式 AI 的變革潛力
將 GenAIOps 納入組織結構不僅僅是一項技術升級，而是一項戰略舉措，對整個企業的客戶和最終用戶具有長期積極影響。
- 增強用戶體驗：GenAIOps 能夠在生產環境中確保 AI 應用運行的最佳性能。企業可以通過聊天機器人、自主代理、內容生成器或數據分析工具來提供更加豐富的用戶體驗。
- 解鎖新的收入來源：借助 GenAIOps 助力的生成式 AI 定制應用，企業可以探索以前未知的領域，開辟新的收入來源并實現產品多樣化。
- 領先的道德標準：在當今時代，品牌形象與道德因素密切相關。在 GenAIOps 的指導下，主動解決 AI 潛在問題的企業可以成為行業的領導者，并為其他企業樹立可遵循的標桿。
AI 世界動態變化，發展迅速，潛力無限。基礎模型在理解和生成文本、圖像、分子和音樂方面具有無與倫比的能力，處于這場革命的前沿。
在研究從 MLOps 到 GenAIOps、LLMOps 和 RAGOps 的 AI 運營演變時，企業必須靈活、推進并優先考慮運營精度。通過全面了解 GenAIOps 并在戰略上加以應用，組織隨時準備塑造生成式 AI 革命的軌跡。
如何開始
通過瀏覽器試用在經過優化的 NVIDIA 加速硬件 / 軟件堆棧上運行的先進生成式 AI 模型，NVIDIA AI Foundry。
開始在 Omniverse 上進行 LLM 開發，使用 NVIDIA NeMo 端到端云原生框架，隨時隨地構建、自定義和部署生成式 AI 模型。
或者，您可以通過NVIDIA 培訓參加我們由專家指導的課程和研討會，這些課程和研討會為學習者提供了發揮 NVIDIA 解決方案全部潛力所需的知識和實踐經驗。想了解更多關于生成式 AI 和 LLM 的信息，請查看我們專門的Gen AI/LLM 學習路徑。
?
