Eddie Mattia – NVIDIA 技術博客

使用 NVIDIA NIM 和 Outerbounds 構建 LLM 驅動的生產系統

Wed, 02 Oct 2024 08:36:08 +0000

在過去 18 個月中，隨著語言模型的快速擴展，如今有數百種變體可供選擇。這些變體包括大語言模型（LLMs）、小語言模型（SLMs）和特定領域的模型，其中許多模型可以免費用于商業用途。特別是對于 LLMs，使用自定義數據集進行微調的過程也變得越來越經濟實惠和簡單。隨著 AI 模型的成本降低且更易于訪問，越來越多的現實世界流程和產品成為潛在應用。考慮任何涉及非結構化數據的流程，包括支持工單、醫療記錄、事故報告、劇本等。所涉及的數據通常很敏感，而結果對業務至關重要。雖然 LLMs 讓黑客快速演示變得輕而易舉，但為開發和部署 LLM 驅動的應用建立適當的流程和基礎設施并非易事。所有常見的企業問題仍然適用，包括如何：在企業環境中部署大型語言模型（LLMs）需要一種安全且結構良好的機器學習（ML）基礎架構、開發和部署方法。

Source

]]>

借助 Metaflow 開發 ML 和 AI，并借助 NVIDIA Triton 推理服務器進行部署

Fri, 05 Jan 2024 06:00:08 +0000

將 ML 模型部署到生產環境的方法有很多。有時，模型每天運行一次，以更新數據庫中的預測。有時，它為移動設備上的小型但關鍵的決策控制面板或語音轉文本提供支持。如今，該模型也可以是自定義的大型語言模型 (LLM)，支持新的 AI 驅動的產品體驗。通常情況下，模型通過帶有微服務的 API 端點暴露在其環境中，從而能夠實時查詢模型。雖然這聽起來很簡單，但由于通常有大量用于構建和部署微服務的框架，因此在嚴格的生產環境中服務模型并非易事。請考慮以下典型挑戰(表 1)。為全面應對這些挑戰，請考慮 ML 系統從開發的早期階段到部署(及后續)的整個生命周期。雖然您可以通過為每個步驟采用單獨的工具來完成整個過程，但通過提供連接各個點的一致 API，可以實現更流暢的開發者體驗和更快的部署速度。出于這一愿景，Netflix 于 2017 年開始開發名為…

Source

]]>