• <xmp id="om0om">
  • <table id="om0om"><noscript id="om0om"></noscript></table>
  • 3 月 19 日下午 2 點,鎖定 NVIDIA AI 網絡中文專場。立即注冊觀看
    數據中心/云端

    輕量級、多模態、多語種 Gemma 3 模型實現性能優化

    使用基礎模型構建 AI 系統需要在內存、延遲、存儲、計算等資源之間實現微妙的平衡。在將生成式 AI 功能引入快速發展的 AI 應用生態系統時,管理成本和用戶體驗的開發者無法做到一刀切。

    您需要高質量、可定制的模型選項,以便支持在數據中心、邊緣計算和設備端用例等不同計算環境中托管和部署的大規模服務,例如使用 GPU、DPU 和 Jetson 等硬件加速。

    Google DeepMind 剛剛宣布推出 Gemma 3,這是一系列新的多模態和多語言開放模型。Gemma 3 由一個 1B 純文本小語言模型 (SLM) 和三個大小為 4B、12B 和 27B 的圖像文本模型組成。您可以使用 Hugging Face 中的模型,并在 NVIDIA API Catalog 中演示 1B 模型。

    Gemma 3 1B 模型經過優化,可在需要低內存占用的設備應用程序或環境中高效運行,輸入高達 32K 個令牌。Gemma 3 4B、12B 和 27B 模型可接受多達 128K 個令牌的文本、圖像和多圖像輸入。

    使用優化的 Gemma 3 模型進行實驗和原型設計

    在 NVIDIA API Catalog 中探索此模型,您可以在其中試驗自己的數據并配置參數,例如最大 tokens 數以及溫度和 top P 的采樣值。

    預覽還將在 Python、NodeJS 和 Bash 中生成所需的代碼,以便將模型集成到您的程序或工作流程中。如果您將 LangChain 用于構建代理、連接外部數據或關聯操作,則可以使用使用 NVIDIA LangChain 庫 生成的可重復使用客戶端。

    The GIF shows a chat application and the Python code for calling the Gemma 3 model. The user asks the chat application to generate a limerick about GPU computing and receives a short text response. The user then tabs through different variants of the generated code section for Python and LangChain.
    圖 1。Gemma 3 模型演示

    要開始使用您自己的環境,請執行以下步驟:

    1. 使用 NVIDIA API Catalog 創建一個免費帳戶。
    2. 前往 Gemma 3 模型卡。
    3. 選擇 使用此 NIM 進行構建 以及 生成 API 密鑰
    4. 將生成的密鑰另存為 NVIDIA_API_KEY

    適用于新一代機器人和邊緣解決方案的下一代人工智能(Next-level AI)

    每個 Gemma 3 模型都可以部署到 NVIDIA Jetson 系列嵌入式計算板上,用于機器人和邊緣 AI 應用。較小的版本 1B 和 4B 可在 Jetson Nano 這樣的小型設備上使用。專為高需求應用打造的 27B 模型可在支持高達 275 TOPS 的 Jetson AGX Orin 上提供服務。有關更多信息,請參閱最新的 Jetson Orin Nano Developer Kit 公告。

    NVIDIA 和 Google 的持續合作

    Google DeepMind 和 NVIDIA 合作開發了 Gemma 的每個版本。NVIDIA 在優化 GPU 模型方面發揮了關鍵作用,為 JAX、Python 機器學習庫、Google 的 XLA 編譯器、OpenXLA 等做出了貢獻。

    推進社區模型和協作

    NVIDIA 是開源生態系統的積極貢獻者,已根據開源許可證發布了 數百個項目

    NVIDIA 致力于開發 Gemma 等開放模型,以提高 AI 透明度,并讓用戶廣泛分享在 AI 安全性和彈性方面的工作。借助 NVIDIA NeMo 平臺 ,這些開放模型可以根據專有數據進行定制和調整,適用于各行各業的 AI 工作流。

    立即開始使用

    在 NVIDIA API Catalog 中的 Gemma 模型 上引入您的數據并在 NVIDIA 加速平臺上試用 Gemma。

    ?

    ?

    0

    標簽

    人人超碰97caoporen国产