借助 NVIDIA NIM 微服務，在 RTX AI PC 和工作站上開啟您的 AI 之旅

隨著數字人、智能體、播客、圖像和視頻生成等新興用例的出現， 生成式 AI 正在改變我們與 PC 的交互方式。這種范式轉變要求我們以新的方式與生成式 AI 模型進行交互和編程。然而，對于 PC 開發者和 AI 愛好者而言，入門可能會非常困難。

今天，NVIDIA 在 NVIDIA RTX AI PC 上發布了一套 NVIDIA NIM 微服務 ，以在 PC 上快速啟動 AI 開發和實驗。NIM 微服務目前處于 beta 階段，提供涵蓋語言、語音、動畫、內容生成和視覺功能的 AI 基礎模型。

這些易于使用的行業標準 API 可幫助您在 NVIDIA RTX AI PC 上使用 NVIDIA NIM，開啟從實驗到構建的 AI 之旅。它們易于下載和運行，涵蓋 PC 開發的主流模式，并與主流生態系統應用程序和工具兼容。

NVIDIA NIM 的工作原理

將 AI 引入 PC 會帶來獨特的挑戰。AI 軟件堆棧從庫和框架快速發展為 SDK 和模型。此軟件堆棧的組合數量龐大，任何與此堆棧單層的不兼容都會導致整個工作流程中斷。在 PC 上實現 AI 性能的獨特限制還需要復雜的資源管理、嚴格的延遲和吞吐量要求。

在 PC 上，開發者一直在整理模型，使用自定義數據使模型適應其應用程序需求，對模型進行量化以優化內存資源利用率，并連接到僅適用于 PC 的自定義推理后端。

NIM 有助于應對這些挑戰。NIM 提供預封裝的先進 AI 模型，這些模型針對跨 NVIDIA GPU 的部署進行了優化。NIM 微服務被打包成一個容器，用于自托管加速微服務，用于預訓練和自定義 AI 模型。它基于 NVIDIA GPU (包括 NVIDIA TensorRT 和 TensorRT-LLM ) 預先優化的推理引擎而構建。

借助 NIM，您可以獲得標準 API 以及跨 NVIDIA 平臺 (從云和數據中心到 NVIDIA RTX AI PC 和工作站) 的統一開發和部署體驗。

GeForce RTX 50 系列 GPU 支持 FP4 計算，并配備高達 32 GB 的 VRAM，有助于將 AI 推理性能提升高達 2 倍，并在本地設備上運行更大的生成式 AI 模型。

NIM 微服務還針對基于 NVIDIA Blackwell 架構的全新 NVIDIA GeForce RTX 50 系列 GPU 進行了優化。

在 NVIDIA RTX AI PC 上 ，NIM 微服務通過 WSL2 運行。NVIDIA 和 Microsoft 合作將 CUDA 加速引入 WSL2，使您能夠使用 Podman 容器工具包和 WSL2 上的運行時運行 NIM 微服務。借助此功能，您可以隨時隨地構建、運行、共享和驗證 AI 工作負載。

在 NVIDIA RTX AI PC 上開始使用 NIM 微服務

適用于 NVIDIA RTX AI PC 的全新 NIM 微服務套件涵蓋 LLM、VLM、圖像生成、語音、用于 RAG 的嵌入模型、PDF 提取和計算機視覺等用例。

• 語言和推理：
• Deepseek-R1-distill-llama-8B
• Mistral-nemo-12B-instruct
• Llama3.1-8B-instruct
• 圖像生成： Flux.dev
• 音頻： Riva Parakeet-ctc-0.6B-asr Maxine Studio Voice
• RAG：Llama-3.2-NV-EmbedQA-1B-v2
• 計算機視覺和理解： NV-CLIP 、 PaddleOCR 、 Yolo-X-v1

目前，您可以通過以下幾種方式在 PC 上開始使用 NIM 微服務：

• 從 NVIDIA API Catalog 下載
• 與其他框架集成
• 使用 NVIDIA RTX AI PC 接口

NVIDIA API Catalog

下載、安裝和運行 NIM 微服務 。

選擇您的微服務，然后選擇“Deploy”。對于目標環境，選擇 RTX AI PC 上的 Windows（Beta）。

與其他框架

集成應用開發工具和框架，包括低代碼和無代碼工具，如

• LangChain
• FlowiseAI
• 適用于 VSCode 的 AI 工具包
• Langflow
• CrewAI

借助這些原生集成，您可以通過行業標準端點將基于這些框架構建的工作流連接到 NIM 中運行的 AI 模型，使您能夠通過跨云、數據中心、工作站和 PC 的統一接口使用最新技術。

例如，如何在 Flowise 上訪問 NIM 微服務：

1. 在 Flowise 中，選擇 Chat Models， 然后將 Chat NVIDIA NIM 節點拖動到主板上。
2. 選擇“Set up NIM Locally” ，然后下載 NIM 安裝程序。
3. 完成后，選擇要下載的模型，然后選擇“Next”。
4. 模型下載完成后， 根據需要配置內存限制 ，并將主機端口設置為任何未主動使用的端口，以運行微服務。
5. 啟動容器，保存 chatflow，然后在聊天窗口中開始提示。

使用 NVIDIA RTX AI PC 接口

通過用戶友好界面在 NVIDIA RTX AI PC 上體驗 NIM：

• AnythingLLM
• ComfyUI (即將推出)
• 適用于 VS Code 的 Microsoft AI 工具包
• ChatRTX

例如，如何將 NIM 與 AnythingLLM 結合使用：

1. 在 AnythingLLM 中， 選擇“Config” > “AI Providers” > LLM 。
2. 在 Provider 下，選擇 NVIDIA NIM，然后選擇 Run NVIDIA NIM Installer。
3. NVIDIA 安裝程序完成后，選擇 Swap to Managed Mode。
4. 選擇“Import NIMs from NVIDIA”，選擇要下載的模型，然后接受使用條款。
5. 將所需的 NIM 模型設置為“active” (活動) ，然后選擇 啟動 NIM 然后導航回工作空間。
6. 打開新聊天并開始提示。

視頻 1. 在 RTX 上運行先進的 LLM | NVIDIA NIM x AnythingLLM

以下示例展示了如何將 NIM 與 適用于 VS Code 的 Microsoft AI Toolkit 結合使用：

1. 使用 NVIDIA NIM Installer 為 NIM 微服務設置環境。
2. 在 AI 工具包 在 Visual Studio Code 中選擇“Extension” (擴展程序) 選項卡 模型目錄 。
3. 如要查看可用模型，請選擇“ Hosted by ” > NVIDIA NIM。
4. 要下載模型，請選擇“Add”。完成后，選擇“ Playground ” > “ Model selection ”，然后在本地啟動 NIM。加載模型后，AI Toolkit 上的微服務即可開始運行。

查看用戶指南，其中重點介紹了在 ChatRTX 中使用 NIM 微服務的分步說明。查看用戶指南，其中重點介紹了在 ChatRTX 中使用 NIM 微服務的分步說明。

通過 AI Blueprint 體驗 NIM 的強大功能

NVIDIA RTX AI PCs 即將推出 NVIDIA AI Blueprints，讓您能夠在使用 NIM 微服務構建生成式 AI 工作流方面搶占先機。這些 AI 藍圖可作為參考示例，提供構建本地運行的高級 AI 工作流所需的一切內容 (包括 NIM 微服務、示例代碼、文檔) 。此外，這些藍圖是模塊化的，可以針對任何用例快速進行完全定制。

藍圖示例包括：

• PDF 轉播客：將文檔轉換為音頻內容，以便您隨時隨地學習。它會從 PDF 中提取文本、圖像和表格。然后，它可以根據 AI 生成的腳本，使用可用的語音生成完整的播客。借助檢索增強生成 (RAG) 技術，用戶可以與播客主持人進行實時對話，詳細了解特定主題。
• 3D Guided Generative AI：讓您完全控制圖像生成。借助 Flux 圖像模型和類似于 Blender 的 3D 渲染應用，您可以定義場景元素、調整攝像頭角度，并使用 AI 將構圖和結構增強為高質量的視覺效果。此工作流與 Flux NIM 微服務、Flux.dev 模型和 ComfyUI 集成，可通過一鍵式安裝程序輕松訪問。

總結

對于構建和實驗，請在 NVIDIA RTX AI PC 上開始使用 NVIDIA NIM。

加入 NVIDIA 開發者 Discord 社區，與我們保持聯系并了解最新信息。 如需技術支持，請訪問 NVIDIA 開發者論壇，獲取問題的答案。