NVIDIA AI Workbench 是一款免費的、用戶友好型開發環境管理器，可在您選擇的系統（PC、工作站、數據中心或云）上簡化數據科學、ML 和 AI 項目。在 Windows、macOS 和 Ubuntu 上，您可以本地開發、測試項目和構建項目原型，并在系統（本地和遠程）之間輕松傳輸開發環境和計算工作，以優化成本、可用性和規模。
AI Workbench 專注于簡化開發者體驗，而不會阻礙高級用戶所需的自定義類型。那是 AI Workbench 處理容器的主要原因。它們是提供和修改 GPU 加速工作所需環境的最簡單方法。
這一重點還意味著與生態系統合作伙伴合作，以改善用戶體驗。例如，與 Canonical 的協作有助于使用 Ubuntu WSL 發行版在 Windows 上安裝 AI Workbench。
最近，NVIDIA 與 Docker Desktop 團隊合作創建了一項功能，允許 AI Workbench 直接安裝 Docker Desktop。這項功能在最新的 AI Workbench 版本中提供，可顯著簡化 Windows 和 macOS 上的體驗。
這種簡化使AI Workbench成為在您自己的系統上入門的最簡單方式，從筆記本電腦和工作站一直到服務器和VM。
托管式 Docker 桌面安裝
Docker Desktop 是 NVIDIA AI Workbench 上適用于 Windows 和 macOS 的推薦容器運行時。然而，在選擇 Docker 之前需要手動設置步驟。為了消除這些手動步驟，NVIDIA 與 Docker 合作，為本地系統安裝了支持 NVIDIA AI Workbench 的 Docker Desktop。
這是 Docker 首次支持另一個應用程序為 Docker Desktop 執行托管安裝。得益于此次合作，安裝適用于 NVIDIA AI Workbench 的 Docker Desktop 現在變得非常簡單。有關更多信息，請參閱使用 Docker Desktop 和 NVIDIA AI Workbench 優化 AI 應用程序開發（Docker 網站）。
選擇 AI Workbench 的 Docker 容器運行時，系統將自動完成以下任務：
- 安裝 Docker Desktop：以前，如果尚未安裝 AI Workbench 安裝程序，您必須退出 AI Workbench 安裝程序并手動安裝 Docker Desktop。現在，您可以讓 AI Workbench 安裝 Docker Desktop，而無需退出 AI Workbench 安裝程序。
- 在 Windows 上配置 Docker Desktop：AI Workbench 使用其自己的 WSL 發行版，NVIDIA-Workbench。以前，Windows 用戶必須手動配置 Docker Desktop 才能使用此發行版，現在，這將自動實現。
新的 AI 工作臺項目
在此版本中包含一組新的示例項目，為您使用和構建。AI Workbench 項目是一個結構化的 Git 存儲庫，在 AI Workbench 中定義了容器化的開發環境。
這些項目支持 Jupyter 和 Visual Studio Code 等 IDE 以及用戶配置的 Web 應用程序。所有內容都是容器化的、隔離的和易于修改的。你可以從 GitHub 或 GitLab 克隆項目，然后 AI Workbench 會處理所有內容，包括連接到 GPUs。
迄今為止，這方面的最佳示例是 GitHub 上的 Hybrid-RAG 項目。借助 AI Workbench，您只需克隆項目并單擊幾下，即可運行 RAG 應用程序。如果您沒有本地 GPU，該項目允許您使用云端點或自托管 NIM 容器為您運行推理。
此版本在 GitHub 上提供了一些示例 AI 工作臺項目，這些項目將繼續開發 RAG 主題。此外，還有一些基于 Jupyter 的新微調項目和支持 NVIDIA RTX AI 工具包的 LlamaFactory 項目。
智能 RAG
借助 Agentic RAG AI Workbench 項目，您可以與 AI 智能體合作，將 Web 搜索工具調用納入 RAG 工作流。智能體不僅可以處理數據庫中的文檔，還可以在線動態搜索新文檔作為后備，以更好地響應查詢。
LLM 代理是專為感知環境并作出反應而設計的系統，通常通過工具調用來更好地采取相關行動。這項項目實現了基于 LangGraph 的 RAG 代理，其中包含以下代理元素，以改進響應生成：
- 路由：根據查詢主題將相關問題路由到不同的工作流程。
- Fallback：如果檢索到的文檔與查詢無關，則返回 Web 搜索。
- 自我反射：修復無法解決問題的幻覺和答案。
此項目包含可定制的 Gradio 聊天應用，使您能夠使用遠程運行的端點和微服務運行推理，無論是在云端使用 NVIDIA API 目錄、使用 NVIDIA NIM 的自托管端點，還是第三方自托管微服務。您可以通過聊天應用輕松切換推理模式。
隨時隨地進行 NIM
NIM Anywhere 是一個一體化項目，用于構建包含預配置 RAG 聊天機器人的基于 NIM 的 RAG 應用程序。
- Docker 自動化：將 NIM、Milvus 和 Redis 等服務作為持久容器與主項目一起運行。
- 用戶可配置模型：在使用 NVIDIA API 目錄上的 NIM 微服務或本地運行的自托管 NIM 微服務之間切換 RAG 的運行方式。
- 可自定義前端：將視圖添加到前端Gradio應用程序，以擴展項目并構建新的用例。
NIM 微服務作為 NVIDIA AI Enterprise 的一部分提供，但您也可以加入 NVIDIA 開發者計劃，免費開始使用 NVIDIA NIM。
微調項目
最后，我們介紹了一些針對令人興奮的新模型的微調工作流程。每個項目都具有可以量化的模型，以適應單個GPU：
- Mixtral 8x7B: AI Workbench 的第一個示例項目，演示了專家混合模型 (Mixture of Experts, MoE) 的微調。
- Llama 3 8B：一個示例項目，展示兩種方法：監督式完全微調（Supervised Full Fine-tuning，SFT）和直接偏好優化（Direct Preference Optimization，DPO）。
- Phi-3 Mini：一個小巧的模型，具備量化能力，是一個高度易于訪問的微調示例。
- RTX AI 工具包：為 Windows 應用程序開發者提供端到端工作流。您可以使用熱門的基礎模型，使用 Workbench 項目使用微調技術對其進行自定義，并將模型部署到 Windows 應用程序中，以在各種 NVIDIA GPU（從 NVIDIA RTX PC 和工作站到云）上獲得峰值性能。您可以通過使用 AI Workbench 和 LlamaFactory 圖形用戶界面開始使用。
其他新功能
我們的開發流程包括用戶提出的直接功能請求。以下功能基于這些用戶反饋：
- SSH 代理
- Ubuntu 24.04
- 日志記錄
SSH 代理
Ai Workbench 的一些企業用戶需要使用受密碼保護的 SSH 密鑰來訪問遙控器。這通過在 2024.07 版本中添加 SSH 代理支持來解決這一問題。你還可以選擇使用早期的 SSH 密鑰功能。
Ubuntu 24.04
以前，Ubuntu 22.04 是唯一支持安裝 AI Workbench 的 Linux 發行版。2024.07 版本增加了 Ubuntu 24.04 的支持。
日志記錄
AI Workbench 具有多個日志文件，這些文件的查找和解釋十分復雜。為了解決此問題，AI Workbench CLI 現在提供了一個支持命令，讓您可以將元數據和日志導出到 zip 文件中。這消除了查找文件的需求，并包含可發送至 NVIDIA 支持部門以加快診斷和補救速度的元數據。
即將推出
以下是 AI Workbench 的發展方向：應用分享和多容器支持。
應用共享
目前，只有運行 Workbench 項目的用戶才能訪問該 Workbench 項目中正在運行的應用程序。一些用戶已請求能夠共享正在運行的應用程序。
在下一個版本中，AI Workbench 用戶將能夠通過鏈接在 Workbench 項目中安全地共享 Web 應用程序。經過身份驗證的用戶可以直接在 Web 瀏覽器中訪問應用程序，而無需使用 AI Workbench。
多容器支持
當前使用 NIM Anywhere 項目的多容器方法有點變通。即將發布的 AI Workbench 版本將簡化對多容器應用程序的支持。
后續步驟
通過從網頁安裝 AI Workbench 應用程序，開始使用 AI Workbench。已經擁有 AI Workbench 的用戶可以按照說明更新到最新版本。有關更多信息，請參閱在 Windows 上安裝 AI Workbench。
探索從數據科學到 RAG 的一系列 NVIDIA AI Workbench 項目示例。在 NVIDIA AI Workbench 開發者論壇上提問，并詳細了解其他開發者如何使用 NVIDIA AI Workbench。
?
