NVIDIA 今日發布了 NVIDIA RTX AI 工具包，這是一個工具和 SDK 集合，供 Windows 應用程序開發者為 Windows 應用程序自定義、優化和部署人工智能模型。它可以免費使用，不需要具備人工智能框架和開發工具方面的經驗，并為本地和云部署提供出色的人工智能性能。
生成式預訓練 Transformer (GPT) 模型的廣泛應用為 Windows 開發者將 AI 功能集成到應用程序中創造了巨大的機會。然而，提供這些功能仍然面臨重大挑戰。首先，您需要自定義模型以滿足應用程序的特定需求。其次，您需要優化模型，以適應各種硬件，同時仍能提供最佳性能。第三，您需要一個適用于云和本地 AI 的簡單部署路徑。
NVIDIA RTX AI 工具包為 Windows 應用開發者提供了端到端工作流程。您可以利用 Hugging Face 中的預訓練模型，使用熱門微調技術對其進行自定義，以滿足特定于應用的要求，并對其進行量化，以適應消費級 PC。然后，您可以優化這些模型，以在各種 NVIDIA GeForce RTX 圖形處理單元 以及云端的 NVIDIA 圖形處理單元上運行。
在部署時，RTX AI 工具包提供了多種滿足應用需求的路徑，無論您是選擇將優化模型與應用捆綁、在應用安裝/更新時下載模型，還是啟動云微服務，都是如此。該工具包還包括 NVIDIA AI 推理管理器（AIM）SDK，使應用能夠根據用戶的系統配置和當前的工作負載，在本地或云端運行人工智能。
適用于各種應用的強大定制 AI
當今的生成式模型基于大型數據集進行訓練。使用數百個世界上功能非常強大的 GPU，這可能需要數周時間。雖然大多數開發者都無法利用這些計算資源，但開源預訓練模型可讓您獲得強大的 AI 功能。
以開源形式提供的預訓練基礎模型通常在通用數據集上進行訓練。這使它們能夠在各種任務中提供良好的結果。但是，應用程序通常需要專門的行為。例如，游戲角色需要以特定的方式說話，或者科學寫作助手需要理解行業特定的術語。
微調是一種技術，用于根據滿足應用程序需求的其他數據進一步訓練預訓練模型。例如，游戲角色的對話示例。
RTX AI 工具包包含支持微調的工具，例如 NVIDIA AI 工作臺。AI 工作臺 于今年早些時候發布，是一款用于在本地 RTX GPU 和云端組織和運行模型訓練、調整和優化項目的工具。RTX AI 工具包還包括使用當前最流行和最有效的技術之一 QLoRA 進行微調的 AI 工作臺 項目。
為實現參數高效的微調，該工具包使用 Hugging Face Transformer 庫利用 QLoRA，在占用更少內存的情況下實現自定義，并且可以在搭載 RTX GPU 的客戶端設備上高效運行。
完成微調后，下一步是優化。
已針對 PC 和云進行優化?
優化 AI 模型涉及兩個主要挑戰。首先，PC 運行 AI 模型的內存和計算資源有限。其次，PC 和云之間存在各種具有不同功能的目標硬件。
RTX AI 工具包包含以下工具，用于優化 AI 模型并為其部署做好準備。
NVIDIA TensorRT 模型優化器：即使是更小的語言模型（LLM）也可能需要 14 GB 或更多 RAM。NVIDIA TensorRT 模型優化器 從今天開始正式推出 Windows 平臺版本，可提供量化模型的工具，使其在不顯著降低準確性的情況下減少多達 3 倍。它包括 INT4 AWQ 訓練后量化等方法，以促進在 RTX 圖形處理單元（GPU）上運行先進的語言模型。這樣一來，較小的模型不僅可以更輕松地適應典型系統上可用的 GPU 顯存，還可以通過減少顯存帶寬瓶頸來提高性能。
NVIDIA TensorRT Cloud：為了在每個系統上獲得出色的性能，可以針對每個 GPU 專門優化模型。 NVIDIA TensorRT Cloud 是一項云服務，當前提供開發者預覽版，用于為 PC 中的 RTX GPU 以及云中的 GPU 構建優化的模型引擎。它還為熱門的生成式 AI 模型提供預構建、權重受限的引擎，這些模型可以與微調的權重合并，以生成優化的引擎。使用 TensorRT Cloud 構建并與 TensorRT 運行時一起運行的引擎，與預訓練模型相比，可實現高達 4 倍的性能提升。
經過微調的模型經過優化后，下一步是部署。
一次開發，隨處部署?
通過讓您的應用能夠在本地或云端執行推理，您可以為大多數用戶提供最佳體驗。部署在設備上的模型可以實現更低的延遲，并且在運行時不需要調用云端，但有一定的硬件要求。部署到云端的模型可以支持在任何硬件上運行的應用，但服務提供商會承擔持續的運營成本。模型開發完成后，您可以使用 RTX AI 工具包將其部署到任何地方，并且它是用于設備上和云路徑的工具，具有：
NVIDIA AI 推理管理器 (AIM): AIM 可作為搶先體驗版提供，可以簡化 PC 開發者人工智能集成的復雜性，并在 PC 和云端無縫編排人工智能推理。 NVIDIA AIM 預配置 PC 環境與必要的人工智能模型、引擎和依賴項，并支持跨不同加速器（包括圖形處理單元、神經處理單元和中央處理單元）的所有主要推理后端（TensorRT、ONNX Runtime、GGUF、Pytorch）。它還執行運行時兼容性檢查，以確定 PC 是否可以在本地運行模型，或根據開發者策略切換到云。
借助 NVIDIA AIM，開發者可以利用 NVIDIA NIM 在云端進行部署，并利用 TensorRT 等工具在本地設備上進行部署。
NVIDIA NIM：NVIDIA NIM 是一套易于使用的微服務，旨在加速在云、數據中心和工作站中部署生成式人工智能模型。NIM 可作為 NVIDIA AI Enterprise 軟件套件的一部分。RTX AI 工具包提供了用于打包、優化模型及其依賴項的工具，將其上傳到暫存服務器，然后啟動 NIM。這將拉取優化模型并創建端點供應用程序調用。
模型也可以使用 NVIDIA AI 推理管理器 (AIM) 插件，從而有助于管理本地和云推理的細節，并減輕開發者的集成負擔。
NVIDIA TensorRT： NVIDIA TensorRT 10.0 及其 TensorRT-LLM 推理后端為采用 Tensor Core 的 NVIDIA GPU 提供出色的性能。新發布的 TensorRT 10.0 簡化了人工智能模型在 Windows 應用程序中的部署。重量受限的引擎可以壓縮超過 99% 的已編譯引擎大小，因此可以直接在最終用戶設備上使用模型權重對其進行改裝。此外，TensorRT 為人工智能模型提供軟件和硬件向前兼容性，使其能夠與較新的運行時或硬件一起使用。TensorRT – LLM 包括專門優化，用于在 RTX GPU 上加速生成式人工智能語言模型（LLM）和統計語言模型（SLM），從而進一步加速 LLM 推理。
這些工具使開發者能夠準備在應用程序運行時就緒的 個模型。
RTX AI 加速生態系統?
包括 Adobe、Blackmagic Design 和 Topaz Labs 在內的優秀創意 ISV 正在將 NVIDIA RTX AI 工具包集成到其應用程序中，以提供在 RTX PC 上運行的 AI 加速應用程序，從而增強數百萬創作者的用戶體驗。
要在 RTX PC 上構建基于 RAG 和基于代理的加速工作流，您現在可以通過 LangChain 和 LlamaIndex 等開發者框架訪問 RTX AI 工具包 (例如 TensorRT-LLM) 的功能和組件。此外，熱門的生態系統工具 (例如 Automatic1111、Comfy.UI、Jan.AI、OobaBooga 和 Sanctum.AI) 現在已通過 RTX AI 工具包進行加速。通過這些集成，您可以輕松構建經過優化的 AI 加速應用程序，將其部署到設備上和云 GPU，并在應用程序中啟用混合功能，以便在本地和云環境中運行推理。
將強大的 AI 引入 Windows 應用程序?
NVIDIA RTX AI 工具包為 Windows 應用開發者提供端到端工作流，讓他們可以利用預訓練模型、自定義和優化模型，并將其部署到本地或云端運行。快速、強大的混合 AI 使 AI 驅動的應用能夠快速擴展，同時在每個系統上提供最佳性能。RTX AI 工具包使您能夠為更多用戶帶來更多 AI 驅動的功能，以便他們可以在游戲、生產力和內容創作等所有活動中享受 AI 的優勢。
NVIDIA RTX 人工智能工具包 即將發布，供開發者訪問。
