Workstation – NVIDIA 技術博客

關于擴展 AI 訓練和推理存儲的提示

Wed, 25 Jan 2023 07:43:25 +0000

GPU 在擴展 AI 方面有許多好處，從更快的模型訓練到 GPU 加速的欺詐檢測。在規劃 AI 模型和部署應用程序時，必須考慮可擴展性挑戰，尤其是性能和存儲。無論使用何種情況，人工智能解決方案都有四個共同點：在這些元素中，數據存儲通常是規劃過程中最被忽視的元素。為什么？因為隨著時間的推移，在創建和部署 AI 解決方案時并不總是考慮數據存儲需求。 AI 部署的大多數需求都可以通過 POC 或測試環境快速確認。然而，挑戰在于 POC 傾向于解決單個時間點。培訓或推斷部署可能會持續數月或數年。由于許多公司迅速擴大了其人工智能項目的范圍，基礎設施也必須進行擴展，以適應不斷增長的模型和數據集。這篇博客解釋了如何提前計劃和擴展數據存儲以進行訓練和推理。首先，了解 AI 的數據存儲層次結構，包括 GPU 內存、數據結構和存儲設備（圖 2 ）。

Source

]]>

工作站端到端 AI ：優化簡介

Thu, 15 Dec 2022 06:51:00 +0000

這篇文章是優化工作站端到端人工智能系列文章的第一篇。有關更多信息，請參見第 2 部分，工作站端到端 AI ：使用 ONNX 轉換 AI 模型和第 3 部分，工作站端到端 AI ： ONNX 運行時和優化 . GPU 的偉大之處在于它提供了巨大的并行性；它允許您同時執行許多任務。在最精細的層面上，這歸結為有數千個微小的處理內核同時運行同一條指令。但這并不是這種并行性停止的地方。還有其他方法可以利用經常被忽視的并行性，特別是在人工智能方面。當你考慮人工智能功能的性能時，你到底是什么意思？您是否只是在考慮模型本身運行所需的時間，還是在考慮加載數據、預處理數據、傳輸數據以及寫回磁盤或顯示所需時間？這個問題可能最好由體驗該功能的用戶來回答。通常會發現，實際的模型執行時間只是整個體驗的一小部分。這篇文章是本系列文章的第一篇，它將引導您了解幾個特定于 API 的用例，包括：

Source

]]>

工作站端到端 AI ：使用 ONNX 轉換 AI 模型

Thu, 15 Dec 2022 06:50:00 +0000

這篇文章是優化工作站端到端人工智能系列文章的第二篇。有關更多信息，請參見第 1 部分，工作站端到端 AI ：優化簡介和第 3 部分，工作站端到端 AI ： ONNX 運行時和優化 . 在這篇文章中，我討論了如何使用 ONNX 將人工智能模型從研究過渡到生產，同時避免常見錯誤。考慮到 PyTorch 已經成為最流行的機器學習框架，我的所有示例都使用它，但我也提供了 TensorFlow 教程的參考。 ONNX （開放式神經網絡交換）是描述深度學習模型的開放標準，旨在促進框架兼容性。考慮以下場景：您可以在 PyTorch 中訓練神經網絡，然后在將其部署到生產環境之前通過 TensorRT 優化編譯器運行它。這只是許多可互操作的深度學習工具組合中的一種，包括可視化、性能分析器和優化器。研究人員和 DevOps 不再需要將就一個未優化建模和部署性能的單一工具鏈。

Source

]]>

工作站端到端 AI ： ONNX 運行時和優化

Thu, 15 Dec 2022 06:36:00 +0000

這篇文章是優化工作站端到端人工智能系列文章的第三篇。有關更多信息，請參見第 1 部分，工作站端到端 AI ：優化簡介和第 2 部分，工作站端到端 AI ：使用 ONNX 轉換 AI 模型 . 當您的模型轉換為 ONNX 格式時，有幾種方法可以部署它，每種方法都有優缺點。一種方法是使用 ONNX Runtime 。 ONNX 運行時充當后端，從中間表示（ ONNX ）讀取模型，處理推理會話，并在能夠調用硬件特定庫的執行提供程序上調度執行。有關詳細信息，請參見 Execution Providers 。在這篇文章中，我將討論如何在高級別上使用 ONNX 運行時。我還深入探討了如何優化模型。 ONNX Runtime 與大多數編程語言兼容。與另一篇文章一樣，本文使用 Python 是為了簡潔和易讀。這些例子只是為了介紹關鍵思想。有關所有流行操作系統、

Source

]]>

人工智能服務器和人工智能工作站之間的差異

Thu, 21 Jul 2022 05:08:00 +0000

如果你想知道人工智能服務器和人工智能工作站有何不同，你不是唯一一個。假設嚴格的人工智能用例具有最小的圖形工作量，那么明顯的差異可以是最小到零。從技術上講，你可以用一個作為另一個。然而，根據要求每個人執行的工作量，每個人的結果將完全不同。因此，清楚地了解人工智能服務器和人工智能工作站之間的差異非常重要。暫時撇開人工智能不談，服務器通常都是聯網的，可以作為一種共享資源來運行跨網絡訪問的服務。工作站通常用于執行特定用戶、應用程序或用例的請求。工作站可以作為服務器，還是服務器可以作為工作站？答案是“是的”，但忽略工作站或服務器的設計目的通常沒有意義。例如，工作站和服務器都可以支持多線程工作負載，但如果服務器可以支持比工作站多 20 倍的線程（其他所有線程都相同），那么服務器將更適合為處理器同時處理創建多個線程的應用程序。服務器經過優化，可以作為客戶端的網絡資源進行擴展。

Source

]]>