Storage – NVIDIA 技術博客

關于擴展 AI 訓練和推理存儲的提示

Wed, 25 Jan 2023 07:43:25 +0000

GPU 在擴展 AI 方面有許多好處，從更快的模型訓練到 GPU 加速的欺詐檢測。在規劃 AI 模型和部署應用程序時，必須考慮可擴展性挑戰，尤其是性能和存儲。無論使用何種情況，人工智能解決方案都有四個共同點：在這些元素中，數據存儲通常是規劃過程中最被忽視的元素。為什么？因為隨著時間的推移，在創建和部署 AI 解決方案時并不總是考慮數據存儲需求。 AI 部署的大多數需求都可以通過 POC 或測試環境快速確認。然而，挑戰在于 POC 傾向于解決單個時間點。培訓或推斷部署可能會持續數月或數年。由于許多公司迅速擴大了其人工智能項目的范圍，基礎設施也必須進行擴展，以適應不斷增長的模型和數據集。這篇博客解釋了如何提前計劃和擴展數據存儲以進行訓練和推理。首先，了解 AI 的數據存儲層次結構，包括 GPU 內存、數據結構和存儲設備（圖 2 ）。

Source

]]>

使用 DPU 迎接 HPC 和超級計算性能的新時代

Tue, 20 Sep 2022 02:55:00 +0000

超級計算機被用來建模和模擬科學計算中最復雜的過程，通常是為了洞察新發現，否則這些新發現將不實際或不可能在物理上演示。 NVIDIA BlueField data processing unit （ DPU ）正在將 high-performance computing （ HPC ）資源轉化為更高效的系統，同時加速從數學建模和分子動力學到天氣預報、氣候研究，甚至可再生能源的廣泛科學研究中的問題解決。 BlueField 已經在云端網絡、網絡安全、通信和邊緣計算領域產生了顯著影響。此外，在高性能計算的幾個領域，它正在激發應用程序性能和系統效率方面的創新。 NVIDIA BlueField-3 提供基于多個 Arm AArch64 核的強大計算能力、多線程數據路徑加速器、集成的 NVIDIA ConnectX-7 400Gb/s 網絡，以及 I /

Source

]]>

為企業 AI 工作負載選擇合適的存儲

Thu, 21 Jul 2022 04:18:00 +0000

Artificial intelligence （人工智能）在企業中越來越普遍。語音識別、推薦和欺詐檢測只是人工智能和深度學習（ DL ）驅動的數百個應用程序中的少數幾個為了支持這些人工智能應用程序，企業希望優化人工智能服務器和性能網絡。不幸的是，在企業人工智能的開發中，存儲基礎設施需求往往被忽視。然而，為了成功采用人工智能，必須考慮一個全面的存儲部署戰略，該戰略考慮了人工智能的增長、經得起未來考驗和互操作性。這篇文章強調了企業在為人工智能應用程序規劃數據存儲基礎設施以最大限度地提高業務成效時應考慮的重要因素。我討論了云與本地存儲解決方案的比較，以及在支持 GPU 的虛擬機（ VM ）中對更高性能存儲的需求。流行的短語“你可以現在給我錢，也可以以后給我錢”意味著在做當前決定時最好考慮未來。通常，支持 AI 或 DL…

Source

]]>

具有往返時間擁塞控制的縮放零接觸 RoCE 技術

Tue, 14 Dec 2021 06:55:00 +0000

NVIDIA Zero Touch RoCE （ ZTR ）使數據中心能夠無縫部署聚合以太網上的 RDMA （ RoCE ），而無需任何特殊交換機配置。直到最近， ZTR 還僅適用于中小型數據中心。同時，大規模部署傳統上依賴于顯式擁塞通知（ ECN ）來啟用 RoCE 網絡傳輸，這需要交換機配置。新的 NVIDIA 擁塞控制算法往返時間擁塞控制（ RTTCC ） – 允許 ZTR 在不影響性能的情況下擴展到數千臺服務器。通過使用 ZTR 和 RTTCC ，數據中心運營商可以在無需任何交換機配置的情況下，享受部署和操作的便利性，以及大規模遠程直接內存訪問（ RDMA ）的卓越性能。這篇文章描述了以前在大規模和小型 RoCE 部署中推薦的 RoCE 擁塞控制。然后介紹了一種新的擁塞控制算法，該算法允許 ZTR 的無配置大規模實現，其性能類似于支持 ECN 的 RoCE 。

Source

]]>

利用 NVIDIA DALI 實現快速數據預處理

Thu, 07 Oct 2021 06:36:00 +0000

這篇文章是對之前文章的更新. 深度學習模型需要使用大量數據進行培訓，以獲得準確的結果。由于各種原因，例如不同的存儲格式、壓縮、數據格式和大小，以及高質量數據的數量有限，原始數據通常無法直接輸入神經網絡。解決這些問題需要大量的數據準備和預處理步驟，從加載、解碼、解壓縮到調整大小、格式轉換和各種數據擴充。深度學習框架，如 TensorFlow 、 PyTorch 、 MXNet 等，為一些預處理步驟提供了本地實現。由于使用特定于框架的數據格式、轉換的可用性以及不同框架之間的實現差異，這通常會帶來可移植性問題。直到最近，深度學習工作負載的數據預處理才引起人們的關注，因為訓練復雜模型所需的巨大計算資源使其黯然失色。因此，由于 OpenCV 、 Pillow 或 Librosa 等庫的簡單性、靈活性和可用性，預處理任務通常用于在 CPU 上運行。

Source

]]>