MIG – NVIDIA 技術博客

分割 NVIDIA A30 GPU 并征服多個工作負載

Tue, 30 Aug 2022 03:12:00 +0000

多實例 GPU （ MIG ）是 NVIDIA H100 , A100 和 A30 張量核 GPU ，因為它可以將 GPU 劃分為多個實例。每個實例都有自己的計算核心、高帶寬內存、二級緩存、 DRAM 帶寬和解碼器等媒體引擎。這使得多個工作負載或多個用戶能夠在一個 GPU 上同時運行工作負載，以最大化 CPU 利用率，同時保證服務質量（ QoS ）。單個 A30 可以被劃分為最多四個 MIG 實例，以并行運行四個應用程序。這篇文章將指導您如何在 A30 上使用 MIG ，從劃分 MIG 實例到同時在 MIG 實例上運行深度學習應用程序。默認情況下， A30 上禁用 MIG 模式。在分區 GPU 上運行任何 MIG 工作負載之前，必須啟用 CUDA 模式，然后對 A30 進行分區。要劃分 A30 ，請創建 GPU 實例，然后創建相應的計算實例。

Source

]]>

在同一邊緣設備上運行多個應用程序

Mon, 18 Jul 2022 04:32:00 +0000

智能空間是最豐富的邊緣人工智能用例之一。從智能零售店到自主工廠，企業很快就能看到這項創新技術的價值。然而，構建和擴展智能空間需要許多不同的技術，包括多種應用。在邊緣位置操作多個應用程序可能很復雜。為此，組織可能會向某個位置添加新硬件，以便每個應用程序都有專用的計算資源，但與購買和安裝每個新應用程序的新硬件相關的成本可能會很高。許多組織在同一設備上部署多個應用程序。雖然這是一種規模解決方案，但它可能會帶來不同的挑戰。許多組織依靠 GPU 的性能來支持邊緣應用程序。即使使用高性能 GPU 加速系統，使用時間切片在同一設備上同時運行兩個或多個 AI 應用程序也不可避免地會導致更高的延遲，而硬件優化最少。當多個應用程序在同一設備上運行時，設備將應用程序時間切片到隊列中，以便應用程序按順序運行，而不是并發運行。當設備從一個應用程序的處理數據切換到另一個應用程序時，

Source

]]>

提高 Kubernetes 的 GPU 利用率

Thu, 16 Jun 2022 06:14:00 +0000

為了實現可擴展的數據中心性能， NVIDIA GPU 已成為必備產品。 NVIDIA GPU 由數千個計算核支持的并行處理能力對于加速不同行業的各種應用至關重要。目前，跨多個行業的計算密集型應用程序使用 GPU ：此范圍內的不同應用程序可能有不同的計算要求。訓練巨型人工智能模型，其中 GPU 批處理并行處理數百個數據樣本，使 GPU 在訓練過程中得到充分利用。然而，許多其他應用程序類型可能只需要 GPU 計算的一小部分，從而導致大量計算能力的利用不足。在這種情況下，為每個工作負載提供適當大小的 GPU 加速是提高利用率和降低部署運營成本的關鍵，無論是在本地還是在云中。為了解決 Kubernetes （ K8s ）集群中 GPU 利用率的挑戰， NVIDIA 提供了多種 GPU 并發和共享機制，以適應廣泛的用例。最新添加的是新的 GPU 時間切片 API ，

Source

]]>

NVIDIA A100 加速醫學圖像處理深度學習研究

Thu, 19 May 2022 08:51:18 +0000

本案例中通過 NVIDIA A100 GPU 加速器，上海市磁共振重點實驗室構建了高效的深度學習科研硬件平臺，建立高效且穩定的針對醫學圖像處理的深度學習平臺。 • 本案例中 NVIDIA 精英級合作伙伴信弘智能助力上海市磁共振重點實驗室部署了高效的科研硬件平臺。上海市磁共振重點實驗室（Shanghai Key Laboratory of Magnetic Resonance）是從屬于華東師范大學的省部級重點實驗室, 是國內核磁共振研究和人才培養的主要基地之一。多年來，堅持自己在磁振物理學上的專業特色，逐漸形成了應用研究與技術研發并重，磁共振波譜與磁共振成像兼顧的局面，并先后建立了“上海市磁共振成像技術平臺”和“上海市核磁共振波譜技術服務平臺”兩個開放平臺，進一步強化了實驗室的開放服務功能。

Source

]]>

使用 NVIDIA A30 GPU 加速人工智能推理工作負載

Wed, 11 May 2022 10:31:00 +0000

NVIDIA A30 GPU 基于最新的 NVIDIA Ampere 體系結構，可加速各種工作負載，如大規模人工智能推理、企業培訓和數據中心主流服務器的 HPC 應用程序。 A30 PCIe 卡將第三代 Tensor 內核與大容量 HBM2 內存（ 24 GB ）和快速 GPU 內存帶寬（ 933 GB / s ）組合在一個低功耗外殼中（最大 165 W ）。 A30 支持廣泛的數學精度：它還支持 Tensor Float 32 （ TF32 ）和 Tensor Core FP64 等創新技術，提供了一個單一的加速器來加速每個工作負載。圖 1 顯示了 TF32 ，其范圍為 FP32 ，精度為 FP16 。 TF32 是 PyTorch 、 TensorFlow 和 MXNet 中的默認選項，因此在上一代 NVIDIA Volta 架構中實現加速不需要更改代碼。

Source

]]>