training – NVIDIA 技術博客

NVIDIA AI 平臺為大型語言模型帶來巨大收益

Thu, 28 Jul 2022 06:36:00 +0000

隨著大型語言模型（ LLM ）的規模和復雜性不斷增長， NVIDIA 今天宣布更新 NeMo Megatron 框架，提供高達 30% 的訓練速度。這些更新包括兩種開拓性技術和一個超參數工具，用于優化和擴展任何數量 GPU 上的 LLM 訓練，提供了使用 NVIDIA AI 平臺訓練和部署模型的新功能。 BLOOM ，世界上最大的開放科學、開放獲取多語言模型，具有 1760 億個參數，最近在 NVIDIA AI 平臺上接受培訓，支持 46 種語言和 13 種編程語言的文本生成。 NVIDIA AI 平臺還支持最強大的 transformer 語言模型之一，具有 5300 億個參數， Megatron-Turing NLG 模型 (MT-NLG). LLM 是當今最重要的先進技術之一，涉及數萬億個從文本中學習的參數。然而，開發它們是一個昂貴、耗時的過程，

Source

]]>

使用經 NVIDIA 認證的系統優化企業 IT 工作負載

Thu, 12 May 2022 05:39:00 +0000

GPU 加速的工作負載在所有行業都蓬勃發展，從使用人工智能來更好地參與客戶和進行業務預測的數據分析，到實現更快產品創新的高級可視化。 GPU 加速基礎設施的最大挑戰之一是選擇正確的硬件系統。雖然業務線關心性能和使用大量開發人員工具和框架的能力，但企業 IT 團隊還關心管理和安全等因素。 NVIDIA-Certified Systems 項目的創建是為了滿足這兩個群體的需求。配備 NVIDIA GPU 和網絡適配器的領先系統制造商的系統經過了嚴格的測試過程。如果服務器或工作站滿足一系列 GPU 加速應用程序的性能和可擴展性的特定標準，以及安全和管理功能的適當功能，則該服務器或工作站將被標記為 NVIDIA 認證。每個候選系統的認證測試由系統制造商在其實驗室進行， NVIDIA 與每個合作伙伴合作，幫助他們確定最佳通過配置。 NVIDIA 研究了許多服務器型號的數百個結果，

Source

]]>

使用最新的由 NVIDIA 驅動的實例，在云端節省時間和金錢

Tue, 01 Mar 2022 07:10:00 +0000

人工智能正在改變每一個行業，實現傳統軟件無法實現的強大的新應用程序和用例。隨著人工智能的不斷擴散，以及人工智能模型的規模和復雜性的不斷增加，人工智能計算性能的重大進步需要跟上。這就是 NVIDIA 平臺的所在地。憑借跨越芯片、系統、軟件甚至整個數據中心的全堆棧方法， NVIDIA 為所有人工智能工作負載（包括人工智能培訓）提供了最高的性能和最大的通用性。NVIDIA 在 MLPerf 培訓 v1 中展示了這一點。 1 ，行業標準的最新版本，經同行評審的基準套件，用于測量跨廣泛網絡的 ML 培訓性能。由 NVIDIA A100 GPU 核心張量提供動力的系統，包括 Azure NDm A100 v4 云實例，提供了圖表上的最佳結果，創造了新的記錄，并且是唯一完成所有八項 MLPerf 訓練測試的系統。所有主要的云服務提供商都提供了由 A100 供電的NVIDIA GPU…

Source

]]>