Data Analytics / Processing – NVIDIA 技術ブログ
http://www.open-lab.net/ja-jp/blog
Wed, 24 Apr 2024 09:35:53 +0000
ja
hourly
1
-
NVIDIA GB200 NVL72 は兆単位パラメーターの LLM トレーニングとリアルタイム推論を実現
http://www.open-lab.net/ja-jp/blog/nvidia-gb200-nvl72-delivers-trillion-parameter-llm-training-and-real-time-inference/
Mon, 18 Mar 2024 08:45:26 +0000
http://www.open-lab.net/ja-jp/blog/?p=2454
Reading Time: 4 minutes 兆単位パラメーター モデルに対する関心とはどのようなものでしょう? 現在、多くの用途が知られており、また、以下のような能力の拡大が期待されているため、関心が高まっています。 メリットは大きいですが、大規模なモデルのトレー … Continued]]>
Reading Time: 4 minutes 兆単位パラメーター モデルに対する関心とはどのようなものでしょう? 現在、多くの用途が知られており、また、以下のような能力の拡大が期待されているため、関心が高まっています。 メリットは大きいですが、大規模なモデルのトレーニングとデプロイは計算負荷が高く、リソースを大量に消費することがあります。計算効率、費用対効果、エネルギー効率に優れたシステムをリアルタイム推論用に設計することは、広範囲にわたるデプロイには不可欠です。新しい NVIDIA GB200 NVL72 はそのようなタスクに対応するシステムの 1 つです。 説明のために、Mixture of Experts (MoE) モデルを考えてみましょう。このモデルは、モデル並列処理とパイプライン並列処理を使用して、複數のエキスパートに計算負荷を分散し、
Source
]]>
2454
人人超碰97caoporen国产