Benchmark

KV キャッシュの再利用技術と、TTFT のさらなる高速化を実現するベストプラクティスについて解説します。

NeMo Curator を使用した大規模なデータ処理と、Cosmos トークナイザーを使用した高品質なトークン化やビジュアル再構築を備えた、NVIDIA NeMo プラットフォームで、最先端のマルチモーダル生成 AI モデルを構築しましょう。

NVIDIA GH200 Grace Hopper Superchip を活用し、システム スループットを犠牲にすることなく、x86 ベースの NVIDIA H100 サーバーと比較して、Llama 3 70B モデルでマルチターンでユーザーとのやり取りする場合、TTFT を最大 2 倍に向上させる方法について解説します。

最適化アルゴリズムの主要な要素、その定義、業界をリードするソリューションに対して NVIDIA cuOpt のベンチマークを実行するプロセスについて掘り下げ、その比較の重要性に焦點を當ててご紹介します。

NVIDIA Spectrum-X はハイパースケール クラウド インフラの AI 向けに作られた最先端のネットワーキング プラットフォームとして腳光を浴びています。

大規模言語モデルは驚くべき新機能を提供し、AI で実現できる領域を拡大しています。しかし、その大きなサイズと特有の実行特性は、