Hopper – NVIDIA 技術ブログ

Megatron-LM を用いた日本語に強い 172B 大規模言語モデルの開発

Mon, 11 Nov 2024 06:42:45 +0000

Reading Time: 2 minutes 生成 AI は、その卓越した能力のおかげで、従來の機械學習手法ではできなかったタスクを実行し、注目を集めています。例えば、自然言語処理の分野では、大規模言語モデル (LLM) が登場したことで、チャットボットによるカスタマーサポートや會議內容の要約など、これまで人間が擔っていた役割を AI が代わりに行うなど多くの革新的で創造的なユースケースが生まれています。 LLM は、パラメーター數の増加や MoE (Mixture of Experts) のような新しいアルゴリズムの採用など、様々なアプローチを通じて進化し続けており、小売業、製造業、金融業など、さまざまな業界への応用と適用が期待されています。しかし、現在 LLM リーダーボードの上位モデルの多くは、

Source

]]>

Transformer Engine ではじめる FP8 Training (導入編)

Thu, 18 Jul 2024 06:57:44 +0000

Reading Time: 5 minutes Transformer Engine とは、Transformer モデルの學習を効率的に行うためのオープンソースライブラリです。が含まれており、GPU における Transformer モデルの學習効率を大幅に向上させることができます。特に FP8 については、記事執筆時點では Hopper/Ada Lovelace アーキテクチャなどの最新の GPU に搭載はされているものの、深層學習フレームワークでは対応する OP がまだ実裝されていない狀況であるため、Transformer Engine は FP8 を活用して GPU の性能を最大限に引き出すために必須のライブラリといえます。 FP8 は、名前の通り 8bit で浮動小數點數を表現するデータフォーマットです。

Source

]]>

CUDA Toolkit 12.0 の一般提供が開始

Mon, 12 Dec 2022 10:14:00 +0000

Reading Time: 3 minutes NVIDIA は、CUDA Toolkit ソフトウェアの最新リリースである 12.0 を発表しました。このリリースは、數年ぶりのメジャーリリースで、新しいプログラミングモデルと新しいハードウェア機能による CUDA アプリケーションの高速化に焦點を當てています。詳細は、YouTube Premiere ウェビナー、CUDA 12.0: New Features and Beyond (CUDA 12.0: 新機能とその先) をご覧ください。 CUDA カスタムコード、拡張ライブラリ、および開発者ツールを使って、NVIDIA Hopper および NVIDIA Ada Lovelace アーキテクチャのアーキテクチャ固有の機能と命令を対象にアプリケーションをビルドできるようになりました。

Source

]]>

NVIDIA Hopper アーキテクチャの徹底解説

Tue, 22 Mar 2022 08:39:00 +0000

Reading Time: 12 minutes 2022 年 3 月の NVIDIA GTC 基調講演において、NVIDIA の創業者/CEO であるジェンスンフアンが、新しい NVIDIA Hopper GPU アーキテクチャに基づく NVIDIA H100 Tensor コア GPU を紹介しました。この記事では、新しい H100 GPU の內部と、NVIDIA Hopper アーキテクチャ GPU の重要な新機能について説明します。 NVIDIA H100 Tensor コア GPU は、大規模な AI や HPC において前世代の NVIDIA A100 Tensor コア GPU と比較して桁違いの性能の飛躍を実現するために設計された NVIDIA の第 9 世代データセンター GPU です。H100 は、

Source

]]>