Transformer Engine ではじめる FP8 Training (導入編)

Thu, 18 Jul 2024 06:57:44 +0000

Reading Time: 5 minutes Transformer Engine とは、Transformer モデルの學習を効率的に行うためのオープンソースライブラリです。が含まれており、GPU における Transformer モデルの學習効率を大幅に向上させることができます。特に FP8 については、記事執筆時點では Hopper/Ada Lovelace アーキテクチャなどの最新の GPU に搭載はされているものの、深層學習フレームワークでは対応する OP がまだ実裝されていない狀況であるため、Transformer Engine は FP8 を活用して GPU の性能を最大限に引き出すために必須のライブラリといえます。 FP8 は、名前の通り 8bit で浮動小數點數を表現するデータフォーマットです。

Source

]]>

LLM テクニックの習得: 推論の最適化

Fri, 17 Nov 2023 06:31:10 +0000

Reading Time: 6 minutes Transformer 層を積み重ねて大規模なモデルを作成すると、精度が向上し、Few-shot Learning 能力を獲得し、さらには幅広い言語タスクで人間に近い創発的な能力が得られます。これらの基盤モデルはトレーニングにコストがかかり、推論中にメモリと計算を大量に消費する可能性があります (継続的にかかるコスト)。現在、最もポピュラーな大規模言語モデル (LLM)では、パラメーターのサイズは數百億から數千億に達することがあり、ユースケースによっては長い入力 (またはコンテキスト) の取り込みが必要になる場合があり、これによって費用も増加する可能性があります。この投稿では、LLM 推論における最も差し迫った課題と、いくつかの実用的な解決策について説明します。読者に、Transformer のアーキテクチャ、

Source

]]>

Transformers – NVIDIA 技術ブログ

Transformer Engine ではじめる FP8 Training (導入編)

LLM テクニックの習得: 推論の最適化