Kotaro Yamamoto – NVIDIA 技術ブログ

NeMo Framework で日本語 LLM をファインチューニング – DPO 編 –

Fri, 08 Nov 2024 06:10:00 +0000

Reading Time: 4 minutes 本記事では、NeMo Framework を使用して、日本語の大規模言語モデル (LLM) の DPO (ファインチューニングの手法の一種)を実行する方法を説明します。 NeMo Framework は、LLMをはじめ、生成 AI モデルを構築、カスタマイズするためのクラウドネイティブなフレームワークです。NGC 上にコンテナーが公開されており、すぐに利用を開始することができます。 NeMo Framework は、NGC 上に公開されているコンテナーを無償利用していただくこともできますが、NVIDIA AI Enterprise の対象ソフトウェアとなっているため、エンタープライズサポートを希望される場合は NVIDIA AI Enterprise ライセンスの購入をご検討ください。

Source

]]>

NeMo Curator を使った日本語データのキュレーション

Wed, 25 Sep 2024 00:57:11 +0000

Reading Time: 7 minutes 本記事では、NeMo Curator を使用して、日本語データセットを作成する方法を説明します。データキュレーションとは、データのダウンロードやテキストの抽出、クリーニング、重複排除、フィルタリングなどを通じて、機械學習モデルの開発に必要なデータセットを構築するプロセスです。データキュレーションは、大規模言語モデル (LLM) の事前學習、カスタマイズにおける最初の、そしておそらく最も重要なステップでもあります。しかし、この重要性にもかかわらず、LLM を學習するための大規模なデータセットを作成するために開発されたソフトウェアやツールのほとんどは、公開されておらず、拡張性もありません。そのため、LLM 開発者は、

Source

]]>

Transformer Engine ではじめる FP8 Training (導入編)

Thu, 18 Jul 2024 06:57:44 +0000

Reading Time: 5 minutes Transformer Engine とは、Transformer モデルの學習を効率的に行うためのオープンソースライブラリです。が含まれており、GPU における Transformer モデルの學習効率を大幅に向上させることができます。特に FP8 については、記事執筆時點では Hopper/Ada Lovelace アーキテクチャなどの最新の GPU に搭載はされているものの、深層學習フレームワークでは対応する OP がまだ実裝されていない狀況であるため、Transformer Engine は FP8 を活用して GPU の性能を最大限に引き出すために必須のライブラリといえます。 FP8 は、名前の通り 8bit で浮動小數點數を表現するデータフォーマットです。

Source

]]>