NVIDIA は 2024 年 11 月 12 日に、大規模言語モデル (LLM) の開発に取り組んでいる日本のトップクラスの研究者や開発者およそ 50 名をお招きし、NeMo Framework と Megatron-Core の特徴や最新機能を紹介する「NVIDIA LLM Developer Deep Dive」と名付けたセミナーを NVIDIA AI Summit Japan の一環として開催しました。
今回取り上げた NeMo Framework と Megatron-Core は、生成 AI の開発や研究になくてはならないソフトウェアで、日本を含む世界中の開発者や研究者に活用されています。セミナーの內容を紹介する前に、それぞれの概要について説明します。
開発フレームワークである NeMo Framework
NeMo Framework は、大規模言語モデル (LLM) のトレーニングのほか、マルチモーダル モデル、自動音聲認識 (ASR)、音聲読み上げ (TTS)、コンピューター ビジョン (CV) などの開発をエンドツーエンドでサポートするクラウドネイティブの開発フレームワークです。データ キュレーション (データ収集や合成データ生成)、トレーニング、アライメント (倫理原則などへの整合)、カスタマイズ、および、それらのコンフィギュレーションや実行管理を行う SDK やマイクロサービスで構成されています。
NVIDIA では NeMo Framework をエンタープライズ カスタマー向けとして位置付けていて、ドキュメントの提供、定期的なアップデートの実施、機能リクエストの受付などにもしっかりと対応しています (類似の開発フレームワークである Megatron-LM は研究用という位置付けです)。
Megatron-Core は先進的なトレーニング用のライブラリ
一方の Megatron-Core は、テンソル並列、パイプライン並列、シーケンス並列、コンテンツ並列など高度な分散學習機能や分散チェックポイントなど、トレーニングに関連する中核的な機能で構成されたライブラリです。
先ほど紹介したエンタープライズ向けフレームワークである NeMo Framework や、研究者向けの軽量な Megatron-LM は、いずれも Megatron-Core をライブラリとして使用しています。また、Megatron-Core を活用してユーザーが獨自のフレームワークを構築することも可能です。
なお、Megatron ファミリとしては、フレームワークである Megatron-LM、ライブラリである Megatron-Core のほかに、マルチモーダルのデータローダーである Megatron-Energon も提供されています。
専門のエンジニアが特徴やアップデートを解説
NVIDIA は NeMo Framework や Megatron-Core を含むさまざまなソフトウェアの機能強化や性能改善に日々取り組んでいます。その進化の一端について、それぞれに精通する NVIDIA のエンジニアが直接解説したのが、今回のセミナー イベントです。
その模様は NVIDIA On-Demand にて「NVIDIA LLM Developer Deep Dive」(英語版/日本語字幕あり)というタイトルで公開されています。セミナーは招待制として開催しましたが、この動畫はどなたでも視聴が可能で、NeMo Framework と Megatron-Core について、代表的な機能、それら機能を開発した背景、性能チューニングや軽量化のポイント、ロードマップ、ユーザー事例などについてより深く學ぶことができる內容になっています。
LLM の開発、ファインチューニング、軽量化、高性能化などに取り組んでいる研究者や開発者にとって有用な情報が満載ですので、ぜひご視聴ください。
NeMo Framework をより深く理解する
動畫の前半では、NVIDIA ソリューション アーキテクトの Jinho Lee が「Demystifying NeMo Framework」と題して、NeMo Framework の 2024 年リリースでサポートされた主な機能と今後のロードマップについて説明しています。
Jinho は、韓國において多くの企業の基盤モデルの開発を支援しているほか、NeMo Framework や Megatron-LM の技術サポートを擔當しています。
セミナーの概要は次のとおりです。
- 新機能: NeMo Framework がサポートしている機能のうち、主に 2024 年のリリースでサポートされたコンテキスト並列、QLoRA、モデル アライメント、シーケンス パッキング、蒸留と Pruning (枝刈り) について説明します。
- VLM のサポート: マルチモーダルな言語モデルのニーズに応えて、NeMo Framework では Llava-1.5 などの視覚言語モデルをサポートしています。今後サポート予定のモデルについても觸れます。
- NeMo Framework 2.0: 25.01 リリースでフルサポートを予定しているバージョン 2.0 での変更點や、今後のリリース計畫について紹介します。
- NeMo Curator: データ キュレーション向けの NeMo Curator の 概要、重複排除による性能向上効果、日本語データのキュレーション (技術ブログ「NeMo Curator を使った日本語データのキュレーション」)などについて紹介します。
- ユーザー事例: NeMo Framework の事例として、KT (Korea Telecom) が開発した AI ボイス アシスタントを紹介します (ブログ「No Hang Ups With Hangul: KT Trains Smart Speakers, Customer Call Centers With NVIDIA AI」)
Megatron-Core と Mixture-of-Experts (MoE) を深掘りする
動畫の後半では、シニア DevTech エンジニアの Zijie Yan が「Expoling Megatron-Core」と題して、Megatron-Core について最新情報を中心に解説します。
Zijie は、學習の効率化、マルチノードにおけるスケーラビリティ、Mixture-of-Experts における學習の最適化など、さまざまなエンジアリング プロジェクトを主導するエンジニアです。
セミナーで取り上げているトピックは次のとおりです。
- Megatron-Core のロードマップ: 2024 年 10 月にリリースした 0.9、2024 年 12 月 にリリース予定の 0.10、および 2025 年にリリース予定の 0.11 以降での機能を紹介します。
- 主な特徴と機能: Megatron-Core の代表的な機能や特徴のうち、學習スケーラビリティ、コンテキスト並列化、分散チェックポイント、Resiliency Extensions について説明します。
- ユーザー事例: 172B の日本語 LLM の開発に Megatron-Core を採用した事例を紹介します。経済産業省と NEDO が推進する「GENIAC (Generative AI Accelerator Challenge)」での取り組みです。(技術ブログ「Megatron-LM を用いた日本語に強い 172B 大規模言語モデルの開発」)
- MoE : MoE とは、エクスパートと呼ばれるサブネットワークの導入により、密モデルと比較し計算量を抑え高い表現力を獲得可能な手法です。Megatron-Core での MoE の対応狀況、Granular Upcycling、および性能について説明します。
- 性能チューニング:性能チューニングを行ううえでの前提條件、並列化を活用する際の注意點、特に MoE における並列化の注意點について解説します。
動畫には QA セッションの様子も収録されています。それぞれのセミナーでは參加者から活発な質問があり、NeMo Framework や Megatron-Core を日頃からご活用いただいていることが伺えました。今回のイベントによってさらに理解を深めていただいたのではないかと考えています。
最後に、繰り返しになりますが、セミナーを収録した「NVIDIA LLM Developer Deep Dive」は NVIDIA On-Demand からどなたでも視聴が可能です。NeMo Framework と Megatron-Core の活用のポイントや最新の機能を深く學ぶことができますので、ぜひお役立てください。
