LLM Techniques – NVIDIA 技術ブログ

NeMo Framework で実踐する継続事前學習 – 日本語 LLM 編 –

Mon, 20 Jan 2025 04:03:28 +0000

Reading Time: 3 minutes 本記事では、NeMo Framework を使用して、日本語データセットで大規模言語モデル (LLM) の継続事前學習を実行する方法を説明します。 NeMo Framework は、LLM をはじめ、生成 AI モデルを構築、カスタマイズするためのクラウドネイティブなフレームワークです。NGC 上にコンテナーが公開されており、すぐに利用を開始することができます。 NeMo Framework は、NGC 上に公開されているコンテナーを無償利用していただくこともできますが、NVIDIA AI Enterprise の対象ソフトウェアとなっているため、エンタープライズサポートを希望される場合は NVIDIA AI Enterprise ライセンスの購入をご検討ください。

Source

]]>

LLM テクニックの習得: データの前処理

Wed, 13 Nov 2024 08:15:16 +0000

Reading Time: 2 minutes 大規模言語モデル (LLM) の出現は、企業が AI を活用して業務とサービスを強化する方法に大きな変化をもたらしました。LLM は日常的な作業を自動化し、プロセスを合理化することで、人的リソースをより戦略的な取り組みに割り當てることで、全體的な効率性と生産性を向上させます。 LLM を高精度にトレーニングおよびカスタマイズするには、高品質なデータが必要となるため、多くの課題を伴います。データの質が低く、量が十分でないと、モデルの精度が大幅に低下する可能性があるため、AI 開発者にとってデータセットの準備は重要な作業の 1 つとなっています。データセットには往々にして重複したドキュメント、個人を特定できる情報 (PII)、フォーマットに関する問題が存在します。データセットの中には、

Source

]]>

NeMo Framework で日本語 LLM をファインチューニング – DPO 編 –

Fri, 08 Nov 2024 06:10:00 +0000

Reading Time: 4 minutes 本記事では、NeMo Framework を使用して、日本語の大規模言語モデル (LLM) の DPO (ファインチューニングの手法の一種)を実行する方法を説明します。 NeMo Framework は、LLMをはじめ、生成 AI モデルを構築、カスタマイズするためのクラウドネイティブなフレームワークです。NGC 上にコンテナーが公開されており、すぐに利用を開始することができます。 NeMo Framework は、NGC 上に公開されているコンテナーを無償利用していただくこともできますが、NVIDIA AI Enterprise の対象ソフトウェアとなっているため、エンタープライズサポートを希望される場合は NVIDIA AI Enterprise ライセンスの購入をご検討ください。

Source

]]>

LLM のモデルマージのご紹介

Mon, 28 Oct 2024 05:25:33 +0000

Reading Time: 2 minutes 大規模言語モデル (LLM) をカスタマイズする際に、組織が直面する課題の 1 つは、複數の実験を実行する必要があるのに、その結果得られるのは 1 つの有用なモデルのみということです。実験にかかるコストは通常低く、労力に見合う成果が得られるものの、この実験プロセスには、実験に割り當てされてるけど使用率の低いまたは、全く稼働していない計算機や専任の開発者が費やす時間など、「無駄な」リソースが含まれます。モデルマージは、複數のカスタマイズされた LLM の重みを組み合わせることで、リソースの利用率を高め、成功したモデルに付加価値を加えます。このアプローチは、2 つの重要なソリューションを提供します。本投稿では、モデルがどのようにカスタマイズされるのか、モデルマージがどのように機能するのか、

Source

]]>

NeMo Framework で日本語 LLM をファインチューニング – SFT 編 –

Wed, 03 Jul 2024 01:02:58 +0000

Reading Time: 4 minutes 本記事では、NeMo Framework を使用して、日本語の大規模言語モデル (LLM) の SFT (ファインチューニングの手法の一種) を実行する方法を説明します。 NeMo Framework は、LLM をはじめ、生成 AI モデルを構築、カスタマイズするためのクラウドネイティブなフレームワークです。NGC 上にコンテナーが公開されており、すぐに利用を開始することができます。 NeMo Framework は、NGC 上に公開されているコンテナーを無償利用していただくこともできますが、NVIDIA AI Enterprise のサポート対象ソフトウェアとなっています。エンタープライズサポートを希望される場合は、NVIDIA AI Enterprise ライセンスの購入をご検討ください。

Source

]]>

NeMo Framework で日本語 LLM を簡単デプロイ – オンライン推論編 –

Wed, 07 Feb 2024 01:41:15 +0000

Reading Time: 3 minutes ご注意: この記事は NeMo Framework のアップデートのため、7 月 8 日に大幅に変更を加えました。 NeMo Framework は、生成 AI モデルのワークフローをエンドツーエンドでカバーするクラウドネイティブなフレームワークです。NGC 上にコンテナーが公開されており、すぐに利用を開始することができます。 NVIDIA AI Enterprise ライセンスをお持ちの方は、NGC サイトから入手可能です。NGC へログイン後、Enterprise Catalog にある ”Feature Branches & Models” にアクセスしてください。こちらで NeMo Framework の入手方法をご案內しています。 NeMo Framework の更なる詳細、

Source

]]>

LLM テクニックの習得: 推論の最適化

Fri, 17 Nov 2023 06:31:10 +0000

Reading Time: 6 minutes Transformer 層を積み重ねて大規模なモデルを作成すると、精度が向上し、Few-shot Learning 能力を獲得し、さらには幅広い言語タスクで人間に近い創発的な能力が得られます。これらの基盤モデルはトレーニングにコストがかかり、推論中にメモリと計算を大量に消費する可能性があります (継続的にかかるコスト)。現在、最もポピュラーな大規模言語モデル (LLM)では、パラメーターのサイズは數百億から數千億に達することがあり、ユースケースによっては長い入力 (またはコンテキスト) の取り込みが必要になる場合があり、これによって費用も増加する可能性があります。この投稿では、LLM 推論における最も差し迫った課題と、いくつかの実用的な解決策について説明します。読者に、Transformer のアーキテクチャ、

Source

]]>

LLM テクニックの習得: LLMOps

Wed, 15 Nov 2023 07:22:37 +0000

Reading Time: 3 minutes 企業は、イノベーションを起こし、顧客に価値を提供し、競爭力を維持するために、これまで以上にデータと AI に依存しています。機械學習 (ML) の導入は、信頼性が高く、コストパフォーマンスがよく、スケーラブルなコード、データ、モデルを管理するためのツールやプロセス、組織原則の必要性を生じさせました。これは MLOps として広く知られています。世界は、特に基盤モデルと大規模言語モデル (LLM) を活用した新しい生成 AI 時代に急速に突入しています。ChatGPT のリリースにより、この変化はさらに加速されました。 GenAIOps と LLMOps の新しい専門領域は、本番環境での生成 AI および LLM を利用したアプリの開発と管理の課題に対処するための MLOps の進化として登場しました。

Source

]]>

LLM Techniques – NVIDIA 技術ブログ

NeMo Framework で実踐する継続事前學習 – 日本語 LLM 編 –

LLM テクニックの習得: データの前処理

NeMo Framework で日本語 LLM をファインチューニング – DPO 編 –

LLM のモデル マージのご紹介

NeMo Framework で日本語 LLM をファインチューニング – SFT 編 –

NeMo Framework で日本語 LLM を簡単デプロイ – オンライン推論編 –

LLM テクニックの習得: 推論の最適化

LLM テクニックの習得: LLMOps

LLM のモデルマージのご紹介