tutorial – NVIDIA 技術ブログ

リランキングモデルによる RAG の日本語検索精度の向上

Mon, 03 Mar 2025 06:03:24 +0000

Reading Time: 7 minutes ChatGPT が登場して以降、多くの企業/組織にて生成 AI の活用が進んでいます。その中でも LLM (Large Language Model、大規模言語モデル) は大量の知識を學習することで幅広い分野の問題を解決することができます。LLM は學習した知識には適切な回答ができるも一方で、社內ナレッジなど學習には含まれていない事がらに関する回答は得意ではありません。LLM が特定の領域の質問にも正確に回答できるようにした手法に RAG (Retrieval Augmented Generations) があります。 RAG は、大きく「レトリーバー (Retriever)」と「ジェネレーター (Generator)」の 2 つのパーツで構成されています。レトリーバーは、ユーザーによって入力されたクエリ (例…

Source

]]>

Jetson プラットフォームサービス 2.0 の VLM ビデオ要約マイクロサービスの紹介

Thu, 06 Feb 2025 02:31:27 +0000

Reading Time: 6 minutes Jetpack 6.2 のリリースと同時に Jetson プラットフォームサービス (JPS: Jetson Platform Services) がバージョン 2.0 としてアップデートリリースされました。これは、以前リリースされた「Metropolis Microservices on Jetson (MMJ)」の進化形であり、Jetpack 內でのマイクロサービスのネイティブ統合が強化されています。現在のリリースは JetPack 6.1 GA (BSP R36.4.0) または JetPack 6.2 (BSP R36.4.3) で動作します。本稿では、この JPS 2.0 の概要と、その中の「VLM ビデオ要約サービス」のデモについて説明します。今回リリースされた JPS 2.0…

Source

]]>

NeMo Framework と Megatron-Core の特徴や最新機能を紹介した動畫コンテンツを NVOD で公開

Thu, 06 Feb 2025 01:17:30 +0000

Reading Time: 2 minutes NVIDIA は 2024 年 11 月 12 日に、大規模言語モデル (LLM) の開発に取り組んでいる日本のトップクラスの研究者や開発者およそ 50 名をお招きし、NeMo Framework と Megatron-Core の特徴や最新機能を紹介する「NVIDIA LLM Developer Deep Dive」と名付けたセミナーを NVIDIA AI Summit Japan の一環として開催しました。今回取り上げた NeMo Framework と Megatron-Core は、生成 AI の開発や研究になくてはならないソフトウェアで、日本を含む世界中の開発者や研究者に活用されています。セミナーの內容を紹介する前に、それぞれの概要について説明します。 NeMo Framework は、

Source

]]>

NeMo Framework で実踐する継続事前學習 – 日本語 LLM 編 –

Mon, 20 Jan 2025 04:03:28 +0000

Reading Time: 3 minutes 本記事では、NeMo Framework を使用して、日本語データセットで大規模言語モデル (LLM) の継続事前學習を実行する方法を説明します。 NeMo Framework は、LLM をはじめ、生成 AI モデルを構築、カスタマイズするためのクラウドネイティブなフレームワークです。NGC 上にコンテナーが公開されており、すぐに利用を開始することができます。 NeMo Framework は、NGC 上に公開されているコンテナーを無償利用していただくこともできますが、NVIDIA AI Enterprise の対象ソフトウェアとなっているため、エンタープライズサポートを希望される場合は NVIDIA AI Enterprise ライセンスの購入をご検討ください。

Source

]]>

NeMo Curator を使った日本語テキストデータのドメイン分類

Tue, 17 Dec 2024 03:05:44 +0000

Reading Time: 3 minutes NeMo Curator は、日本のソブリン LLM の構築や更新のためのデータセットを準備するために、最近、日本語をサポートする多言語ドメイン分類器をリリースしました。ドメイン固有の LLM を構築している LLM グループが 5 つ以上あり、このチュートリアルは研究者やエンジニアの方に初歩的なガイダンスをご紹介します。金融や醫療大規模言語 GPT モデルをトレーニングするためには、領域分類モデルが必要になります。領域分類モデルは、以下の點で重要な役割を果たします。このモデルは、ドキュメントを以下のような 27 のドメインクラスのいずれかに分類するテキスト分類モデルです: 「アダルト」、「蕓術と娯楽」、「自動車と乗り物」、「美容とフィットネス」、「書籍と文學」、「ビジネスと工業」、

Source

]]>

NVIDIA AI Blueprint でカスタマーサービス向けの AI バーチャルアシスタントを作成する 3 つの構成要素

Wed, 11 Dec 2024 10:02:45 +0000

Reading Time: 2 minutes 今日のめまぐるしいビジネス環境では、優れたカスタマーサービスを提供することは、もはや単に「あれば良いこと」ではなく、「必要不可欠なこと」です。技術的な問題への対応、請求に関する質問の解決、サービスの最新情報の提供など、顧客は、迅速かつ正確で、顧客の都合にカスタマイズされた対応を期待しています。しかし、このレベルのサービスを実現するには、大きな課題が伴います。パーソナライズされたリアルタイムのサポートを提供するには、多くの場合、靜的なスクリプトや手作業によるプロセスといった従來のアプローチでは不十分です。さらに、多くのカスタマーサービス業務では、機密性が高くかつ斷片的なデータを取り扱うことになり、厳しいデータ管理とプライバシー規制の対象となります。生成 AI の臺頭により、企業は運用効率の向上、コスト削減、

Source

]]>

NVIDIA NIM でファインチューニングされた AI モデルのデプロイ

Thu, 21 Nov 2024 05:34:49 +0000

Reading Time: 2 minutes ドメイン固有のデータで AI 基盤モデルを適応させている企業にとって、ファインチューニングされたモデルを迅速に作成し、デプロイする能力は、企業の生成 AI アプリケーションで効率的に価値を提供するための鍵となります。 NVIDIA NIM は、Parapeter-efficient Fine-tuning (PEFT) を用いてカスタマイズしたモデルのシームレスなデプロイなど、最新の AI 基盤モデル向けにビルドされたパフォーマンスを最適化した推論マイクロサービスを提供します。場合によっては、Low-rank Adaptation (LoRA) を使用した PEFT とは異なり、継続事前學習、DPO、教師ありファインチューニング (SFT: Supervised Fine-tuning)、

Source

]]>

NeMo Framework で日本語 LLM をファインチューニング – DPO 編 –

Fri, 08 Nov 2024 06:10:00 +0000

Reading Time: 4 minutes 本記事では、NeMo Framework を使用して、日本語の大規模言語モデル (LLM) の DPO (ファインチューニングの手法の一種)を実行する方法を説明します。 NeMo Framework は、LLMをはじめ、生成 AI モデルを構築、カスタマイズするためのクラウドネイティブなフレームワークです。NGC 上にコンテナーが公開されており、すぐに利用を開始することができます。 NeMo Framework は、NGC 上に公開されているコンテナーを無償利用していただくこともできますが、NVIDIA AI Enterprise の対象ソフトウェアとなっているため、エンタープライズサポートを希望される場合は NVIDIA AI Enterprise ライセンスの購入をご検討ください。

Source

]]>

LLM のモデルマージのご紹介

Mon, 28 Oct 2024 05:25:33 +0000

Reading Time: 2 minutes 大規模言語モデル (LLM) をカスタマイズする際に、組織が直面する課題の 1 つは、複數の実験を実行する必要があるのに、その結果得られるのは 1 つの有用なモデルのみということです。実験にかかるコストは通常低く、労力に見合う成果が得られるものの、この実験プロセスには、実験に割り當てされてるけど使用率の低いまたは、全く稼働していない計算機や専任の開発者が費やす時間など、「無駄な」リソースが含まれます。モデルマージは、複數のカスタマイズされた LLM の重みを組み合わせることで、リソースの利用率を高め、成功したモデルに付加価値を加えます。このアプローチは、2 つの重要なソリューションを提供します。本投稿では、モデルがどのようにカスタマイズされるのか、モデルマージがどのように機能するのか、

Source

]]>

NeMo Guardrails により LLM の脆弱性を防ぐ: 導入編

Wed, 16 Oct 2024 08:07:48 +0000

Reading Time: 3 minutes 大規模言語モデル (LLM) はその優れた性能により従來手法では実現できなかった様々な目標を達成し注目を集めています。様々な業界が LLM の積極的な導入を進める中、その安全性は徐々に重要な課題になりつつあります。チャットボットなど LLM で構成される対話型アプリケーションにおける安全性とは、例えばハルシネーションによる情報の誤伝搬、プライバシーの侵害、偏見の増幅など様々なリスクからユーザーを保護する事です。 LLM を安全に利用するためには、使いやすくかつ強固なガードレール機能の構築が必須です。「ガードレール」とは LLM の出力、入力、RAG の処理などを制御する特定の方法の事で、政治について話さない、特定のユーザーリクエストに特定の方法で応答する等、

Source

]]>

tutorial – NVIDIA 技術ブログ

リランキングモデルによる RAG の日本語検索精度の向上

Jetson プラットフォーム サービス 2.0 の VLM ビデオ要約マイクロサービスの紹介

NeMo Framework と Megatron-Core の特徴や最新機能を紹介した動畫コンテンツを NVOD で公開

NeMo Framework で実踐する継続事前學習 – 日本語 LLM 編 –

NeMo Curator を使った日本語テキスト データのドメイン分類

NVIDIA AI Blueprint でカスタマー サービス向けの AI バーチャル アシスタントを作成する 3 つの構成要素

NVIDIA NIM でファインチューニングされた AI モデルのデプロイ

NeMo Framework で日本語 LLM をファインチューニング – DPO 編 –

LLM のモデル マージのご紹介

NeMo Guardrails により LLM の脆弱性を防ぐ: 導入編

Jetson プラットフォームサービス 2.0 の VLM ビデオ要約マイクロサービスの紹介

NeMo Curator を使った日本語テキストデータのドメイン分類

NVIDIA AI Blueprint でカスタマーサービス向けの AI バーチャルアシスタントを作成する 3 つの構成要素

LLM のモデルマージのご紹介