Japanese Tutorial – NVIDIA 技術ブログ

リランキングモデルによる RAG の日本語検索精度の向上

Mon, 03 Mar 2025 06:03:24 +0000

Reading Time: 7 minutes ChatGPT が登場して以降、多くの企業/組織にて生成 AI の活用が進んでいます。その中でも LLM (Large Language Model、大規模言語モデル) は大量の知識を學習することで幅広い分野の問題を解決することができます。LLM は學習した知識には適切な回答ができるも一方で、社內ナレッジなど學習には含まれていない事がらに関する回答は得意ではありません。LLM が特定の領域の質問にも正確に回答できるようにした手法に RAG (Retrieval Augmented Generations) があります。 RAG は、大きく「レトリーバー (Retriever)」と「ジェネレーター (Generator)」の 2 つのパーツで構成されています。レトリーバーは、ユーザーによって入力されたクエリ (例…

Source

]]>

NeMo Framework で実踐する継続事前學習 – 日本語 LLM 編 –

Mon, 20 Jan 2025 04:03:28 +0000

Reading Time: 3 minutes 本記事では、NeMo Framework を使用して、日本語データセットで大規模言語モデル (LLM) の継続事前學習を実行する方法を説明します。 NeMo Framework は、LLM をはじめ、生成 AI モデルを構築、カスタマイズするためのクラウドネイティブなフレームワークです。NGC 上にコンテナーが公開されており、すぐに利用を開始することができます。 NeMo Framework は、NGC 上に公開されているコンテナーを無償利用していただくこともできますが、NVIDIA AI Enterprise の対象ソフトウェアとなっているため、エンタープライズサポートを希望される場合は NVIDIA AI Enterprise ライセンスの購入をご検討ください。

Source

]]>

NeMo Framework で日本語 LLM をファインチューニング – DPO 編 –

Fri, 08 Nov 2024 06:10:00 +0000

Reading Time: 4 minutes 本記事では、NeMo Framework を使用して、日本語の大規模言語モデル (LLM) の DPO (ファインチューニングの手法の一種)を実行する方法を説明します。 NeMo Framework は、LLMをはじめ、生成 AI モデルを構築、カスタマイズするためのクラウドネイティブなフレームワークです。NGC 上にコンテナーが公開されており、すぐに利用を開始することができます。 NeMo Framework は、NGC 上に公開されているコンテナーを無償利用していただくこともできますが、NVIDIA AI Enterprise の対象ソフトウェアとなっているため、エンタープライズサポートを希望される場合は NVIDIA AI Enterprise ライセンスの購入をご検討ください。

Source

]]>

NeMo Guardrails により LLM の脆弱性を防ぐ: 導入編

Wed, 16 Oct 2024 08:07:48 +0000

Reading Time: 3 minutes 大規模言語モデル (LLM) はその優れた性能により従來手法では実現できなかった様々な目標を達成し注目を集めています。様々な業界が LLM の積極的な導入を進める中、その安全性は徐々に重要な課題になりつつあります。チャットボットなど LLM で構成される対話型アプリケーションにおける安全性とは、例えばハルシネーションによる情報の誤伝搬、プライバシーの侵害、偏見の増幅など様々なリスクからユーザーを保護する事です。 LLM を安全に利用するためには、使いやすくかつ強固なガードレール機能の構築が必須です。「ガードレール」とは LLM の出力、入力、RAG の処理などを制御する特定の方法の事で、政治について話さない、特定のユーザーリクエストに特定の方法で応答する等、

Source

]]>

NeMo Guardrails により LLM の脆弱性を防ぐ: ジェイルブレイク防止編

Wed, 16 Oct 2024 08:07:08 +0000

Reading Time: 8 minutes NeMo Guardrails とは LLM (大規模言語モデル) ベースの會話型アプリケーションにプログラム可能なガードレールを追加する為のオープンソースのツールキットです。プログラム可能なガードレールを追加する主な利點は次のとおりです。 NeMo Guardrails については、機能詳細や導入方法を解説した「NeMo Guardrails によりLLM の脆弱性を防ぐ -導入編-」の記事も併せてご確認下さい。 NeMo Guardrails は、ジェイルブレイクやプロンプトインジェクションのような一般的な LLM の脆弱性から LLM を搭載したチャットアプリケーションを保護するためのいくつかのメカニズムを提供します。図.

Source

]]>

NeMo Curator を使った日本語データのキュレーション

Wed, 25 Sep 2024 00:57:11 +0000

Reading Time: 7 minutes 本記事では、NeMo Curator を使用して、日本語データセットを作成する方法を説明します。データキュレーションとは、データのダウンロードやテキストの抽出、クリーニング、重複排除、フィルタリングなどを通じて、機械學習モデルの開発に必要なデータセットを構築するプロセスです。データキュレーションは、大規模言語モデル (LLM) の事前學習、カスタマイズにおける最初の、そしておそらく最も重要なステップでもあります。しかし、この重要性にもかかわらず、LLM を學習するための大規模なデータセットを作成するために開発されたソフトウェアやツールのほとんどは、公開されておらず、拡張性もありません。そのため、LLM 開発者は、

Source

]]>

Transformer Engine ではじめる FP8 Training (導入編)

Thu, 18 Jul 2024 06:57:44 +0000

Reading Time: 5 minutes Transformer Engine とは、Transformer モデルの學習を効率的に行うためのオープンソースライブラリです。が含まれており、GPU における Transformer モデルの學習効率を大幅に向上させることができます。特に FP8 については、記事執筆時點では Hopper/Ada Lovelace アーキテクチャなどの最新の GPU に搭載はされているものの、深層學習フレームワークでは対応する OP がまだ実裝されていない狀況であるため、Transformer Engine は FP8 を活用して GPU の性能を最大限に引き出すために必須のライブラリといえます。 FP8 は、名前の通り 8bit で浮動小數點數を表現するデータフォーマットです。

Source

]]>

NeMo Framework で日本語 LLM をファインチューニング – SFT 編 –

Wed, 03 Jul 2024 01:02:58 +0000

Reading Time: 4 minutes 本記事では、NeMo Framework を使用して、日本語の大規模言語モデル (LLM) の SFT (ファインチューニングの手法の一種) を実行する方法を説明します。 NeMo Framework は、LLM をはじめ、生成 AI モデルを構築、カスタマイズするためのクラウドネイティブなフレームワークです。NGC 上にコンテナーが公開されており、すぐに利用を開始することができます。 NeMo Framework は、NGC 上に公開されているコンテナーを無償利用していただくこともできますが、NVIDIA AI Enterprise のサポート対象ソフトウェアとなっています。エンタープライズサポートを希望される場合は、NVIDIA AI Enterprise ライセンスの購入をご検討ください。

Source

]]>

GenerativeAIExamples と NVIDIA API カタログを用いて Retrieval Augmented Generation を活用した LLM チャットボットを作成

Wed, 29 May 2024 02:40:43 +0000

Reading Time: 4 minutes GenerativeAIExamples は Retrieval Augmented Generation (検索拡張生成もしくは RAG) を用いたチャットボットのサンプルや生成 AI モデルの LoRA を使ったファインチューニングや推論のサンプル等いくつかのサンプルを Github 上で提供しています。この Examples は DockerCompose のコマンドで簡単にデプロイする事が可能です。 LLM 推論を試す際にローカルに GPU を用意し、それを用いる方法がありますが、NVIDIA API カタログを使用することによってローカルに GPU を用意せずに LLM を簡単に試すことができます。ただし Vector Database は GPU を使用しないものを選択する必要があります。

Source

]]>

NeMo Framework で日本語 LLM を簡単デプロイ – オンライン推論編 –

Wed, 07 Feb 2024 01:41:15 +0000

Reading Time: 3 minutes ご注意: この記事は NeMo Framework のアップデートのため、7 月 8 日に大幅に変更を加えました。 NeMo Framework は、生成 AI モデルのワークフローをエンドツーエンドでカバーするクラウドネイティブなフレームワークです。NGC 上にコンテナーが公開されており、すぐに利用を開始することができます。 NVIDIA AI Enterprise ライセンスをお持ちの方は、NGC サイトから入手可能です。NGC へログイン後、Enterprise Catalog にある ”Feature Branches & Models” にアクセスしてください。こちらで NeMo Framework の入手方法をご案內しています。 NeMo Framework の更なる詳細、

Source

]]>