NeMo – NVIDIA 技術ブログ http://www.open-lab.net/ja-jp/blog Thu, 06 Feb 2025 02:47:48 +0000 ja hourly 1 NeMo Framework と Megatron-Core の特徴や最新機能を紹介した動畫コンテンツを NVOD で公開 http://www.open-lab.net/ja-jp/blog/llm-dev-deep-dive/ Thu, 06 Feb 2025 01:17:30 +0000 http://www.open-lab.net/ja-jp/blog/?p=3127 Reading Time: 2 minutes NVIDIA は 2024 年 11 月 12 日に、大規模言語モデル (LLM) の開発に取り組んでいる日本のトップクラスの研究者や開発者およそ 50 名をお招きし、NeMo Framework と Megatron- … Continued]]> Reading Time: 2 minutes NVIDIA は 2024 年 11 月 12 日に、大規模言語モデル (LLM) の開発に取り組んでいる日本のトップクラスの研究者や開発者およそ 50 名をお招きし、NeMo Framework と Megatron-Core の特徴や最新機能を紹介する「NVIDIA LLM Developer Deep Dive」と名付けたセミナーを NVIDIA AI Summit Japan の一環として開催しました。 今回取り上げた NeMo Framework と Megatron-Core は、生成 AI の開発や研究になくてはならないソフトウェアで、日本を含む世界中の開発者や研究者に活用されています。セミナーの內容を紹介する前に、それぞれの概要について説明します。 NeMo Framework は、

Source

]]> 3127 NeMo Framework で実踐する継続事前學習 – 日本語 LLM 編 – http://www.open-lab.net/ja-jp/blog/how-to-use-continual-pre-training-with-japanese-language-on-nemo-framework/ Mon, 20 Jan 2025 04:03:28 +0000 http://www.open-lab.net/ja-jp/blog/?p=3058 Reading Time: 3 minutes 本記事では、NeMo Framework を使用して、日本語データセットで大規模言語モデル (LLM) の継続事前學習を実行する方法を説明します。 NeMo Framework とは NeMo Framework は、L … Continued]]> Reading Time: 3 minutes 本記事では、NeMo Framework を使用して、日本語データセットで大規模言語モデル (LLM) の継続事前學習を実行する方法を説明します。 NeMo Framework は、LLM をはじめ、生成 AI モデルを構築、カスタマイズするためのクラウドネイティブなフレームワークです。NGC 上にコンテナーが公開されており、すぐに利用を開始することができます。 NeMo Framework は、NGC 上に公開されているコンテナーを無償利用していただくこともできますが、NVIDIA AI Enterprise の対象ソフトウェアとなっているため、エンタープライズ サポートを希望される場合は NVIDIA AI Enterprise ライセンスの購入をご検討ください。

Source

]]> 3058 NeMo Curator を使った日本語テキスト データのドメイン分類 http://www.open-lab.net/ja-jp/blog/domain-classification-of-japanese-text-data-using-nemo-curator/ Tue, 17 Dec 2024 03:05:44 +0000 http://www.open-lab.net/ja-jp/blog/?p=3018 Reading Time: 3 minutes NeMo Curator は、日本のソブリン LLM の構築や更新のためのデータセットを準備するために、最近、日本語をサポートする多言語ドメイン分類器をリリースしました。ドメイン固有の LLM を構築している LLM グ … Continued]]> Reading Time: 3 minutes NeMo Curator は、日本のソブリン LLM の構築や更新のためのデータセットを準備するために、最近、日本語をサポートする多言語ドメイン分類器をリリースしました。ドメイン固有の LLM を構築している LLM グループが 5 つ以上あり、このチュートリアルは研究者やエンジニアの方に初歩的なガイダンスをご紹介します。 金融や醫療大規模言語 GPT モデルをトレーニングするためには、領域分類モデルが必要になります。領域分類モデルは、以下の點で重要な役割を果たします。 このモデルは、ドキュメントを以下のような 27 のドメイン クラスのいずれかに分類するテキスト分類モデルです: 「アダルト」、「蕓術と娯楽」、「自動車と乗り物」、「美容とフィットネス」、「書籍と文學」、「ビジネスと工業」、

Source

]]> 3018 NVIDIA AI Blueprint でカスタマー サービス向けの AI バーチャル アシスタントを作成する 3 つの構成要素 http://www.open-lab.net/ja-jp/blog/three-building-blocks-for-creating-ai-virtual-assistants-for-customer-service-with-an-nvidia-nim-agent-blueprint/ Wed, 11 Dec 2024 10:02:45 +0000 http://www.open-lab.net/ja-jp/blog/?p=3052 Reading Time: 2 minutes 今日のめまぐるしいビジネス環境では、優れたカスタマー サービスを提供することは、もはや単に「あれば良いこと」ではなく、「必要不可欠なこと」です。技術的な問題への対応、請求に関する質問の解決、サービスの最新情報の提供など、 … Continued]]> Reading Time: 2 minutes 今日のめまぐるしいビジネス環境では、優れたカスタマー サービスを提供することは、もはや単に「あれば良いこと」ではなく、「必要不可欠なこと」です。技術的な問題への対応、請求に関する質問の解決、サービスの最新情報の提供など、顧客は、迅速かつ正確で、顧客の都合にカスタマイズされた対応を期待しています。しかし、このレベルのサービスを実現するには、大きな課題が伴います。 パーソナライズされたリアルタイムのサポートを提供するには、多くの場合、靜的なスクリプトや手作業によるプロセスといった従來のアプローチでは不十分です。さらに、多くのカスタマー サービス業務では、機密性が高くかつ斷片的なデータを取り扱うことになり、厳しいデータ管理とプライバシー規制の対象となります。生成 AI の臺頭により、企業は運用効率の向上、コスト削減、

Source

]]> 3052 LLM テクニックの習得: データの前処理 http://www.open-lab.net/ja-jp/blog/mastering-llm-techniques-data-preprocessing/ Wed, 13 Nov 2024 08:15:16 +0000 http://www.open-lab.net/ja-jp/blog/?p=2943 Reading Time: 2 minutes 大規模言語モデル (LLM) の出現は、企業が AI を活用して業務とサービスを強化する方法に大きな変化をもたらしました。LLM は日常的な作業を自動化し、プロセスを合理化することで、人的リソースをより戦略的な取り組みに … Continued]]> Reading Time: 2 minutes 大規模言語モデル (LLM) の出現は、企業が AI を活用して業務とサービスを強化する方法に大きな変化をもたらしました。LLM は日常的な作業を自動化し、プロセスを合理化することで、人的リソースをより戦略的な取り組みに割り當てることで、全體的な効率性と生産性を向上させます。 LLM を高精度にトレーニングおよびカスタマイズするには、高品質なデータが必要となるため、多くの課題を伴います。データの質が低く、量が十分でないと、モデルの精度が大幅に低下する可能性があるため、AI 開発者にとってデータセットの準備は重要な作業の 1 つとなっています。 データセットには往々にして重複したドキュメント、個人を特定できる情報 (PII)、フォーマットに関する問題が存在します。データセットの中には、

Source

]]> 2943 2D と 3D のデジタル ヒューマン アバターによる AI エージェント インターフェイス オプションの拡張 http://www.open-lab.net/ja-jp/blog/expanding-ai-agent-interface-options-with-2d-and-3d-digital-human-avatars/ Wed, 13 Nov 2024 05:15:28 +0000 http://www.open-lab.net/ja-jp/blog/?p=3036 Reading Time: 2 minutes ユーザーが生成 AI アプリケーションを使ってやり取りする際には、テキスト、音聲、デジタル アバターなど複數のコミュニケーション オプションを利用することができます。 従來のチャットボットやコパイロット アプリケーション … Continued]]> Reading Time: 2 minutes ユーザーが生成 AI アプリケーションを使ってやり取りする際には、テキスト、音聲、デジタル アバターなど複數のコミュニケーション オプションを利用することができます。 従來のチャットボットやコパイロット アプリケーションでは、ユーザーが問い合わせを入力し、テキストベースの応答を受信するテキスト インターフェイスを使用しています。ハンズフリーのコミュニケーションでは、自動音聲認識 (ASR: Automatic Speech Recognition) や音聲合成 (TTS: Text-To-Speech) などの音聲 AI 技術により、電話を使用したカスタマー サービスなどのシナリオに最適な口頭によるやり取りが容易になります。さらに、デジタル アバターに音聲機能を持たせることで、ユーザーがアプリケーションを視覚的に使用できるため、

Source

]]> 3036 NeMo Framework で日本語 LLM をファインチューニング – DPO 編 – http://www.open-lab.net/ja-jp/blog/how-to-use-dpo-on-nemo-framework-in-japanese/ Fri, 08 Nov 2024 06:10:00 +0000 http://www.open-lab.net/ja-jp/blog/?p=2870 Reading Time: 4 minutes 本記事では、NeMo Framework を使用して、日本語の大規模言語モデル (LLM) の DPO (ファインチューニングの手法の一種)を実行する方法を説明します。 NeMo Framework とは NeMo Fr … Continued]]> Reading Time: 4 minutes 本記事では、NeMo Framework を使用して、日本語の大規模言語モデル (LLM) の DPO (ファインチューニングの手法の一種)を実行する方法を説明します。 NeMo Framework は、LLMをはじめ、生成 AI モデルを構築、カスタマイズするためのクラウドネイティブなフレームワークです。NGC 上にコンテナーが公開されており、すぐに利用を開始することができます。 NeMo Framework は、NGC 上に公開されているコンテナーを無償利用していただくこともできますが、NVIDIA AI Enterprise の対象ソフトウェアとなっているため、エンタープライズ サポートを希望される場合は NVIDIA AI Enterprise ライセンスの購入をご検討ください。

Source

]]> 2870 NVIDIA NeMo による最先端のマルチモーダル生成 AI モデル開発 http://www.open-lab.net/ja-jp/blog/state-of-the-art-multimodal-generative-ai-model-development-with-nvidia-nemo/ Wed, 06 Nov 2024 12:55:44 +0000 http://www.open-lab.net/ja-jp/blog/?p=3068 Reading Time: 2 minutes 生成 AI は、テキストベースのモデルからマルチモーダル機能へと急速に進化しています。これらのモデルは、畫像のキャプション作成や視覚的な質問回答などのタスクを実行し、より人間に近い AI へとシフトしていることを反映して … Continued]]> Reading Time: 2 minutes 生成 AI は、テキストベースのモデルからマルチモーダル機能へと急速に進化しています。これらのモデルは、畫像のキャプション作成や視覚的な質問回答などのタスクを実行し、より人間に近い AI へとシフトしていることを反映しています。このコミュニティは現在、テキストや畫像から動畫へと拡大しており、さまざまな業界で新たな可能性を切り開かれています。 動畫 AI モデルは、ロボティクス、自動車、小売などの業界に革命を起こそうとしています。ロボティクスでは、製造業や倉庫管理などの分野に不可欠な、複雑で変化し続ける環境における自律的なナビゲーションを強化しています。自動車業界では、動畫 AI が自動運転を推進し、車両の認識、安全性、予知保全を強化し、効率性を高めています。 畫像や動畫の基盤モデルを構築するには、

Source

]]> 3068 NeMo Guardrails により LLM の脆弱性を防ぐ: 導入編 http://www.open-lab.net/ja-jp/blog/nemo-guardrails-prevents-llm-vulnerabilities-introduction/ Wed, 16 Oct 2024 08:07:48 +0000 http://www.open-lab.net/ja-jp/blog/?p=2822 Reading Time: 3 minutes はじめに 大規模言語モデル (LLM) はその優れた性能により従來手法では実現できなかった様々な目標を達成し注目を集めています。様々な業界が LLM の積極的な導入を進める中、その安全性は徐々に重要な課題になりつつありま … Continued]]> Reading Time: 3 minutes 大規模言語モデル (LLM) はその優れた性能により従來手法では実現できなかった様々な目標を達成し注目を集めています。様々な業界が LLM の積極的な導入を進める中、その安全性は徐々に重要な課題になりつつあります。 チャットボットなど LLM で構成される対話型アプリケーションにおける安全性とは、例えばハルシネーションによる情報の誤伝搬、プライバシーの侵害、偏見の増幅など様々なリスクからユーザーを保護する事です。 LLM を安全に利用するためには、使いやすくかつ強固なガードレール機能の構築が必須です。「ガードレール」とは LLM の出力、入力、RAG の処理などを制御する特定の方法の事で、政治について話さない、特定のユーザー リクエストに特定の方法で応答する等、

Source

]]> 2822 NeMo Guardrails により LLM の脆弱性を防ぐ: ジェイルブレイク防止編 http://www.open-lab.net/ja-jp/blog/nemo-guardrails-prevents-llm-vulnerabilities-jailbreak-prevention/ Wed, 16 Oct 2024 08:07:08 +0000 http://www.open-lab.net/ja-jp/blog/?p=2786 Reading Time: 8 minutes NeMo Guardrails とは NeMo Guardrails とは LLM (大規模言語モデル) ベースの會話型アプリケーションにプログラム可能なガードレールを追加する為のオープンソースのツールキットです。 プロ … Continued]]> Reading Time: 8 minutes NeMo Guardrails とは LLM (大規模言語モデル) ベースの會話型アプリケーションにプログラム可能なガードレールを追加する為のオープンソースのツールキットです。 プログラム可能なガードレールを追加する主な利點は次のとおりです。 NeMo Guardrails については、機能詳細や導入方法を解説した「NeMo Guardrails によりLLM の脆弱性を防ぐ -導入編-」の記事も併せてご確認下さい。 NeMo Guardrails は、ジェイルブレイクやプロンプト インジェクションのような一般的な LLM の脆弱性から LLM を搭載したチャット アプリケーションを保護するためのいくつかのメカニズムを提供します。 図.

Source

]]> 2786 人人超碰97caoporen国产