technical walkthrough – NVIDIA 技術ブログ

NeMo Guardrails により LLM の脆弱性を防ぐ: 導入編

Wed, 16 Oct 2024 08:07:48 +0000

Reading Time: 3 minutes 大規模言語モデル (LLM) はその優れた性能により従來手法では実現できなかった様々な目標を達成し注目を集めています。様々な業界が LLM の積極的な導入を進める中、その安全性は徐々に重要な課題になりつつあります。チャットボットなど LLM で構成される対話型アプリケーションにおける安全性とは、例えばハルシネーションによる情報の誤伝搬、プライバシーの侵害、偏見の増幅など様々なリスクからユーザーを保護する事です。 LLM を安全に利用するためには、使いやすくかつ強固なガードレール機能の構築が必須です。「ガードレール」とは LLM の出力、入力、RAG の処理などを制御する特定の方法の事で、政治について話さない、特定のユーザーリクエストに特定の方法で応答する等、

Source

]]>

NeMo Guardrails により LLM の脆弱性を防ぐ: ジェイルブレイク防止編

Wed, 16 Oct 2024 08:07:08 +0000

Reading Time: 8 minutes NeMo Guardrails とは LLM (大規模言語モデル) ベースの會話型アプリケーションにプログラム可能なガードレールを追加する為のオープンソースのツールキットです。プログラム可能なガードレールを追加する主な利點は次のとおりです。 NeMo Guardrails については、機能詳細や導入方法を解説した「NeMo Guardrails によりLLM の脆弱性を防ぐ -導入編-」の記事も併せてご確認下さい。 NeMo Guardrails は、ジェイルブレイクやプロンプトインジェクションのような一般的な LLM の脆弱性から LLM を搭載したチャットアプリケーションを保護するためのいくつかのメカニズムを提供します。図.

Source

]]>

Transformer Engine ではじめる FP8 Training (導入編)

Thu, 18 Jul 2024 06:57:44 +0000

Reading Time: 5 minutes Transformer Engine とは、Transformer モデルの學習を効率的に行うためのオープンソースライブラリです。が含まれており、GPU における Transformer モデルの學習効率を大幅に向上させることができます。特に FP8 については、記事執筆時點では Hopper/Ada Lovelace アーキテクチャなどの最新の GPU に搭載はされているものの、深層學習フレームワークでは対応する OP がまだ実裝されていない狀況であるため、Transformer Engine は FP8 を活用して GPU の性能を最大限に引き出すために必須のライブラリといえます。 FP8 は、名前の通り 8bit で浮動小數點數を表現するデータフォーマットです。

Source

]]>

GenerativeAIExamples と NVIDIA API カタログを用いて Retrieval Augmented Generation を活用した LLM チャットボットを作成

Wed, 29 May 2024 02:40:43 +0000

Reading Time: 4 minutes GenerativeAIExamples は Retrieval Augmented Generation (検索拡張生成もしくは RAG) を用いたチャットボットのサンプルや生成 AI モデルの LoRA を使ったファインチューニングや推論のサンプル等いくつかのサンプルを Github 上で提供しています。この Examples は DockerCompose のコマンドで簡単にデプロイする事が可能です。 LLM 推論を試す際にローカルに GPU を用意し、それを用いる方法がありますが、NVIDIA API カタログを使用することによってローカルに GPU を用意せずに LLM を簡単に試すことができます。ただし Vector Database は GPU を使用しないものを選択する必要があります。

Source

]]>

NVIDIA GB200 NVL72 は兆単位パラメーターの LLM トレーニングとリアルタイム推論を実現

Mon, 18 Mar 2024 08:45:26 +0000

Reading Time: 4 minutes 兆単位パラメーターモデルに対する関心とはどのようなものでしょう? 現在、多くの用途が知られており、また、以下のような能力の拡大が期待されているため、関心が高まっています。メリットは大きいですが、大規模なモデルのトレーニングとデプロイは計算負荷が高く、リソースを大量に消費することがあります。計算効率、費用対効果、エネルギー効率に優れたシステムをリアルタイム推論用に設計することは、広範囲にわたるデプロイには不可欠です。新しい NVIDIA GB200 NVL72 はそのようなタスクに対応するシステムの 1 つです。説明のために、Mixture of Experts (MoE) モデルを考えてみましょう。このモデルは、モデル並列処理とパイプライン並列処理を使用して、複數のエキスパートに計算負荷を分散し、

Source

]]>

NeMo Framework で日本語 LLM を簡単デプロイ – オンライン推論編 –

Wed, 07 Feb 2024 01:41:15 +0000

Reading Time: 3 minutes ご注意: この記事は NeMo Framework のアップデートのため、7 月 8 日に大幅に変更を加えました。 NeMo Framework は、生成 AI モデルのワークフローをエンドツーエンドでカバーするクラウドネイティブなフレームワークです。NGC 上にコンテナーが公開されており、すぐに利用を開始することができます。 NVIDIA AI Enterprise ライセンスをお持ちの方は、NGC サイトから入手可能です。NGC へログイン後、Enterprise Catalog にある ”Feature Branches & Models” にアクセスしてください。こちらで NeMo Framework の入手方法をご案內しています。 NeMo Framework の更なる詳細、

Source

]]>

cuDLA による NVIDIA Jetson Orin 上での YOLOv5 の紹介

Wed, 17 Jan 2024 03:51:27 +0000

Reading Time: 5 minutes この投稿は、Orin プラットフォームを使用する組込み開発者が、YOLOv5 をリファレンスとして、どのようにディープニューラルネットワーク (DNN) を展開できるかについて、技術的に深く掘り下げたものです。読者が簡単に理解できるように、次のセクション “NVIDIA DLA 紹介” で NVIDIA DLA を紹介し、セクション “NVIDIA cuDLA 紹介” で cuDLA と呼ばれる DLA 用の CUDA プログラミングモデル拡張を紹介します。そして最後の “YOLOv5 と cuDLA、Jetson Orin で共演” では、YOLOv5、DLA、cuDLA の組み合わせによる、Jetson Orin プラットフォーム上での効率的なオブジェクト検出実裝について詳しく説明します。 DLA の詳細については、

Source

]]>

NeMo Framework で日本語 LLM をファインチューニング – PEFT 編 –

Tue, 28 Nov 2023 07:21:18 +0000

Reading Time: 3 minutes ご注意: この記事は NeMo Framework のアップデートのため、2024 年 6 月 10 日に大幅に変更を加えました。本記事では、NeMo Framework を使用して、日本語の大規模言語モデル (LLM) の PEFT (ファインチューニングの手法の一種)を実行する方法を説明します。 NeMo Framework は、LLM をはじめ、生成 AI モデルを構築、カスタマイズするためのクラウドネイティブなフレームワークです。NGC 上にコンテナーが公開されており、すぐに利用を開始することができます。 NeMo Framework は、NVIDIA AI Enterprise の対象ソフトウェアになっているため、エンタープライズサポートを希望される場合は、

Source

]]>

TAO Toolkit 5.0 に追加された Data Service を活用

Mon, 02 Oct 2023 02:24:44 +0000

Reading Time: 8 minutes 2023 年 7 月末に TAO Toolkit 5.0 がリリースされました。TAO Toolkit 5.0 ではいくつかの機能が追加されていますが、本記事ではデータの前処理、アノテーション、分析に役立つ TAO Data Service について記述します。Notebook に記載された一部のコマンドについて説明します。 TAO Data Service には 4 つの主要パイプラインがあります。本記事の説明內容: TAO Data Service はこちらの Notebook で確認できます。TAO は TAO CLI を通して Docker を pull し、Docker 內で學習、推論などを実行します。 `~/.tao_mounts.

Source

]]>

前編: Stable Diffusion を TensorRT で GPU 推論を數倍高速化

Mon, 11 Sep 2023 05:41:48 +0000

Reading Time: 3 minutes Stable diffusion は畫像生成、畫像編集、畫像変換など畫像における多様な処理ができるモデルです。高品質な畫像を生成できるのですが、仕組み上、推論に時間がかかってしまいます。そこで GPU での推論速度向上を行うために TensorRT を用いた Stable diffusion の高速化を試みました。著者の環境では約 7.68 倍程度の高速化が達成できました。本稿では Hugging Face で提供されている Stable diffusion モデルを対象とします。Stable Diffusionではメモリ消費や計算リソース効率化の為に Latent Diffusion Model が採用されています。このモデルは RGB 畫像 (ピクセル空間) を潛在空間にマッピングしてから拡散処理を行うため、

Source

]]>