Retail / Consumer Packaged Goods – NVIDIA 技術ブログ

NVIDIA NIM によるマルチモーダルビジュアル AI エージェントの構築

Thu, 31 Oct 2024 08:46:59 +0000

Reading Time: 3 minutes 畫像から PDF、ストリーミング動畫に至るまで、ビジュアルデータが指數関數的に急増しているため、手動によるレビューと分析は事実上不可能になっています。企業は、このデータを大規模に実用的な洞察に変えるのに苦労しており、その結果、機會逸失やリスクの増大につながっています。この課題を解決するために、畫像や動畫の視覚認識とテキストベースの推論を組み合わせた強力なツールとして、ビジョン言語モデル (VLM) が登場しています。テキストのみを処理する従來の大規模言語モデル (LLM) とは異なり、VLM は複雑なマルチモーダルデータを理解し、それに基づいて行動するビジュアル AI エージェントを構築できるため、リアルタイムの意思決定と自動化が可能になります。リモートカメラの映像を解析して山火事の初期兆候を検出したり、

Source

]]>

NVIDIA NIM で LoRA アダプター群をシームレスにデプロイ

Fri, 07 Jun 2024 06:18:00 +0000

Reading Time: 3 minutes 最新の基盤である最先端の大規模言語モデル (LLM) は、數十億ものパラメーターを持ち、數兆もの入力テキストトークンで事前學習されています。多くの場合、カスタマイズの必要なく、幅広いユースケースで著しい成果を上げています。それにもかかわらず、研究では、下流のタスクで最高の精度を達成するためには、高品質でドメイン固有のデータセットで LLM を適合させる必要があることが示されています。多くの場合、カスタマイズされた小規模モデルは、より大規模な汎用LLM と同等あるいはそれを上回るパフォーマンスを発揮することが可能であり、同時にデプロイにかかるコストを大幅に削減することができます。しかし、特定の下流タスクのためにモデルをカスタマイズする作業は、作成とデプロイの両方に重大な課題をもたらす可能性があります。

Source

]]>

NVIDIA TensorRT-LLM による、LoRA LLM のチューニングとデプロイ

Tue, 02 Apr 2024 04:35:31 +0000

Reading Time: 7 minutes 大規模言語モデル (LLM) は、膨大なテキストから學習し、さまざまなタスクや領域に合わせ、流暢で一貫したテキストを生成できることから、自然言語処理 (NLP) に革命を起こしました。ただし、LLM のカスタマイズは困難な作業であり、多くの場合、完全なトレーニングプロセスを必要とし、時間と計算コストがかかります。さらに、LLM のトレーニングには多様かつ代表的なデータセットが必要であり、取得とキュレーションが困難な場合があります。企業は、どうすれば完全なトレーニングにかかる費用を支払うことなく、LLM のパワーを活用できるでしょうか? 有望なソリューションの 1 つは Low-Rank Adaptation (LoRA) です。これは、トレーニング可能なパラメーターの數、メモリ要件、トレーニング時間を大幅に減らし、かつ、

Source

]]>

記録を塗り替え続ける NVIDIA cuOpt アルゴリズムがルート最適化ソリューションを 100 倍高速化

Wed, 20 Mar 2024 06:05:00 +0000

Reading Time: 3 minutes NVIDIA cuOpt は、複雑なルーティング問題を解決するための高速最適化エンジンです。休憩時間、待ち時間、車両の複數のコスト/時間マトリックス、複數の目標、注文と車両のマッチング、車両の開始位置と終了位置、車両の開始時間と終了時間など、さまざまな側面が含まれる問題を効率的に解決します。具體的には、cuOpt は 2 つの問題の複數のバリアントを解決します。CVRPTW (容量制約と時間枠のある配送計畫問題) と PDPTW (時間枠のある集荷と配達の問題) です。これらの問題の目的は、それぞれの注文において車両數と走行距離合計を最小限に抑えつつ、顧客の依頼にサービスを提供することです。 cuOpt は、SINTEF が検証した最大規模のルーティングベンチマークにおいて、過去 3 年間で、23…

Source

]]>

LLM アーキテクチャにおける Mixture of Experts の適用

Thu, 14 Mar 2024 02:16:40 +0000

Reading Time: 4 minutes Mixture of Experts (MoE) 大規模言語モデル (LLM) アーキテクチャは、GPT-4 などの商用の LLM と Mistral Mixtral 8x7B のオープンソースリリースによりコミュニティモデルの両方で最近登場しました。Mixtral モデルの強力な相対的性能は、MoE を LLM アーキテクチャでどのように使用できるのか、多くの関心と疑問を引き起こしました。では、MoE とは何であり、なぜそれが重要なのでしょうか? Mixture of Experts は、レイヤーまたは演算 (線形レイヤー、MLP、注意投影など) の計算を複數の「エキスパート」サブネットワークに分割するニューラルネットワークのアーキテクチャパターンです。こうしたサブネットワークはそれぞれの計算を獨立して実行し、

Source

]]>

LLM テクニックの習得: 推論の最適化

Fri, 17 Nov 2023 06:31:10 +0000

Reading Time: 6 minutes Transformer 層を積み重ねて大規模なモデルを作成すると、精度が向上し、Few-shot Learning 能力を獲得し、さらには幅広い言語タスクで人間に近い創発的な能力が得られます。これらの基盤モデルはトレーニングにコストがかかり、推論中にメモリと計算を大量に消費する可能性があります (継続的にかかるコスト)。現在、最もポピュラーな大規模言語モデル (LLM)では、パラメーターのサイズは數百億から數千億に達することがあり、ユースケースによっては長い入力 (またはコンテキスト) の取り込みが必要になる場合があり、これによって費用も増加する可能性があります。この投稿では、LLM 推論における最も差し迫った課題と、いくつかの実用的な解決策について説明します。読者に、Transformer のアーキテクチャ、

Source

]]>

LLM テクニックの習得: トレーニング

Thu, 16 Nov 2023 09:24:04 +0000

Reading Time: 3 minutes 大規模言語モデル (LLM) は、非常に大規模なデータセットを使用して言語を認識、要約、翻訳、予測、生成できる Transformer ネットワークを使用して構築された生成 AI モデルのクラスです。ご存知の通り、LLM は社會を変革する可能性を秘めていますが、このような基盤モデルのトレーニングは非常に困難です。このブログでは、Transformer ネットワークを使用して構築された LLM の背後にある基本原則を、モデルアーキテクチャ、アテンションメカニズム、埋め込み手法、基盤モデルのトレーニング戦略にわたり説明します。モデルアーキテクチャは Transformer ネットワークのバックボーンを定義し、モデルの能力や制限を広く決定づけます。 LLM のアーキテクチャは、しばしば、エンコーダー、

Source

]]>

NVIDIA AI Foundation モデル: 本番利用可能な LLM を使用して、企業向けのカスタムチャットボットとコパイロットを構築

Wed, 15 Nov 2023 05:38:11 +0000

Reading Time: 3 minutes 大規模言語モデル (LLM) は自然言語理解、AI、機械學習における高度な機能を実現し、データサイエンスに革命をもたらしています。ドメイン固有の洞察に合わせてカスタマイズされた LLM は、企業向けアプリケーションでますます注目されています。 NVIDIA Nemotron-3 8B ファミリの基盤モデルは、カスタマーサービス AI チャットボットから最先端の AI 製品にまで、企業向けに本番利用可能な生成 AI アプリケーションを構築するための強力な新しいツールです。これらの新しい基盤モデルは、企業での利用に合わせて LLM を構築、カスタマイズ、展開するためのエンドツーエンドのフレームワークである NVIDIA NeMo の一部です。企業はこのツールを使用することで、

Source

]]>

Azure Machine Learning 上の NVIDIA AI で企業向け生成 AI アプリ開発を強化

Wed, 15 Nov 2023 04:51:45 +0000

Reading Time: 2 minutes 生成 AI は、あらゆる産業において、データを活用して生産性を向上させ、パーソナライズされた顧客エンゲージメントを進め、イノベーションを促進する方法を革新しています。その価値が非常に高いため、企業は、この新しい技術を自社の事業運営や戦略に効果的かつ信頼性の高い方法で統合するのに役立つツールと専門知識を求めています。 NVIDIA と Microsoft は、Azure Machine Learning (Azure ML) 上の NVIDIA AI を使用して、生成 AI を含む AI アプリケーションを構築、最適化、展開するための包括的なソリューションを企業に提供するために協力しています。今週開催された Microsoft Ignite で、NVIDIA と Microsoft は新たに 2…

Source

]]>

企業ソリューション向け大規模言語モデル (LLM) を始める

Tue, 07 Nov 2023 07:07:59 +0000

Reading Time: 3 minutes 大規模言語モデル (LLM: Large :Language Models) は、數千億のパラメーターを持つインターネット規模のデータセットで學習されるディープラーニングのアルゴリズムです。LLM は、読み、書き、コーディング、描畫、そして人間の創造性を補強することで、様々な業界の生産性を向上させ、世界で最も困難な問題を解決することができます。 LLM は、小売業から醫療まで幅広い業界で、幅広い業務に使用されています。LLM は、科學者が命を救う畫期的なワクチンを開発するのに役立つ、新しい化合物を生成するための、タンパク質配列の言語を學習します。LLM は、ソフトウェアプログラマが自然言語の記述に基づいてコードを生成し、バグを修正するのを助けます。そして、人間が最も得意とすること、すなわち創造、質問、理解など、

Source

]]>

Retail / Consumer Packaged Goods – NVIDIA 技術ブログ

NVIDIA NIM によるマルチモーダル ビジュアル AI エージェントの構築

NVIDIA NIM で LoRA アダプター群をシームレスにデプロイ

NVIDIA TensorRT-LLM による、LoRA LLM のチューニングとデプロイ

記録を塗り替え続ける NVIDIA cuOpt アルゴリズムがルート最適化ソリューションを 100 倍高速化

LLM アーキテクチャにおける Mixture of Experts の適用

LLM テクニックの習得: 推論の最適化

LLM テクニックの習得: トレーニング

NVIDIA AI Foundation モデル: 本番利用可能な LLM を使用して、企業向けのカスタムチャットボットとコパイロットを構築

Azure Machine Learning 上の NVIDIA AI で企業向け生成 AI アプリ開発を強化

企業ソリューション向け大規模言語モデル (LLM) を始める

NVIDIA NIM によるマルチモーダルビジュアル AI エージェントの構築