Cloud Services – NVIDIA 技術ブログ

NVIDIA GH200 Superchip が、Llama モデルとのマルチターンインタラクションの推論を 2 倍高速化

Mon, 28 Oct 2024 07:26:00 +0000

Reading Time: 2 minutes 本番環境で大規模言語モデル (LLM) をデプロイする際に、ユーザーのインタラクティブ性の強化と、システムのスループット向上との間で難しいトレードオフを迫られることがよくあります。ユーザーのインタラクティブ性を強化するには、最初のトークンが出力されるまでの時間 (TTFT: Time To First Token) を最小限に抑える必要がありますが、スループットを向上するには、1 秒あたりのトークン數を増やす必要があります。一方の側面を改善すると、もう一方の側面が悪化することが多いため、データセンター、クラウドサービスプロバイダー (CSP)、AI アプリケーションプロバイダーにとって、適切なバランスを見つけることが困難になっています。 NVIDIA GH200 Grace Hopper Superchip を活用すると、

Source

]]>

NVIDIA NIM で LoRA アダプター群をシームレスにデプロイ

Fri, 07 Jun 2024 06:18:00 +0000

Reading Time: 3 minutes 最新の基盤である最先端の大規模言語モデル (LLM) は、數十億ものパラメーターを持ち、數兆もの入力テキストトークンで事前學習されています。多くの場合、カスタマイズの必要なく、幅広いユースケースで著しい成果を上げています。それにもかかわらず、研究では、下流のタスクで最高の精度を達成するためには、高品質でドメイン固有のデータセットで LLM を適合させる必要があることが示されています。多くの場合、カスタマイズされた小規模モデルは、より大規模な汎用LLM と同等あるいはそれを上回るパフォーマンスを発揮することが可能であり、同時にデプロイにかかるコストを大幅に削減することができます。しかし、特定の下流タスクのためにモデルをカスタマイズする作業は、作成とデプロイの両方に重大な課題をもたらす可能性があります。

Source

]]>

本番環境への AI モデルのデプロイを効率化する NVIDIA NIM

Mon, 15 Apr 2024 06:17:39 +0000

Reading Time: 2 minutes 生成 AI を導入する動きの高まりには目覚ましいものがあります。2022 年に OpenAI がリリースした ChatGPT をきっかけに、たった數か月の間に 1 億人以上のユーザーがこの新しいテクノロジを使い始め、ほぼすべての業界にわたり開発活動が活発になりました。 2023 年までに、開発者たちは Meta、Mistral、Stability などが提供する API やオープンソースのコミュニティモデルを使った概念実証を始めました。 2024 年に入り、組織は、AI モデルを既存の企業インフラに接続し、システムのレイテンシとスループットを最適化し、ロギング、モニタリング、セキュリティなどを含む、本格的な本番環境へのデプロイに重點を移行しつつあります。このような本番環境へのデプロイの道のりは、複雑で時間がかかります。

Source

]]>

NVIDIA NeMo マイクロサービスでカスタム生成 AI 開発が簡単に

Mon, 18 Mar 2024 07:47:30 +0000

Reading Time: 2 minutes 世界中の企業が生成 AI モデルの恩恵を実感しています。チャットボット、バーチャルアシスタント、コーディングコパイロットなど、さまざまなアプリケーションで生成 AI モデルが競うように導入されています。汎用モデルは単純なタスクには適していますが、さまざまな業界特有のニーズに応えるには不十分です。カスタム生成 AI モデルは、ドメイン固有の知識を取り入れ、地域の文化的ニュアンスを理解し、ブランドの聲や価値観に合わせることで、一般的な AI モデルを凌駕し、企業の要件を満たします。 NVIDIA NeMo チームがマイクロサービスである NVIDIA NeMo Curator、NVIDIA NeMo Customizer、NVIDIA NeMo Evaluator の早期アクセスプログラムをお知らせします。

Source

]]>

NVIDIA NeMo Retriever で企業データを実用的なインサイトに変える

Mon, 18 Mar 2024 05:44:42 +0000

Reading Time: 2 minutes あらゆる業界や業務で、生成 AI が組織內の可能性を引き出し、データを知識に変え、従業員がより効率的に働けるようにしています。正確で関連性のある情報は、データに基づく意思決定のために重要です。このため、企業はビジネスデータの保存、インデックス作成、アクセスの方法を改善するために投資を続けています。 IDC Global DataSphere Forecast 2023 によると、2024 年には、企業固有のデータが 11 ゼタバイト生成されると言われています。企業が生成する固有のデータの量は 2027 年までに 20 ゼタバイトになると予測されており、そのうち、83% は構造化されておらず、半分は音聲と動畫になるとのことです。2027 年に生成される非構造化データの量は、約 80 萬館の議會図書館に相當します。

Source

]]>

RAG アプリケーションを 4 つのステップでパイロットから本番環境に移行する方法

Mon, 18 Mar 2024 03:00:00 +0000

Reading Time: 3 minutes 生成 AI はあらゆる産業を変革する可能性を秘めています。私たちは、困難な認知作業を説明し、論理的に推論し、解決する目的ですでに大規模言語モデル (LLM) を使用しています。検索拡張生成 (RAG) は LLM をデータに接続し、LLM が最新の正確な情報にアクセスできるようにすることで LLM の利便性をさらに高めます。多くの企業がすでに RAG で業務プロセスを自動化し、データからインサイトを発掘する方法を探り始めています。ほとんどの企業が生成 AI のユースケースに合わせた複數のパイロットプロジェクトを始めていますが、そのほとんど (90%) は近い將來に評価フェーズから先に進むことはないと推定されています。人々を惹きつける RAG のデモを、真のビジネス価値を提供する本番環境サービスに変換することは、

Source

]]>

LLM アーキテクチャにおける Mixture of Experts の適用

Thu, 14 Mar 2024 02:16:40 +0000

Reading Time: 4 minutes Mixture of Experts (MoE) 大規模言語モデル (LLM) アーキテクチャは、GPT-4 などの商用の LLM と Mistral Mixtral 8x7B のオープンソースリリースによりコミュニティモデルの両方で最近登場しました。Mixtral モデルの強力な相対的性能は、MoE を LLM アーキテクチャでどのように使用できるのか、多くの関心と疑問を引き起こしました。では、MoE とは何であり、なぜそれが重要なのでしょうか? Mixture of Experts は、レイヤーまたは演算 (線形レイヤー、MLP、注意投影など) の計算を複數の「エキスパート」サブネットワークに分割するニューラルネットワークのアーキテクチャパターンです。こうしたサブネットワークはそれぞれの計算を獨立して実行し、

Source

]]>

LLM テクニックの習得: LLMOps

Wed, 15 Nov 2023 07:22:37 +0000

Reading Time: 3 minutes 企業は、イノベーションを起こし、顧客に価値を提供し、競爭力を維持するために、これまで以上にデータと AI に依存しています。機械學習 (ML) の導入は、信頼性が高く、コストパフォーマンスがよく、スケーラブルなコード、データ、モデルを管理するためのツールやプロセス、組織原則の必要性を生じさせました。これは MLOps として広く知られています。世界は、特に基盤モデルと大規模言語モデル (LLM) を活用した新しい生成 AI 時代に急速に突入しています。ChatGPT のリリースにより、この変化はさらに加速されました。 GenAIOps と LLMOps の新しい専門領域は、本番環境での生成 AI および LLM を利用したアプリの開発と管理の課題に対処するための MLOps の進化として登場しました。

Source

]]>

実務で使える生成 AI を NVIDIA AI Enterprise 4.0 で実裝しビジネスを強化

Tue, 12 Sep 2023 07:10:38 +0000

Reading Time: < 1 minute 市場への普及に立ちはだかるキャズムを越え、iPhone モーメントを迎えつつある生成 AI は、飛躍的に増大する需要を満たすために拡張する必要があります。AI をビジネスの中核に據えた企業が生成 AI を構築するには、信頼性と連続稼働時間が非常に重要となります。NVIDIA は専門知識を投入して、AI でビジネスの飛躍を目指す企業向けのソリューションを開発しています。 NVIDIA AI Enterprise の最新バージョンは、生成 AI でイノベーションを起こそうとしている企業向けに、本番環境に対応したサポート、管理性、セキュリティ、信頼性を提供し、さまざまな側面から開発を加速します。生成 AI モデルは數十億個ものパラメーターを使用し、

Source

]]>

NVIDIA TensorRT-LLM が NVIDIA H100 GPU 上で大規模言語モデル推論をさらに強化

Fri, 08 Sep 2023 01:18:36 +0000

Reading Time: 3 minutes 大規模言語モデルは驚くべき新機能を提供し、AI で実現できる領域を拡大しています。しかし、その大きなサイズと特有の実行特性は、費用対効果の高い方法で使用することを困難にすることがあります。 NVIDIA は、Meta、AnyScale、Cohere、Deci、Grammarly、Mistral AI、MosaicML (現在は Databricks の一部)、OctoML、ServiceNow、Tabnine、Together AI、Uber などの主要な企業と緊密に協力し、LLM の推論の高速化と最適化に取り組んできました。これらのイノベーションは、オープンソースの NVIDIA TensorRT-LLM ソフトウェアに統合され、Ampere、Lovelace、Hopper GPU に対応し、

Source

]]>

Cloud Services – NVIDIA 技術ブログ

NVIDIA GH200 Superchip が、Llama モデルとのマルチターン インタラクションの推論を 2 倍高速化

NVIDIA NIM で LoRA アダプター群をシームレスにデプロイ

本番環境への AI モデルのデプロイを効率化する NVIDIA NIM

NVIDIA NeMo マイクロサービスでカスタム生成 AI 開発が簡単に

NVIDIA NeMo Retriever で企業データを実用的なインサイトに変える

RAG アプリケーションを 4 つのステップでパイロットから本番環境に移行する方法

LLM アーキテクチャにおける Mixture of Experts の適用

LLM テクニックの習得: LLMOps

実務で使える生成 AI を NVIDIA AI Enterprise 4.0 で実裝しビジネスを強化

NVIDIA TensorRT-LLM が NVIDIA H100 GPU 上で大規模言語モデル推論をさらに強化

NVIDIA GH200 Superchip が、Llama モデルとのマルチターンインタラクションの推論を 2 倍高速化