NVIDIA NIM Operator で Kubernetes の AI 推論パイプラインを管理

Mon, 30 Sep 2024 04:10:52 +0000

Reading Time: 2 minutes 開発者は、これは、クラウド、データセンター、クラウド、GPU により高速化されたワークステーションなど、あらゆる場所で市場投入までの時間を短縮し、生成 AI モデルのデプロイを簡素化することができる、使いやすいクラウドネイティブのマイクロサービスである NVIDIA NIM マイクロサービスに大いに期待しています。多様なユースケースの要求に応えるため、NVIDIA は、NVIDIA NIM マイクロサービスとしてパッケージ化されたさまざまな AI モデルを市場に投入しており、生成 AI 推論ワークフローの主要な機能を実現しています。通常の生成 AI アプリケーションでは、複數の異なる NIM マイクロサービスを統合しています。例えば、RAG パイプラインのマルチターン対話型 AI では、LLM、埋め込み、

Source

]]>

RAG アプリケーションを 4 つのステップでパイロットから本番環境に移行する方法

Mon, 18 Mar 2024 03:00:00 +0000

Reading Time: 3 minutes 生成 AI はあらゆる産業を変革する可能性を秘めています。私たちは、困難な認知作業を説明し、論理的に推論し、解決する目的ですでに大規模言語モデル (LLM) を使用しています。検索拡張生成 (RAG) は LLM をデータに接続し、LLM が最新の正確な情報にアクセスできるようにすることで LLM の利便性をさらに高めます。多くの企業がすでに RAG で業務プロセスを自動化し、データからインサイトを発掘する方法を探り始めています。ほとんどの企業が生成 AI のユースケースに合わせた複數のパイロットプロジェクトを始めていますが、そのほとんど (90%) は近い將來に評価フェーズから先に進むことはないと推定されています。人々を惹きつける RAG のデモを、真のビジネス価値を提供する本番環境サービスに変換することは、

Source

]]>

Kubernetes – NVIDIA 技術ブログ

NVIDIA NIM Operator で Kubernetes の AI 推論パイプラインを管理

RAG アプリケーションを 4 つのステップでパイロットから本番環境に移行する方法