NVIDIA NIM でファインチューニングされた AI モデルのデプロイ

Thu, 21 Nov 2024 05:34:49 +0000

Reading Time: 2 minutes ドメイン固有のデータで AI 基盤モデルを適応させている企業にとって、ファインチューニングされたモデルを迅速に作成し、デプロイする能力は、企業の生成 AI アプリケーションで効率的に価値を提供するための鍵となります。 NVIDIA NIM は、Parapeter-efficient Fine-tuning (PEFT) を用いてカスタマイズしたモデルのシームレスなデプロイなど、最新の AI 基盤モデル向けにビルドされたパフォーマンスを最適化した推論マイクロサービスを提供します。場合によっては、Low-rank Adaptation (LoRA) を使用した PEFT とは異なり、継続事前學習、DPO、教師ありファインチューニング (SFT: Supervised Fine-tuning)、

Source

]]>

NVIDIA TensorRT-LLM による、LoRA LLM のチューニングとデプロイ

Tue, 02 Apr 2024 04:35:31 +0000

Reading Time: 7 minutes 大規模言語モデル (LLM) は、膨大なテキストから學習し、さまざまなタスクや領域に合わせ、流暢で一貫したテキストを生成できることから、自然言語処理 (NLP) に革命を起こしました。ただし、LLM のカスタマイズは困難な作業であり、多くの場合、完全なトレーニングプロセスを必要とし、時間と計算コストがかかります。さらに、LLM のトレーニングには多様かつ代表的なデータセットが必要であり、取得とキュレーションが困難な場合があります。企業は、どうすれば完全なトレーニングにかかる費用を支払うことなく、LLM のパワーを活用できるでしょうか? 有望なソリューションの 1 つは Low-Rank Adaptation (LoRA) です。これは、トレーニング可能なパラメーターの數、メモリ要件、トレーニング時間を大幅に減らし、かつ、

Source

]]>

Fine-Tuning – NVIDIA 技術ブログ

NVIDIA NIM でファインチューニングされた AI モデルのデプロイ

NVIDIA TensorRT-LLM による、LoRA LLM のチューニングとデプロイ