Triton Inference Server

2024 年 4 月 2 日

NVIDIA TensorRT-LLM による、LoRA LLM のチューニングとデプロイ

LLM のトレーニング コストを抑え、そのパワーを活用可能なファインチューニングの手法の 1 つである、Low-Rank Adaptation (LoRA) の洞察力と実裝について説明し、その応用と利點の一部をご紹介します。
7 MIN READ
2024 年 3 月 18 日

NVIDIA NeMo Retriever で企業データを実用的なインサイトに変える

さまざまなデータ プラットフォーム企業が、NVIDIA と協力して NeMo Retriever を活用し、データを価値あるビジネス インサイトに変換している事例についてご紹介します。
2 MIN READ
2024 年 2 月 7 日

NeMo Framework で日本語 LLM を簡単デプロイ - オンライン推論編 -

本記事では、Hugging Face Model Hub から日本語 LLM をダウンロードして、Nemo Framework Inference コンテナーを使用して GPU 推論する方法について具體的な手順を解説します。
3 MIN READ
2023 年 11 月 17 日

LLM テクニックの習得: 推論の最適化

LLM 推論における最も差し迫った課題と、いくつかの実用的な解決策について説明します。
6 MIN READ
2023 年 11 月 15 日

Azure Machine Learning 上の NVIDIA AI で企業向け生成 AI アプリ開発を強化

生成 AI は、あらゆる産業において、データを活用して生産性を向上させ、パーソナライズされた顧客エンゲージメントを進め、
2 MIN READ
2023 年 10 月 19 日

NVIDIA TensorRT-LLM で大規模言語モデルの推論を最適化

NVIDIA は、NVIDIA GPU 上の最新の LLMの推論性能を高速化および最適化する TensorRT-LLM の一般提供を発表しました。
3 MIN READ
2023 年 9 月 8 日

NVIDIA TensorRT-LLM が NVIDIA H100 GPU 上で大規模言語モデル推論をさらに強化

大規模言語モデルは驚くべき新機能を提供し、AI で実現できる領域を拡大しています。しかし、その大きなサイズと特有の実行特性は、
3 MIN READ
2023 年 4 月 25 日

NVIDIA FasterTransformer による KoGPT の推論高速化の向上

Transformer は、現在最も影響力のある AI モデル アーキテクチャの 1 つであり、
2 MIN READ
2023 年 3 月 13 日

アンサンブル モデルによる NVIDIA Triton Inference Server 上での ML モデル パイプラインのサービング

多くの本番稼働レベルの機械學習 (ML: Macine Learning) アプリケーションでは、
5 MIN READ