Fred Oh – NVIDIA 技術ブログ

NVIDIA TensorRT-LLM で大規模言語モデルの推論を最適化

Thu, 19 Oct 2023 02:08:00 +0000

Reading Time: 3 minutes NVIDIA は、NVIDIA GPU 上の最新の LLMの推論性能を高速化および最適化する TensorRT-LLM の一般提供を発表しました。このオープンソースライブラリは、現在、/NVIDIA/TensorRT-LLM GitHub レポジトリおよび NVIDIA NeMo フレームワークの一部として無料で提供されています。大規模言語モデル (LLM) は人工知能の分野に革命をもたらし、デジタルの世界と対話するまったく新しい方法を生み出しました。しかし、世界中の組織やアプリケーション開発者が LLM を業務に取り入れようとする中で、これらのモデルを実行する上でのいくつかの課題が明らかになってきています。簡単に言えば、LLM は巨大です。そのため、適切な技術がなければ、LLM の実行が遅くなり、

Source

]]>

NVIDIA TensorRT-LLM が NVIDIA H100 GPU 上で大規模言語モデル推論をさらに強化

Fri, 08 Sep 2023 01:18:36 +0000

Reading Time: 3 minutes 大規模言語モデルは驚くべき新機能を提供し、AI で実現できる領域を拡大しています。しかし、その大きなサイズと特有の実行特性は、費用対効果の高い方法で使用することを困難にすることがあります。 NVIDIA は、Meta、AnyScale、Cohere、Deci、Grammarly、Mistral AI、MosaicML (現在は Databricks の一部)、OctoML、ServiceNow、Tabnine、Together AI、Uber などの主要な企業と緊密に協力し、LLM の推論の高速化と最適化に取り組んできました。これらのイノベーションは、オープンソースの NVIDIA TensorRT-LLM ソフトウェアに統合され、Ampere、Lovelace、Hopper GPU に対応し、

Source

]]>

NVIDIA CUDA Toolkit 12.2 がアプリケーションを強化する強力な機能をリリース

Thu, 06 Jul 2023 06:13:00 +0000

Reading Time: 2 minutes NVIDIA CUDA Toolkit 12.2 の最新リリースでは、さまざまな重要な新機能、プログラミングモデルの変更、そして CUDA アプリケーションを加速するハードウェア機能のサポート強化が取り入れられています。現在、NVIDIA から一般提供されている CUDA Toolkit 12.2 には、メジャーなものからマイナーなものまで、多くの新機能が含まれています。この記事では、以下の主要機能の概要をご紹介します: NVIDIA は、アクセラレーテッドコンピューティングのパイオニアとして、世界で最も困難なコンピューティング課題の解決を支援するソリューションを創造しています。アクセラレーテッドコンピューティングには、チップアーキテクチャ、システム、

Source

]]>

CUDA Toolkit 12.0 の一般提供が開始

Mon, 12 Dec 2022 10:14:00 +0000

Reading Time: 3 minutes NVIDIA は、CUDA Toolkit ソフトウェアの最新リリースである 12.0 を発表しました。このリリースは、數年ぶりのメジャーリリースで、新しいプログラミングモデルと新しいハードウェア機能による CUDA アプリケーションの高速化に焦點を當てています。詳細は、YouTube Premiere ウェビナー、CUDA 12.0: New Features and Beyond (CUDA 12.0: 新機能とその先) をご覧ください。 CUDA カスタムコード、拡張ライブラリ、および開発者ツールを使って、NVIDIA Hopper および NVIDIA Ada Lovelace アーキテクチャのアーキテクチャ固有の機能と命令を対象にアプリケーションをビルドできるようになりました。

Source

]]>

CUDA Toolkit 11.8 の新機能が公開

Tue, 04 Oct 2022 03:37:00 +0000

Reading Time: < 1 minute NVIDIA は、CUDA ツールキットの最新ソフトウェアリリース 11.8 を発表しました。このリリースは、新しいハードウェア機能によるプログラミングモデルの強化と CUDA アプリケーションのスピードアップに重點を置いています。 NVIDIA Hopper および Ada Lovelace アーキテクチャ固有の新機能は、初めはライブラリとフレームワークの強化を通じて公開されます。NVIDIA Hopper アーキテクチャのための完全なプログラミングモデル強化は、CUDA Toolkit 12 ファミリからリリースされる予定です。 CUDA 11.8 はいくつかの重要な機能を備えています。この記事では、主要な機能の概要をご紹介します。 CUDA アプリケーションは、

Source

]]>

CUDA 11.6 ツールキットの新リリースを発表

Mon, 17 Jan 2022 06:04:00 +0000

Reading Time: < 1 minute NVIDIA は、 CUDA 開発環境の最新リリースである CUDA 11.6 を発表しました。今回のリリースは、プログラミングモデルとアプリケーションのパフォーマンスの向上に焦點を當てています。 CUDA は、 GPU アクセラレーションの限界を押し広げ、HPC、ビジュアライゼーション、AI、ML と DL、データサイエンスにおける新しいアプリケーションの基礎を築き続けます。 CUDA 11.6 にはいくつかの重要な機能があります。この記事では、主な機能の概要をご紹介します。 CUDA 11.6 にはアップデートブランチである R510 ドライバーが同梱されています。 CUDA 11.6 ツールキットこちらからダウンロード可能です。 GSP ドライバーアーキテクチャは、

Source

]]>