AI / Deep Learning – NVIDIA 技術ブログ

TAO Toolkit 5.0 に追加された Data Service を活用

Mon, 02 Oct 2023 02:24:44 +0000

Reading Time: 8 minutes 2023 年 7 月末に TAO Toolkit 5.0 がリリースされました。TAO Toolkit 5.0 ではいくつかの機能が追加されていますが、本記事ではデータの前処理、アノテーション、分析に役立つ TAO Data Service について記述します。Notebook に記載された一部のコマンドについて説明します。 TAO Data Service には 4 つの主要パイプラインがあります。本記事の説明內容: TAO Data Service はこちらの Notebook で確認できます。TAO は TAO CLI を通して Docker を pull し、Docker 內で學習、推論などを実行します。 `~/.tao_mounts.

Source

]]>

後編: TREx による TensorRT 化した Stable Diffusion モデルの解析

Mon, 11 Sep 2023 05:44:31 +0000

Reading Time: 5 minutes 前回の記事で Stable Diffusion モデルの TensorRT Engine 化を行ったので、今回は TensorRT 化したモデルをモデル可視化ツールである trt-engine-explorer (TREx) を用いて解析してみます。モデルの解析しボトルネックを見つけることで、さらなる速度の改善やメモリ消費の改善などに繋がります。 TREx の詳細についてはこちらの記事も併せてご確認下さい。 trt-engine-explorer (TREx) のリポジトリから release-8.6 のバージョンのコードを取得し使用します。TREx はこちらの手順に沿ってインストールしてください。 3 つのモデルが TensorRT Engine 化されているので、

Source

]]>

前編: Stable Diffusion を TensorRT で GPU 推論を數倍高速化

Mon, 11 Sep 2023 05:41:48 +0000

Reading Time: 3 minutes Stable diffusion は畫像生成、畫像編集、畫像変換など畫像における多様な処理ができるモデルです。高品質な畫像を生成できるのですが、仕組み上、推論に時間がかかってしまいます。そこで GPU での推論速度向上を行うために TensorRT を用いた Stable diffusion の高速化を試みました。著者の環境では約 7.68 倍程度の高速化が達成できました。本稿では Hugging Face で提供されている Stable diffusion モデルを対象とします。Stable Diffusionではメモリ消費や計算リソース効率化の為に Latent Diffusion Model が採用されています。このモデルは RGB 畫像 (ピクセル空間) を潛在空間にマッピングしてから拡散処理を行うため、

Source

]]>

大手半導體商社が実踐。G 検定や NVIDIA DLI を活用して AI のプロフェッショナルを育成する!

Fri, 08 Sep 2023 00:18:38 +0000

Reading Time: < 1 minute 日本の半導體商社は 2010 年代以降、業界の再編が加速しており、企業間の競爭が激化しています。そうした狀況にもかかわらず、 2023 年 3 月期決算で連結売上高が過去最高の 1 兆円を超えるなど株式會社マクニカ (以下、マクニカ)は業界上位の地位を確かなものにしました。社員の 3 人に 1 人が技術者という強みを活かした手厚いサポート力や AI 関連事業では最先端の技術を案件に適用できる高い技術力がマクニカの事業を支えています。彼らの技術者が進んで活用しているのが NVIDIA DLI (Deep Learning Institute) です。マクニカの強みは「お客様の課題を技術サポート部隊が手厚くサポートできること」だとマクニカクラビスカンパニーで NVIDIA…

Source

]]>

TensorRT のハードウェアとバージョン互換性対応

Wed, 26 Apr 2023 02:35:43 +0000

Reading Time: 3 minutes TensorRT で推論を行う為には、推論の為の Engine を予めビルドし、それを推論実行環境にデプロイするというステップが必要です。 TensorRT 8.6 以前は Engine をビルドしたバージョンとハードウェアを合わせないと TensorRT Engine は正しく動作しませんでした。この狀況だとバージョンが上がった場合に再ビルドが必要になり、ハードウェアがアップグレードするとその環境で再ビルドが必要になります。 TensorRT 8.6 では一定の制約の元で再ビルドなしで TensorRT Engine を使用できるようになりました。バージョン互換性を理解する為に一例をあげると、TensorRT 8.7…

Source

]]>

TAO Toolkit 3.22.05 アップデート: モデルの重み持ち込み + TensorBoard の可視化

Tue, 28 Jun 2022 01:40:45 +0000

Reading Time: 2 minutes NVIDIA TAO Toolkit (以下: TAO) は Deep Learning モデルの學習を容易にし、枝刈り、量子化によって高速なモデルを提供可能にする機能をもっているソフトウェアです。この記事は 2022 年 6 月のアップデートで導入されたモデルの重み持ち込みと TensorBoard による可視化について記述します。モデルの重みの持ち込みを TAO 上では BYOM と記述します。Bring your own model の略稱になります。この機能によって他のフレームワークで學習された重みを TAO に持ち込むことができます。 TAO は NGC カタログに公開されている學習済みモデルを使用することができます。しかし公開されているモデルは人、車、

Source

]]>

TREx で NVIDIA TensorRT Engines を探る

Thu, 16 Jun 2022 07:47:00 +0000

Reading Time: 5 minutes NVIDIA TensorRT の主な機能は、ネットワーク定義を処理し、最適なエンジン実行プランに変換することで実現するディープラーニングの推論の高速化です。 TensorRT Engine Explorer (TREx) は、 TensorRT エンジンプランとそれに関連する推論プロファイリングデータを探るための Python ライブラリと Jupyter Notebook のセットです。 TREx は、生成されたエンジンの可視性を提供し、要約された統計、チャート作成ユーティリティ、およびエンジングラフの可視化を通じて新しい洞察を得ることができるようにします。TREx は、2 つのバージョンのネットワークの性能を比較するなど、ハイレベルなネットワーク性能の最適化とデバッグに有効です。詳細なパフォーマンス分析には、

Source

]]>

NVIDIA Isaac Transport for ROS による ROS 2 アプリケーションのパーセプション性能の向上

Tue, 24 May 2022 03:08:00 +0000

Reading Time: 3 minutes 2021 年 10 月から共同で取り組んでいる NVIDIA と Open Robotics は、ハードウェアアクセラレータを提供する計算プラットフォームでのパフォーマンスを改善するために、 Humble ROS 2 リリースで利用可能になった 2 つの重要な変更點を紹介します。 ROS 2 Humble の新しいハードウェアアクセラレーション機能は、タイプアダプテーションとタイプネゴシエーションと呼ばれています。 NVIDIA は、次の NVIDIA Isaac ROS リリース (2022 年 6 月下旬) で、タイプアダプテーションとタイプネゴシエーションを実裝したソフトウェアパッケージをリリースする予定です。フレームワークへのこれらのシンプルかつ強力な追加機能は、 AI/

Source

]]>

NVIDIA Omniverse の新しいリリース、拡張機能、およびツールキットで 3D 仮想世界を作成する

Tue, 22 Mar 2022 02:20:00 +0000

Reading Time: 3 minutes 世界中の開発者、クリエイター、企業が、3D デザインのためのリアルタイムコラボレーションとシミュレーションのプラットフォームである NVIDIA Omniverse を使用して、複雑なワークフローを強化し、3D の世界を迅速に開発しています。NVIDIA GTC では、新しい Omniverse Connector やアセットライブラリから最新の Omniverse Apps や機能まで、このプラットフォームのエコシステムがどのように拡大しているかを紹介しました。これらの最新のリリースと機能により、 Omniverse 開発者は 3D ツールの構築、拡張し、 Omniverse エコシステムへのプラットフォームをこれまで以上に容易に接続することができます。 Omniverse Kit は、

Source

]]>