後編: TREx による TensorRT 化した Stable Diffusion モデルの解析

Mon, 11 Sep 2023 05:44:31 +0000

Reading Time: 5 minutes 前回の記事で Stable Diffusion モデルの TensorRT Engine 化を行ったので、今回は TensorRT 化したモデルをモデル可視化ツールである trt-engine-explorer (TREx) を用いて解析してみます。モデルの解析しボトルネックを見つけることで、さらなる速度の改善やメモリ消費の改善などに繋がります。 TREx の詳細についてはこちらの記事も併せてご確認下さい。 trt-engine-explorer (TREx) のリポジトリから release-8.6 のバージョンのコードを取得し使用します。TREx はこちらの手順に沿ってインストールしてください。 3 つのモデルが TensorRT Engine 化されているので、

Source

]]>

TREx で NVIDIA TensorRT Engines を探る

Thu, 16 Jun 2022 07:47:00 +0000

Reading Time: 5 minutes NVIDIA TensorRT の主な機能は、ネットワーク定義を処理し、最適なエンジン実行プランに変換することで実現するディープラーニングの推論の高速化です。 TensorRT Engine Explorer (TREx) は、 TensorRT エンジンプランとそれに関連する推論プロファイリングデータを探るための Python ライブラリと Jupyter Notebook のセットです。 TREx は、生成されたエンジンの可視性を提供し、要約された統計、チャート作成ユーティリティ、およびエンジングラフの可視化を通じて新しい洞察を得ることができるようにします。TREx は、2 つのバージョンのネットワークの性能を比較するなど、ハイレベルなネットワーク性能の最適化とデバッグに有効です。詳細なパフォーマンス分析には、

Source

]]>

TREx – NVIDIA 技術ブログ

後編: TREx による TensorRT 化した Stable Diffusion モデルの解析

TREx で NVIDIA TensorRT Engines を探る