Hugging Face – NVIDIA 技術ブログ
http://www.open-lab.net/ja-jp/blog
Mon, 11 Sep 2023 05:44:33 +0000
ja
hourly
1
-
後編: TREx による TensorRT 化した Stable Diffusion モデルの解析
http://www.open-lab.net/ja-jp/blog/analysis-of-tensorrt-stable-diffusion-model-by-trex/
Mon, 11 Sep 2023 05:44:31 +0000
http://www.open-lab.net/ja-jp/blog/?p=1945
Reading Time: 5 minutes 前回の記事で Stable Diffusion モデルの TensorRT Engine 化を行ったので、今回は TensorRT 化したモデルをモデル可視化ツールである trt-engine-explorer (TRE … Continued]]>
Reading Time: 5 minutes 前回の記事で Stable Diffusion モデルの TensorRT Engine 化を行ったので、今回は TensorRT 化したモデルをモデル可視化ツールである trt-engine-explorer (TREx) を用いて解析してみます。モデルの解析しボトルネックを見つけることで、さらなる速度の改善やメモリ消費の改善などに繋がります。 TREx の詳細についてはこちらの記事も併せてご確認下さい。 trt-engine-explorer (TREx) のリポジトリから release-8.6 のバージョンのコードを取得し使用します。TREx はこちらの手順に沿ってインストールしてください。 3 つのモデルが TensorRT Engine 化されているので、
Source
]]>
1945
-
前編: Stable Diffusion を TensorRT で GPU 推論を數倍高速化
http://www.open-lab.net/ja-jp/blog/accelerating-stable-diffusion-inference-with-tensorrt/
Mon, 11 Sep 2023 05:41:48 +0000
http://www.open-lab.net/ja-jp/blog/?p=1931
Reading Time: 3 minutes Stable diffusion は畫像生成、畫像編集、畫像変換など畫像における多様な処理ができるモデルです。高品質な畫像を生成できるのですが、仕組み上、推論に時間がかかってしまいます。そこで GPU での推論速度向上を … Continued]]>
Reading Time: 3 minutes Stable diffusion は畫像生成、畫像編集、畫像変換など畫像における多様な処理ができるモデルです。高品質な畫像を生成できるのですが、仕組み上、推論に時間がかかってしまいます。そこで GPU での推論速度向上を行うために TensorRT を用いた Stable diffusion の高速化を試みました。著者の環境では約 7.68 倍程度の高速化が達成できました。 本稿では Hugging Face で提供されている Stable diffusion モデルを対象とします。Stable Diffusionではメモリ消費や計算リソース効率化の為に Latent Diffusion Model が採用されています。このモデルは RGB 畫像 (ピクセル空間) を潛在空間にマッピングしてから拡散処理を行うため、
Source
]]>
1931
人人超碰97caoporen国产