Kazuhiro Yamasaki – NVIDIA 技術ブログ
http://www.open-lab.net/ja-jp/blog
Thu, 11 May 2023 03:41:37 +0000
ja
hourly
1
-
Triton Inference Server 2022 年 12 月 – 2023 年 2 月のリリース概要
http://www.open-lab.net/ja-jp/blog/triton-inference-server-dec-2022-to-feb-2023-release-overview/
Thu, 11 May 2023 03:41:36 +0000
http://www.open-lab.net/ja-jp/blog/?p=1629
Reading Time: 2 minutes 2022 年 12 月から 2023 年 2 月にかけてリリースされた Triton Inference Server の各機能などについて、概要をお屆けします。「Triton Inference Server って何? … Continued]]>
Reading Time: 2 minutes 2022 年 12 月から 2023 年 2 月にかけてリリースされた Triton Inference Server の各機能などについて、概要をお屆けします。「Triton Inference Server って何?」という方は、以下の記事などをご確認ください。 今回の期間中リリースされたリリースノートの本體は、それぞれ以下の通りです。 各リリースには、以下の機能や変更が含まれていました。 この期間で特筆すべきリリースは、dynamic batcher の挙動をカスタマイズ可能になった點と、Model Analyzer で ensemble model のサポートが入った點の 2 つです。 Dynamic batcher のカスタマイズは、その名の通り、
Source
]]>
1629
-
Triton Inference Server 2022 年 11 月のリリース概要
http://www.open-lab.net/ja-jp/blog/triton-inference-server-nov-2022-release-overview/
Tue, 20 Dec 2022 03:42:47 +0000
http://www.open-lab.net/ja-jp/blog/?p=1197
Reading Time: < 1 minute 2022 年 11 月末にリリースされた Triton Inference Server の各機能などについて、概要をお屆けします。「Triton Inference Server って何?」という方は、以下の記事などを … Continued]]>
Reading Time: < 1 minute 2022 年 11 月末にリリースされた Triton Inference Server の各機能などについて、概要をお屆けします。「Triton Inference Server って何?」という方は、以下の記事などをご確認ください。 リリース ノート本體は https://github.com/triton-inference-server/server/releases/tag/v2.28.0 です。このリリースには以下の機能や改善などが含まれています。 先月から引き続き、今回も更新が少なくなっております。次回も更新が同程度の少なさだった場合、この日本語によるリリース概要は 3 か月に一度程度に頻度を落とすかもしれません。 TensorRT 8.5 の新機能については、
Source
]]>
1197
-
Triton Inference Server 2022 年 10 月のリリース概要
http://www.open-lab.net/ja-jp/blog/triton-inference-server-oct-2022-release-overview/
Tue, 29 Nov 2022 04:09:18 +0000
http://www.open-lab.net/ja-jp/blog/?p=1122
Reading Time: < 1 minute 2022 年 10 月末にリリースされた Triton Inference Server の各機能などについて、概要をお屆けします。「Triton Inference Server って何?」という方は、以下の記事などを … Continued]]>
Reading Time: < 1 minute 2022 年 10 月末にリリースされた Triton Inference Server の各機能などについて、概要をお屆けします。「Triton Inference Server って何?」という方は、以下の記事などをご確認ください。 リリース ノート本體は https://github.com/triton-inference-server/server/releases/tag/v2.27.0 です。このリリースには以下の機能や改善などが含まれています。 ご覧いただくとわかる通り、今回は (おそらく過去最大に) 更新が少なくなっております。一方、Server Wrapper API や Model Analyzer の改善のように、
Source
]]>
1122
-
Triton Inference Server 2022 年 9 月のリリース概要
http://www.open-lab.net/ja-jp/blog/triton-inference-server-sep-2022-release-overview/
Tue, 08 Nov 2022 03:30:39 +0000
http://www.open-lab.net/ja-jp/blog/?p=1025
Reading Time: < 1 minute 2022 年 9 月末にリリースされた Triton Inference Server の各機能などについて、概要をお屆けします。「Triton Inference Server って何?」という方は、以下の記事などをご … Continued]]>
Reading Time: < 1 minute 2022 年 9 月末にリリースされた Triton Inference Server の各機能などについて、概要をお屆けします。「Triton Inference Server って何?」という方は、以下の記事などをご確認ください。 リリース ノート本體は https://github.com/triton-inference-server/server/releases/tag/v2.26.0 です。このリリースには以下の機能や改善などが含まれています。 今月は全體的に細かい更新が多いですが、ログ操作周り、特に Python バックエンド內でのロギングが統合されたのは、地味ながら大きな変更ではないでしょうか。また、
Source
]]>
1025
-
Triton Inference Server 2022 年 8 月のリリース概要
http://www.open-lab.net/ja-jp/blog/triton-inference-server-aug-2022-release-overview/
Mon, 03 Oct 2022 08:00:03 +0000
http://www.open-lab.net/ja-jp/blog/?p=840
Reading Time: < 1 minute 今月も Triton Inference Server のリリース內容について、概要をお屆けします。「Triton Inference Server って何?」という方は、以下の記事などをご確認ください。 GPU に推論 … Continued]]>
Reading Time: < 1 minute 今月も Triton Inference Server のリリース內容について、概要をお屆けします。「Triton Inference Server って何?」という方は、以下の記事などをご確認ください。 リリース ノート本體は https://github.com/triton-inference-server/server/releases/tag/v2.25.0 です。今月のリリースには以下の機能や改善などが含まれています。 今月は細かい更新に加え、TensorFlow バックエンドのデフォルト バージョンが 2.x にアップグレードされた點と、PyTorch バックエンドの性能改善まわりが大きな変更でしょうか。また加えて、
Source
]]>
840
-
Triton Inference Server 2022 年 7 月のリリース概要
http://www.open-lab.net/ja-jp/blog/triton-inference-server-july-2022-release-overview/
Thu, 01 Sep 2022 03:15:01 +0000
http://www.open-lab.net/ja-jp/blog/?p=747
Reading Time: < 1 minute 今月も Triton Inference Server のリリース內容について、概要をお屆けします。「Triton Inference Server って何?」という方は、以下の記事などをご確認ください。 GPU に推論 … Continued]]>
Reading Time: < 1 minute 今月も Triton Inference Server のリリース內容について、概要をお屆けします。「Triton Inference Server って何?」という方は、以下の記事などをご確認ください。 リリース ノート本體は https://github.com/triton-inference-server/server/releases/tag/v2.24.0 です。今月のリリースには以下の機能や改善などが含まれています。 今月も、機能的に大きな追加はありませんでしたが、設定の自動補完に関するデフォルトの挙動が変わるため、これまでと若干動作が変わる可能性がある點は注意ポイントでしょうか。 先月更新が入った オプション関連の挙動ですが、
Source
]]>
747
-
Triton Inference Server 2022 年 6 月のリリース概要
http://www.open-lab.net/ja-jp/blog/triton-inference-server-june-2022-release-overview/
Fri, 05 Aug 2022 05:35:25 +0000
http://www.open-lab.net/ja-jp/blog/?p=645
Reading Time: < 1 minute 今月も Triton Inference Server のリリース內容について、概要をお屆けします。「Triton Inference Server って何?」という方は、以下の記事などをご確認ください。 GPU に推論 … Continued]]>
Reading Time: < 1 minute 今月も Triton Inference Server のリリース內容について、概要をお屆けします。「Triton Inference Server って何?」という方は、以下の記事などをご確認ください。 リリース ノート本體は https://github.com/triton-inference-server/server/releases/tag/v2.23.0 です。今月のリリースには以下の機能や改善などが含まれています。 今月の更新はやや控えめといった印象ですが、model configuration まわりの変更や改善は有用かもしれません。 以前から を指定して Triton を起動することで、設定ファイルの作成をスキップすることができていました。このとき実際には、
Source
]]>
645
-
Triton Inference Server 2022 年 5 月のリリース概要
http://www.open-lab.net/ja-jp/blog/triton-inference-server-may-2022-release-overview/
Thu, 30 Jun 2022 03:13:33 +0000
http://www.open-lab.net/ja-jp/blog/?p=490
Reading Time: 2 minutes 今月も Triton Inference Server のリリース內容について、概要をお屆けします。「Triton Inference Server って何?」という方は、以下の記事などをご確認ください。 GPU に推論 … Continued]]>
Reading Time: 2 minutes 今月も Triton Inference Server のリリース內容について、概要をお屆けします。「Triton Inference Server って何?」という方は、以下の記事などをご確認ください。 リリース ノート本體は https://github.com/triton-inference-server/server/releases/tag/v2.22.0 です。今月のリリースには以下の機能や改善などが含まれています。 今月も先月に引き続き更新が多めです。「Python backend で decoupled API が beta release」、「Model Control API で、load エンドポイントにリクエストする際、
Source
]]>
490
-
GiNZA で體感する MIG のパフォーマンス スケーラビリティ
http://www.open-lab.net/ja-jp/blog/mig-perf-scalability-with-ginza/
Wed, 08 Jun 2022 03:41:29 +0000
http://www.open-lab.net/ja-jp/blog/?p=359
Reading Time: 3 minutes GPU の性能が年々向上する一方で、世の中には様々な規模の処理が存在しています。その中には、高性能な GPU を使い切るには至らない、比較的軽い処理も存在します。本日は、NVIDIA Ampere Architectur … Continued]]>
Reading Time: 3 minutes GPU の性能が年々向上する一方で、世の中には様々な規模の処理が存在しています。その中には、高性能な GPU を使い切るには至らない、比較的軽い処理も存在します。本日は、NVIDIA Ampere Architecture から導入された MIG (Multi-Instance GPU) と、MIG を活用した性能向上の例として、日本語 NLP 用ライブラリである GiNZA のベンチマーク結果について紹介していきます。 なお本記事は、GiNZA の開発者である、株式會社リクルート Megagon Labs 松田 寛様との共同記事となります。 GiNZA は、
Source
]]>
359
-
Triton Inference Server 2022 年 4 月のリリース概要
http://www.open-lab.net/ja-jp/blog/triton-inference-server-apr-2022-release-overview/
Tue, 07 Jun 2022 03:00:37 +0000
http://www.open-lab.net/ja-jp/blog/?p=380
Reading Time: < 1 minute 今月も Triton Inference Server のリリース內容について、概要をお屆けします。「Triton Inference Server って何?」という方は、以下の記事などをご確認ください。 GPU に推論 … Continued]]>
Reading Time: < 1 minute 今月も Triton Inference Server のリリース內容について、概要をお屆けします。「Triton Inference Server って何?」という方は、以下の記事などをご確認ください。 リリースノート本體は https://github.com/triton-inference-server/server/releases/tag/v2.21.0 です。今月のリリースには以下の機能や改善などが含まれています。 先月までと比較して、今月は更新が多めです。特に重要なものとしては、「バイナリ形式のリクエストでメタデータ省略可能に」、「C++ カスタム バックエンドで獨自 metrics の追加をサポート」あたりでしょうか。 以前から推論リクエスト時のデータ送信には、
Source
]]>
380
人人超碰97caoporen国产