今月も Triton Inference Server のリリース內容について、概要をお屆けします。「Triton Inference Server って何?」という方は、以下の記事などをご確認ください。
What’s New in 2.23.0 (NGC 22.06)
リリース ノート本體は https://github.com/triton-inference-server/server/releases/tag/v2.23.0 です。今月のリリースには以下の機能や改善などが含まれています。
- いくつかのバックエンドで、dynamic batching を利用可能なモデルの場合、自動生成された model configuration は dynamic batching がデフォルトで有効になります
- Python バックエンドが、model configuration の自動生成に対応しました
- Python バックエンドでの Decoupled API サポートが、ベータから正式版になりました
- PyTorch バックエンドの入出力テンソル名の規約が更新されました
- https://github.com/triton-inference-server/server/blob/r22.06/docs/model_configuration.md#special-conventions-for-pytorch-backend
- 今回の更新から任意の名稱を利用できるようになるようですが、この場合
config.pbtxtの定義順でモデルの入出力とのマッピングが行われるようです
- Performance Analyzer の安定性などが改善されています
- TensorFlow バックエンドのデフォルトバージョンが、次回リリースから変更されます
- 現狀は TF1 がデフォルトですが、次回 (v2.24.0; 22.07) 以降は TF2 がデフォルトとなるようです
今月の更新はやや控えめといった印象ですが、model configuration まわりの変更や改善は有用かもしれません。
以前から --strict-model-config=false を指定して Triton を起動することで、設定ファイルの作成をスキップすることができていました。このとき実際には、Triton によって設定自體は自動生成されており、具體的な値は /v2/models/<modelname>/config で確認することが可能です。今回の更新で、この生成される設定のデフォルト値が変更されます。具體的な差分は以下に示す diff の通りですが、まとめると以下の 2 點です。
max_batch_sizeのデフォルト値が 4 になります- デフォルトで
dynamic_batchingが設定されるようになります- ただしモデル自體の定義によって dynamic batching を利用できない場合、
dynamic_batchingは設定されません - モデルごとの dynamic batching 利用可否の概要については「Triton Inference Server のバッチサイズを紐解く」で觸れています
- ただしモデル自體の定義によって dynamic batching を利用できない場合、
--- 22.05_conf.json 2022-07-20 16:29:46.950969341 +0900
+++ 22.06_conf.json 2022-07-20 16:29:24.867140899 +0900
@@ -7,7 +7,7 @@
"num_versions": 1
}
},
- "max_batch_size": 1,
+ "max_batch_size": 4,
"input": [
{
"name": "input_1",
@@ -47,6 +47,14 @@
"gather_kernel_buffer_threshold": 0,
"eager_batching": false
},
+ "dynamic_batching": {
+ "preferred_batch_size": [],
+ "max_queue_delay_microseconds": 0,
+ "preserve_ordering": false,
+ "priority_levels": 0,
+ "default_priority_level": 0,
+ "priority_queue_policy": {}
+ },
"instance_group": [
{
"name": "resnet",
なおこのとき、max_batch_size のデフォルト値については、--backend-config=default-max-batch-size=32 などとすることによって変更できます。
これに加えて、Python バックエンドで上記の設定ファイル自動生成に対応するため、モデルファイルの staticmethod として auto_complete_config() が追加されました。--strict-model-config=false が指定された場合に呼び出される関數で、期待する設定値などを定義するために使用されます。なおドキュメントの注釈にも記載されていますが、この関數を実行するために使用される Python インタプリターは関數終了後に破棄されるため、実際の推論実行に必要となるオブジェクトなどをこの関數內で生成しないように注意してください。
What’s New に言及されていないアップデート
今月も、更新內容や追加機能の詳細は What’s New でほぼ言及されていたようで、それ以外の主なものは以下の一件のみです。
- 出力されるログのフォーマット指定ができるようになりました (PR#4423)
Triton では、--log-verbose=1 や --log-info=true などのオプションを起動時に追加することで、出力されるログの量を調整できますが、今回の対応でログのフォーマットもある程度制御できるようになるようです。ただし現時點では、日時のフォーマットを獨自形式にするか ISO8601 形式にするかを選択できる程度のようですので、広く利用されているログ ライブラリのように柔軟な変更ができるかというと、そういうわけではないという點には注意が必要です。
まとめ
今月は利便性の向上に関する修正が大半でした。引き続き機能追加等は行われますので、定期的にチェックいただければと思います。
