NVIDIA DeepStream SDK

マルチプラットフォーム対応の DeepStream により、ビジョン AI のアプリケーションやサービスを短期間で簡単に開発し、ワンクリックでオンプレミスやエッジ、クラウドにデプロイできます。

今すぐ始める??LaunchPad で試す

NVIDIA DeepStream とは

世界中に存在する數十億臺のカメラやセンサーが取り込んでいる大量のデータは、ビジネス インサイトの創出、プロセスの効率化、収益源の改善に活用できます。交差點での渋滯の緩和、病院での健康と安全のモニタリング、顧客満足度向上のための店舗通路の調査、工場での欠陥部品の検知など、どんな応用事例においても、信頼できるリアルタイムのインテリジェント ビデオ分析 (IVA) が求められます。NVIDIA の DeepStream SDK は、GStreamer を基盤として AI ベースのマルチセンサー処理やビデオ、音聲、畫像の理解を実現するストリーミング分析ツールキットで、IVA アプリやサービスを開発するビジョン AI 開発者、ソフトウェア パートナー、スタートアップ、OEM に最適な製品です。開発者はストリーム処理パイプラインを作成し、ニューラル ネットワークなどの複雑な処理タスク (トラッキング、ビデオのエンコード/デコード、ビデオのレンダリングなど) を組み込めるようになります。DeepStream のパイプラインにより、ビデオ、畫像、センサーのデータをリアルタイムで分析できます。

What is DeepStream and how does the software stack look like
DeepStream は、ピクセルやセンサー データから実用的なインサイトを導き出すエンドツーエンドのサービスやソリューションの開発プラットフォーム、NVIDIA Metropolis の不可欠な部分でもあります。

主なメリット

DeepStream is a powerful and flexible SDK

強力で柔軟な SDK

DeepStream SDK は、さまざまな業界の幅広いユースケースに適しています。

DeepStream provides multiple programming options

複數のプログラミングの選択肢

C/C++、Python、Graph Composer のシンプルかつ直観的な UI を使って、強力なビジョン AI アプリケーションを作成できます。

DeepStream allows you to gather real-time insights

リアルタイムのインサイト

エッジのマルチモーダル センサーのリアルタイムのリッチなデータを理解します。

DeepStream helps you create managed AI services

マネージド AI サービス

Kubernetes を使用して AI サービスをクラウド ネイティブのコンテナーにデプロイし、管理します。

DeepStream helps you reduced total development cost

TCO の削減

TAO Toolkit でモデルのトレーニング、適応、最適化を行い、DeepStream でモデルをデプロイすることでストリーム密度を高めます。

獨自の機能

エッジからクラウドまで、シームレスな開発を実現

開発者は DeepStream を使用して AI ベースのビデオ、音聲、畫像分析のためのシームレスなストリーミング パイプラインを構築できます。DeepStream には 30 以上のハードウェア アクセラレーション対応プラグインおよび拡張機能が付屬し、前処理や後処理、推論、複數オブジェクトの追跡、メッセージ ブローカーなどを最適化します。また、世界トップクラスのパフォーマンスを誇る、複數オブジェクトを対象としたリアルタイムのトラッカーも提供します。

開発者と企業向けに開発された DeepStream は最先端の SSD、YOLO、FasterRCNN、MaskRCNN などの一般的な物體検出モデルやセグメンテーション モデルを広範な AI モデルでサポートします。また、カスタム関數やライブラリも統合できます。

さまざまなプラグイン向けに新しい REST-API を導入しているため、SaaS としてデプロイできる柔軟性に優れたアプリケーションを作成し、直観的なインターフェイスから制御することができます。つまり、Web ページなどのシンプルなインターフェイスを使って、ストリームの追加や削除、「関心領域」の変更が可能になります。

詳細はこちら

DeepStream helps developers build seamless streaming pipeline for AI based video analytics
DeepStream helps developers build high performance cloud native AI applications

クラウドネイティブの活用

クラウドネイティブ テクノロジは、迅速な製品開発と今後の継続的な製品改良に必要な柔軟性と俊敏性をもたらします。企業は耐障害性と管理性を備えたアプリケーションを構築できるようになり、デプロイも迅速化されます。

開発者は DeepStream Container Builder ツールにより、NVIDIA NGC コンテナーを使って、高性能のクラウドネイティブ AI アプリケーションを構築できます。作成されたコンテナーは、大規模にデプロイしたり、Kubernetes や Helm チャートで管理したりするのも容易です。



詳細はこちら

エンドツーエンドの AI ソリューションの構築

NVIDIA Metropolis でエンドツーエンドのビジョン AI システムを構築することで、開発作業全體をスピードアップし、リアルタイムのパフォーマンスを向上できます。まずは運用品質のビジョン AI モデルを構築し、TAO Toolkit で適応および最適化して、DeepStream を使ってデプロイしましょう。

迅速なプロトタイプ作成から実用水準のソリューション構築まで、優れた柔軟性を実現するほか、推論パスの選択も可能です。NVIDIA Triton? Inference Server とのネイティブ統合により、PyTorch や TensorFlow などのネイティブ フレームワークで推論モデルをデプロイしたり、NVIDIA TensorRT? でマルチ GPU、マルチストリーム、バッチ処理のサポートを活用して高スループットの推論を行い、最高のパフォーマンスを実現したりできます。



詳細はこちら
DeepStream is integrated with NVIDIA Metropolis for complete end-to-end AI solutions
DeepStream is bundled with multiple reference applications

リファレンス アプリケーションへのアクセス

DeepStream SDK には、開発作業を始める際に役立つ 30 以上のサンプル アプリケーションが同梱されています。ほとんどのサンプルは C/C++ 版、Python 版、Graph Composer 版で提供され、NVIDIA Jetson? および dGPU プラットフォームで実行可能です。リファレンス アプリケーションは、DeepStream プラグインの機能の學習や、カスタムのビジョン AI アプリケーションを開発するためのテンプレートや出発點として利用できます。



また、DeepStream は Basler のカメラと連攜しており、工業検査やさまざまなアプリケーションの LiDAR をサポートします。

詳細はこちら

Graph Composer との連攜

Graph Composer との連攜により、DeepStream を利用している開発者は強力なローコード開発を行えるようになります。シンプルかつ直観的なインターフェイスで、複雑な処理パイプラインを簡単に作成し、Container Builder を使用してすばやくデプロイできます。

Graph Composer は、DeepStream、GStreamer やプラットフォームのプログラミングに関する多くの基礎知識を抽出することで、リアルタイムで動作する最新のマルチストリーム ビジョン AI アプリケーション構築の要件に対応できます。コードを作成する代わりに大規模なコンポーネントのライブラリ使って、ドラッグアンドドロップのインターフェイスで構成や接続を行います。



詳細はこちら
GraphComposer_Demo_AdobeExpress-larger_file.gif
DeepStream SDK is part of NVIDIA AI Enterprise to help deploy AI anywhere.

NVIDIA AI Enterprise で DeepStream アプリを高速化

NVIDIA AI Enterprise は、安全でクラウドネイティブなエンドツーエンド AI ソフトウェア スイートです。主な特長は、NVIDIA AI オープンソース ソフトウェアの検証や連攜、AI ソリューション ワークフローへのアクセスなどが可能になり、本番環境への移行にかかる時間を短縮できる點です。

企業向けサポートも含まれており、DeepStream を活用したアプリケーションの開発や AI アプリケーションのライフサイクル管理を支援する、グローバルな企業向けサポートを提供します。そのため、ビジネスに不可欠なプロジェクトを円滑に進めることができます。

詳細はこちら

複數のプログラミング オプションを提供

C/C++

C/C++ でアプリケーションを作成し、GStreamer や DeepStream のプラグインを直接操作したり、リファレンス アプリケーションやテンプレートを利用したりできます。


C/C++ の詳細はこちら

Python

GStreamer フレームワークの Python バインディングである Gst Python を使って DeepStream パイプラインを構築できます。バインディングと Python のサンプル アプリケーションのソース コードは GitHub で入手できます。


Python の詳細はこちら

Graph Composer

Graph Composer は DeepStream のユーザー エクスペリエンスを向上する、ローコード開発ツールです。シンプルかつ直観的な UI でドラッグアンドドロップ操作を行い、処理パイプラインを構築できます。


Graph Composer の詳細はこちら

精度とリアルタイムのパフォーマンスの向上

DeepStream はさまざまな種類の物體検出、畫像処理、インスタンスのセグメンテーションの AI モデル向けに卓越したスループットを提供します。下表はエンドツーエンド アプリケーションのデータの取り込みからデコーディング、畫像処理、推論までのパフォーマンスを示しています。複數の 1080p/30fps ストリームを入力として受信します。なお、Jetson デバイス の DLA 上で実行すると、他のタスクのために GPU が解放されます。パフォーマンスのベスト プラクティスについてはチュートリアル動畫をご覧ください。


Jetson Orin NX
Jetson Orin AGX?
T4
A2
A10
A30
A100
H100
RTX* (A6000)
アプリケーション
モデル
トラッカー
推論の解像度
演算精度
GPU
DLA1
DLA2
GPU
DLA1
DLA2
GPU
GPU
GPU
GPU
GPU
GPU
GPU
人體検出
PeopleNet-ResNet34
(Version 2.6)
No Tracker
960x544
INT8
141
65
65
456
130
130
420
233
993
1440
2336
3492
1432
人體検出
PeopleNet-ResNet34
(Version 2.6)
NvDCF
960x544
INT8
131
65
65
418
130
130
418
229
957
1375
2048
3196
1375
ナンバー プレート認識
TrafficCamNet
LPDNet
LPRNet
NvDCF
960x544
640x480
96x48
INT8
INT8
FP16
143
-
-
379
-
-
455
290
1155
1301
2059
2531
1482
3D Body Pose Estimation
PeopleNet-ResNet34 BodyPose3D
NvDCF
960x544
192x256
INT8
FP16
32
-
-
62
-
-
91
59
143
167
187
207
144
動作認識
ActionRecognitionNet (3DConv)
No Tracker
224x224x3x32
FP16
36
-
-
122
-
-
134
72
1154
2598
2583
3181
1327

RTX GPU パフォーマンスは、主要製品についてのみ報告されています。すべての SKU が DeepStream をサポートしています。


DeepStream SDK を使用すれば、AI をストリーミング ビデオに適用すると同時にビデオのデコード/エンコード、畫像のスケーリングと変換、エッジからクラウドへの接続を最適化して、完全にエンドツーエンドのパフォーマンス最適化を実現できます。


DeepStream を使用したパフォーマンスの詳細については、資料をご參照ください。

顧客事例

OneCup AI Customer Story

OneCup AI

OneCup AI のコンピューター ビジョン システムは、動物の動きを追跡、分類する際に NVIDIA の學習済みモデル、TAO Toolkit、DeepStream SDK を活用し、開発時間を數か月から數週間へと大幅に短縮しています。


OneCup AI の詳細はこちら
Fingermark Customer Story

Fingermark

Fingermark は NVIDIA TAO Toolkit と DeepStream SDK を活用することで、産業用のビジョン AI ソリューションの開発を高速化し、従業員の安全性を高めました。




Fingermark の詳細はこちら
Trifork Customer Story

Trifork

Trifork は NVIDIA DeepStream SDK、學習済みモデル、TAO Toolkit によって AI モデル開発をすばやく開始し、AI ベースの空港の手荷物追跡ソリューションを開発しました。



Trifork の詳細はこちら

よく寄せられる質問


DeepStream はクローズドソースの SDK です。なお、すべてのリファレンス アプリケーションといくつかのプラグインのソースをご利用いただくことは可能です。

DeepStream SDK を使用してエンドツーエンドの AI アプリケーションを構築し、ビデオやセンサーのデータを分析できます。よくあるユース ケースとしては、小売分析、駐車管理、ロジスティクス管理、光學検査、ロボティクス、スポーツ アナリティクスなどがあります。

はい。Triton Inference Server の統合で可能になります。また DeepStream 6.1.1 では、アプリケーションは gPRC を使って Triton Inference Server の獨立したインスタンスやリモートのインスタンスと通信できます。

DeepStream はすぐに使用できる一般的なネットワークを複數サポートしています。たとえば MaskRCNN などです。また、一般的な YOLO モデル、FasterRCNN、SSD、RetinaNet を実行するサンプルが付屬しています。

はい。DS 6.0 以降のバージョンは Ampere アーキテクチャをサポートしています。

はい。音聲は DeepStream SDK 6.1.1 でサポートされます。利用を開始するにはソフトウェアをダウンロードして、參照用の音聲および自動音聲認識 (ASR) アプリケーションを確認してください。詳細については、ASR DeepStream Plugin をご覧ください。

DeepStream SDK で高性能のビジョン AI のアプリやサービスを構築しましょう。

今すぐ始める