生成 AI の分野は急速に進化しており、新しい大規模言語モデル (LLM: Large Language Models)、視覚言語モデル (VLM: Visual Language Models)、視覚言語行動 (VLA: Vision Language Action) モデルが日々登場しています。 この変革の時代の最先端であり続けなければならない開発者には、CUDA を用いて最適化された推論とオープンな機會學習フレームワークにより、クラウドからエッジまで最新のモデルをシームレスにデプロイできる強力なプラットフォームが必要です。?
ロボティクスやマルチモーダル エージェント向けの生成 AI ワークロードの新たな応用を支援するため、NVIDIA は NVIDIA Jetson Orin Nano 開発者キットをソフトウェア アップデートにより刷新し、最大 1.7 倍の驚異的なパフォーマンス向上と新たな価格として 249 ドルを実現しました。高度な AI のパフォーマンスとアクセシビリティの大幅な向上を稱え、Jetson Orin Nano 開発者キットは NVIDIA Jetson Orin Nano Super 開発者キットへと名稱が変更されます。
Jetson Orin Nano 開発者キットは、ソフトウェアをアップデートするだけで、Jetson Orin Nano Super 開発者キットにアップグレードすることができます。
この投稿では、開発者キットの新機能と、パフォーマンスの向上をシームレスに活用する方法についてご紹介します。
新しい Jetson Orin Nano Super 開発者キット
Jetson Orin Nano Super 開発者キットは、以下の改善點を提供しています。
- 生成 AI モデルのパフォーマンスが 1.7 倍に向上
- 67 Sparse TOPs、以前の 40 Sparse TOPs から大幅に増加
- 102 GB/秒のメモリ帯域幅、以前の 65 GB/秒のメモリ帯域幅から大幅に増加
- CPU クロック速度が 1.5 GHz から 1.7 GHz にアップ
- 新価格、499 ドルから 249 ドルに値下げ
このパフォーマンスの向上は、同じハードウェア アーキテクチャで 、GPU、メモリ、CPU クロックを増加させる新しい電力モードによって実現されています。これまでのすべての Jetson Orin Nano 開発者キットでは、最新バージョンの JetPack にアップグレードすることで、新しい電力モードを利用することができます。?
このパフォーマンスの向上により、Jetson Orin Nano Super 開発者キットは生成 AI のパフォーマンスを最大 70% 向上させ、最新の Transformer モデルを実行できるようになります。 コンパクトながら強力なこのシステムは、小規模なモデルから Llama-3.1-8B のような最大 80 億パラメーターのモデルまで、幅広い LLM、VLM、Vision Transformer (ViT) を難なく処理するとができます。
Jetson は、HuggingFace Transformers、Ollama、llama.cpp、vLLM、MLC、NVIDIA TensorRT-LLM など、他のプラットフォームと同じ機械學習フレームワークと最適化された推論インフラをサポートしています。 これにより、クラウド、エッジ、PC の間で拡張可能なソリューションを迅速に適応し、デプロイするために理想的な選択肢となります。
Jetson Orin Nano Super 開発者キットの構成
| NVIDIA Jetson Orin Nano 開発者キット(オリジナル) | NVIDIA Jetson Orin Nano Super 開発者キット | |
| GPU | NVIDIA Ampere アーキテクチャ 1,024 CUDA コア 32 Tensor コア 635 MHz | NVIDIA Ampere アーキテクチャ 1,024 CUDA コア 32 Tensor コア 1,020 MHz |
| AI パフォーマンス | 40 INT8 TOPS (Sparse) 20 INT8 TOPS (Dense) 10 FP16 TFLOPS | 67 TOPS (Sparse) 33 TOPS (Dense) 17 FP16 TFLOPS |
| CPU | 6 コア Arm Cortex-A78AE v8.2 64 ビット CPU 1.5 GHz | 6 コア Arm Cortex-A78AE v8.2 64 ビット CPU 1.7 GHz |
| メモリ | 8GB 128 ビット LPDDR5 68 GB/秒 | 8GB 128 ビット LPDDR5 102 GB/秒 |
| 消費電力 | 7W | 15W | 7W | 15W | 25W |
幅広い LLM、VLM、ViT に対応
NVIDIA Jetson Orin Nano Super 開発者キットは、組込みアプリケーションに生成 AI 機能を追加したり、手頃な価格のコンピューターで最先端の生成 AI モデルを體験したい場合に、畫期的なパフォーマンスを提供します。
LLM、VLM、Vision Transformer (ViT) は、さまざまな分野で AI の進化を加速させる重要な技術です。また、 基盤 LLM は、一般的な言語処理と人間のようなテキストの生成に優れており、NVIDIA Riva などのストリーミング音聲認識と合成パイプラインと組み合わせることで、自然な人間/マシン インターフェイスを実現します。
小規模言語モデル (SLM: Small Language Model) は、剪定や蒸留といった手法により急速に進化し、大規模言語モデルに匹敵する性能を発揮できるようになっています。これらはエッジ向けに最適化されており、一般的に 70 億パラメーター以下のサイズになっています。
今日では、オープンな LLM や SLM は、エージェント型 AI のようにツールの使用や関數呼び出しなどができるように學習されており、LLM の構文解析や推論能力を現実世界のシステムと統合することが一般的になっています。
また、LLM のファインチューニングやメモリ効率の高い LoRA (Low-Rank Adaptation) のサポートも進化し、NVIDIA NeMo をはじめとする多くの機械學習フレームワークで活用できるようになっており、タスク特化型の SLM の開発が可能になっています。
ViT は、畫像のピクセルをトークン化し、Transformer の力を視覚領域に応用する技術です。以下のような幅広いタスクで最先端のパフォーマンスを発揮します。
- 特徴量抽出
- 畫像分類
- 物體検出
- セグメンテーション
- 姿勢推定
さらに、NVIDIA Cosmos Tokenizer を活用することで、3D 點群や動畫などの高次元データにも対応可能です。 また、ViT の視覚能力と Open Vocabulary を組み合わせることにより、幅広い対象物體に対してファインチューニングなしで推論することができます。
VLM (視覚言語モデル) は、ViT と LLM を組み合わせ、視覚情報とテキスト情報を統合的に処理できるモデルです。例えば、VILA のような VLM は、畫像や動畫の詳細なシーン説明を生成したり、OCR を用いてテキストを抽出したりすることが可能です。さらに、ユーザーのクエリに基づき、マルチモーダル推論を行い、畫像や動畫シーケンスに関する質問に答えることができます
さらに、SLM と同様に軽量化が進み、エッジ環境でも活用しやすくなっています。たとえば、Jetson Platform Services の VLM ワークフローでは、カメラ ストリームをリアルタイムで解析し、イベントに応じた通知や要約を柔軟に行うことができます。
これらの技術は、生成 AI やマルチモーダル システムの進化を支え、現実世界での応用を加速させています。新しい NVIDIA Jetson Orin Nano Super は、LLM、SLM、ViT、VLM といった幅広いモデルにおいてパフォーマンスを大幅に向上させました。これにより、最先端の生成 AI 技術を手軽に試せる環境を提供し、さらに、物理 AI (Physical AI) への入り口としての役割を果たします。下図は、人気の LLM、VLM、ViT の一部をベンチマークし、Jetson Orin Nano Super 開発者キットが以前のバージョンと比較して高速であることを示しています。
| モデル | Jetson Orin Nano (オリジナル) | Jetson Orin Nano Super | パフォーマンス向上 (倍) |
| Llama 3.1 8B | 14 | 19.14 | 1.37 |
| Llama 3.2 3B | 27.7 | 43.07 | 1.55 |
| Qwen2.5 7B | 14.2 | 21.75 | 1.53 |
| Gemma 2 2B | 21.5 | 34.97 | 1.63 |
| Gemma 2 9B | 7.2 | 9.21 | 1.28 |
| Phi 3.5 3B | 24.7 | 38.1 | 1.54 |
| SmolLM2 | 41 | 64.5 | 1.57 |
* MLC API を使用した INT4 量子化による LLM 生成パフォーマンス (1 秒あたりのトークン)。
| モデル | Jetson Orin Nano (オリジナル) | Jetson Orin Nano Super | パフォーマンス向上 (倍) |
| VILA 1.5 3B | 0.7 | 1.06 | 1.51 |
| VILA 1.5 8B | 0.574 | 0.83 | 1.45 |
| LLAVA 1.6 7B | 0.412 | 0.57 | 1.38 |
| Qwen2 VL 2B | 2.8 | 4.4 | 1.57 |
| InternVL2.5 4B | 2.5 | 5.1 | 2.04 |
| PaliGemma2 3B | 13.7 | 21.6 | 1.58 |
| SmolVLM 2B | 8.1 | 12.9 | 1.59 |
*すべての VILA と LLAVA モデルは、MLC を使用して INT4 精度で実行されましたが、殘りのモデルは Hugging Face Transformer で FP4 精度で実行されました。
| モデル | Jetson Orin Nano (オリジナル) | Jetson Orin Nano Super | パフォーマンス向上 (倍) |
| clip-vit-base-patch32 | 196 | 314 | 1.60 |
| clip-vit-base-patch16 | 95 | 161 | 1.69 |
| DINOv2-base-patch14 | 75 | 126 | 1.68 |
| SAM2 base | 4.42 | 6.34 | 1.43 |
| Grounding DINO | 4.11 | 6.23 | 1.52 |
| vit-base-patch16-224 | 98 | 158 | 1.61 |
| vit-base-patch32-224 | 171 | 273 | 1.60 |
*すべての ViT モデルは、NVIDIA TensorRT を使用して FP16 精度で実行されました (測定値は FPS です)。
Jetson Orin Nano Super 開発者キットを使ってみる
パフォーマンスの向上をお楽しみいただくには、JetPack SDK ページから SD カード イメージをダウンロードし、入門ガイドの手順に従ってください。
NVIDIA は、JetPack 6.1 をベースにした SD カード イメージを公開しており、これによりブーストされたパフォーマンスを利用できます。 また、SDK Manager を使用して、JetPack 6.1 をインストールすることも可能です。SDK マネージャーを更新し、インストール時に JetPack 6.1 (rev. 1) を選択してください。
JetPack のセットアップが完了したら、次のコマンドを使用して電力モードを変更することで、パフォーマンスを向上することができます。 モード 2 は、MAXN モードであり、最大パフォーマンスを実現します。
sudo nvpmodel -m 2 |
また、Ubuntu デスクトップの上部バーの右側にある電力モード セレクターを使用して、電力モードを変更することもできます。
Jetson Orin Nano Super 開発者キットで生成 AI を體験する
NVIDIA は、Jetson Orin Nano 開発者キットで生成 AI を活用するためのチュートリアルや、すぐに使える構築済みのコンテナーを Jetson AI Lab で提供しています。ロボティクスに興味をお持ちであれば、ぜひ LeRobot チュートリアルをご覧ください。 生成 AI チャットボットを作成したい方には、専用のチュートリアルも用意しております。
Hugging Face の LeRobot
NVIDIA は Hugging Face と提攜し、LeRobot というオープン AI プラットフォームを活用したロボット研究を加速しています。Jetson Orin Nano Super 開発者キット上で Hugging Face LeRobot を実行でき、視覚情報と過去の軌跡データをもとにタスク動作を予測する生成 AI モデルを実行することができます。
Ollama を用いた生成 AI チャットボット
Jetson Orin Nano Super 開発者キットでは生成 AI チャットボットを実行します。 このチャットボットは Ollama を採用し、オープンソースのチャットボット用インターフェイス Open WebUI を搭載しています。Open WebUI を使うことで、ローカルで動作する大規模言語モデル (LLM) と簡単に接続できます。さらに、 検索拡張生成 (RAG) を活用し、ユーザー體験と機能を向上させることができます。
Jetson AI Lab による生成 AI の進歩
Jetson AI Lab では、エッジ デバイスに最適化された最新の生成 AI テクノロジを発見し、実験することができます。
NVIDIA は、オープンなコミュニティ主導の環境を発展させることで、開発者やパートナーと協力して、オープンソースのエッジ AI やロボット學習に取り組んでいます。Jetson デバイス向けに最適化された推論用マイクロサービスや、主要な機械學習フレームワークへの幅広い対応により、最新の研究成果や AI モデルをすばやく構築しデプロイできます。これにより、急速なペースで進むイノベーションに常に追いつくことができます。
図 7 は、NanoOWL の Open-Vocabulary リアルタイム オブジェクト検出 ViT の例を示しています。
図 8 は、インタラクティブな txt2img と img2img 類似性検索を使用した NanoDB マルチモーダル ベクトル データベースを示しています。
Jetson AI Lab では、開発者がすぐにオンデバイス LLM、SLM、マルチモーダル VLMを利用できるよう、約 50 種類の分かりやすいチュートリアルと構築済みコンテナーを提供しています。さらに、VLA、拡散ポリシー、音聲モデルのバリエーションにも対応しています。これらはすべて、クラウドで使用されているのと同じく最適化された推論インフラでローカルにデプロイされています。
Jetson AI Lab の協力的なコミュニティ主導により提供されているチュートリアルやリソースにより、高度な生成 AI を容易にエッジにデプロイすることができます。
すべての Jetson Orin Nano シリーズと Jetson Orin NX シリーズ モジュールがパフォーマンスを大幅に向上
NVIDIA は、Jetson Orin Nano シリーズと Jetson Orin NX シリーズのパフォーマンスも刷新しています。 小型 AI カメラから大規模な自律マシンまで、あらゆるエッジ デバイスに生成 AI モデルを実行するコンピューティング機能が必要です。
同じモジュール ハードウェアを使うことで、異なるモジュール間でも最大 1.7 倍のパフォーマンス向上を実現できます。
- Orin Nano シリーズ: GPU、CPU、メモリの周波數とパフォーマンスを改善しました。?
- Orin NX シリーズ: GPU と DLA 全體を改善しました。
Jetson Orin Nano と Orin NX 量産用モジュールのパフォーマンス向上に関するサポートと資料は、JetPack 6.1.1 とともに、1 月前半にリリースされます。
Orin に対するお客様からの需要の高まりを受けて、NVIDIA は最近、Jetson Orin の製品ライフ サイクルを 2032 年まで延長すると発表しました。 この大幅なパフォーマンス向上により、 Orin Nano シリーズと Orin NX シリーズは、現在および將來の AI モデルに最適なプラットフォーム となります。
生成 AI 開発を今すぐ始めてみる
Jetson Orin Nano Super 開発者キットは、エッジ コンピューティングのための生成 AI 開発をリードする究極のプラットフォームです。 今こそ、最先端の開発者と研究者が活気あふれる多様なコミュニティに參加し、フィジカル AI によって現実世界の課題に対処するために、NVIDIA と共にスタートを切る絶好のタイミングです。?
Jetson Orin Nano 開発者キットを既にご利用のお客様は、JetPack SDK をアップグレードすれば、今すぐ強化されたパフォーマンスを活用できます。
最新情報を受け取るには、ニュースレターにご登録ください。また、LinkedIn、Instagram、X、Facebook で NVIDIA ロボティクスも是非フォローしてください。? 詳細については、関連資料をご覧いただくか、開発者フォーラム、Discord、YouTube チャンネルのロボティクス コミュニティにご參加ください。
関連情報
- DLI コース: Jetson Nano で AI を始める
- GTC セッション: Getting AI to the Edge with NVIDIA Jetson Orin, Edge Impulse and Lumeo (NVIDIA Jetson Orin、Edge Impulse、Lumeo により AI がエッジに到達)
- GTC セッション: Jetson Community Projects Showcase (Jetson コミュニティ プロジェクトのショーケース)
- GTC セッション: Overview of Jetson Software and Developer Tools (Jetson ソフトウェアと開発者ツールの概要)
- NGC コンテナー: DLI Getting Started with AI on Jetson Nano (DLI、Jetson Nano で AI を導入)
- SDK: JetPack SDK
