生成式 AI 格局正在迅速發展，新的 大語言模型 (LLMs)、視覺語言模型 (VLMs) 和視覺語言動作 (VLAs) 模型每天都在涌現。為了在這個變革時代站在前沿，開發者需要一個足夠強大的平臺，通過使用 CUDA 的優化推理和開放 ML 框架，將最新模型從云端無縫部署到邊緣。
為了支持機器人和多模態智能體中生成式 AI 工作負載的新興應用，NVIDIA 正在通過軟件更新來更新 NVIDIA Jetson Orin Nano 開發者套件 ，以 249 美元的驚人新價格將性能提升高達 1.7 倍。為表彰 Jetson Orin Nano 開發者套件在性能和可訪問性方面的出色提升，我們將 Jetson Orin Nano 開發者套件更名為 NVIDIA Jetson Orin Nano Super Developer Kit。
只需更新軟件，即可將 Jetson Orin Nano 開發者套件升級到 Jetson Orin Nano 超級開發者套件。
在本文中，了解開發者套件的新功能，以及如何無縫利用提升的性能。
全新 Jetson Orin Nano 超級開發者套件
Jetson Orin Nano 超級開發者套件 現在提供以下改進：
- 生成式 AI 模型性能提升 1.7 倍。
- 67 Sparse TOPs 的數量顯著增加，較之前的 40 Sparse TOPs 有了明顯提升
- 102 GB/s 的顯存帶寬，與之前的 65 GB/s 顯存帶寬相比，實現了重大飛躍。
- CPU 主頻為 1.7 GHz，高于 1.5 GHz。
- 新降價 249 美元，低于 499 美元。
在相同的硬件架構下，這種性能提升是通過增加 GPU、內存和 CPU 時鐘的新電源模式實現的。之前的所有 Jetson Orin Nano 開發者套件都可以通過升級到最新版本的 JetPack 來使用新的功率模式。
借助這種性能提升，Jetson Orin Nano 超級開發者套件可提供高達 70% 的生成式 AI 性能，使您能夠運行新興的基于 Transformer 的新型模型。從較小的模型到具有多達 8B 參數的模型 (例如 Llama-3.1-8B 模型)，這款緊湊而強大的系統可以輕松處理各種 LLM、VLM 和 Vision Transformers (ViTs)。
Jetson 支持與其他平臺相同的 ML 框架和優化的推理基礎設施，例如 Hugging Face Transformers、Llama.cpp、vLLM、MLC、NVIDIA TensorRT-LLM 等。這使其成為在云、邊緣和 PC 之間快速調整和部署可擴展解決方案的理想選擇。
JETSON Orin Nano Super Developer Kit 配置
| ? | NVIDIA Jetson Orin Nano 開發者套件 (原件) |
NVIDIA Jetson Orin Nano 超級開發者套件 |
| GPU | NVIDIA Ampere 架構，1,024 個 CUDA Cores，32 個 Tensor Cores，635 MHz | NVIDIA Ampere 架構，1,024 個 CUDA Cores，32 個 Tensor Cores， 1,020 MHz |
| AI 性能 | 40 INT8 TOPS (Sparse) 20 INT8 TOPS (Dense) 10 FP16 TFLOPs | 67 TOPS (稀疏) 33 TOPS (密集) 17 FP16 TFLOPS |
| CPU | 6 核 Arm Cortex-A78AE v8.2 64 位 CPU 1.5 GHz |
6 核 Arm Cortex-A78AE v8.2 64 位 CPU 1.7 GHz |
| 顯存 | 8GB 128 位 LPDDR5 68 GB/秒 |
8GB 128 位 LPDDR5 102 GB/秒 |
| 模組功率 | 7 瓦|15 瓦 | 7 瓦|15 瓦| 25 瓦 |
可運行各種 LLM、VLM 和 ViT?
如果您想將生成式 AI 功能引入嵌入式應用程序或在經濟實惠的計算機上體驗先進的生成式 AI 模型，NVIDIA Jetson Orin Nano 超級開發者套件可提供顛覆性性能。
LLMs、VLMs 和視覺 Transformers (ViTs) 是推動跨領域創新的變革性 AI 架構。Foundation LLMs 擅長通用語言處理和生成類似人類的文本，在與流式語音識別和合成流程 (例如 NVIDIA Riva ) 結合使用時，可實現自然的人類/機器界面。
小語言模型 (SLMs) 通過 剪枝和蒸餾 等技術取得了快速發展，可以與更大的模型競爭，并針對邊緣用例進行了優化，一般來說，參數大小在 7 億以下。
如今，開放式 LLM 和 SLM 已通過結構化 I/O (將 LLM 解析和推理連接到真實系統) 接受代理工具使用和函數調用訓練，這已成為常態。
許多 ML 框架 (包括 NVIDIA NeMo ) 也改進了對 LLM 微調和內存高效型 LoRAs 的支持，實現了在應用特定領域中對 SLM 進行對齊和專門化的易于理解的方法。ViTs 通過將像素片標記為嵌入，利用 Transformers 的強大功能實現視覺效果。它們在以下基本任務中實現了出色的性能：
- 特征提取
- 分類
- 檢測
- 分割
- 姿態估計
它們還擴展到更高維的模式，例如 3D 點云和采用 NVIDIA Cosmos Tokenizers 的視頻。ViTs 提示創意新型混合模型，該模型將定制視覺功能、開放詞匯語言支持以及針對各種主題和對象類別的動態運行時查詢融合在一起，無需額外微調。VLMs，例如 VILA ，融合 ViTs 和 LLMs 跨視覺和文本模式，使模型能夠理解和生成詳細的場景描述、檢測感興趣的物體并使用 OCR 提取文本。它們可以應用多模態推理來回應用戶對圖像或視頻序列的查詢。
在經歷了與 SLMs 類似的精簡工作后，VLMs 在應用于攝像頭流的遠程監控時（例如在 Jetson Platform Services 中的 參考 VLM Workflow 中）具有靈活的基于事件的警報和匯總功能，因此對于邊緣應用的用途越來越大。
這些技術共同支撐著生成式 AI 和多模態系統以及現實世界應用的進步。新的 NVIDIA Jetson Orin Nano Super 可顯著提升各種 LLM、SLM、ViT 和 VLM 的性能，并顯著降低入門門檻，以便獲得使用最新的 Transformer 模型作為物理 AI 門戶的實踐經驗。我們在下方對一些熱門的 LLM、VLM 和 ViT 進行了基準測試，并展示了 Jetson Orin Nano Super 開發者套件相較于前代產品所提供的加速。
| 模型 | Jetson Orin Nano (原件) | Jetson Orin Nano Super | 性能增益 (X) |
| Llama 3.1 8B | 14 | 19.14 | 1.37 |
| Llama 3.2 3B | 27.7 | 43.07 | 1.55 |
| Qwen2.5 7B | 14.2 | 21.75 | 1.53 |
| Gemma 2 2B | 21.5% | 34.97 | 1.63 |
| Gemma 2 9B | 7.2 | 9.21 | 1.28 |
| Phi 3.5 3B | 24.7 | 38.1 | 1.54 |
| SmolLM2 | 41 | 64.5% | 1.57 |
| 模型 | Jetson Orin Nano (原圖) | Jetson Orin Nano Super | 性能增益 (X) |
| VILA 1.5 3B | 0.7 | 1.06 | 1.51 |
| VILA 1.5 8B | 0.574 | 0.83 | 1.45 |
| LLAVA 1.6 7B | 0.412 | 0.57 | 1.38 |
| Qwen2 VL 2B | 2.8 | 4.4 | 1.57 |
| InterVL2.5 4B | 2.5 | 5.1 | 2.04 |
| PaliGemma2 3B | 13.7 | 21.6% | 1.58 |
| SmolVLM 2B | 8.1 | 12.9 | 1.59 |
| 模型 | Jetson Orin Nano (原圖) | Jetson Orin Nano Super | 性能增益 (X) |
| clip-vit-base-patch32 | 196 | 314 | 1.60 |
| clip-vit-base-patch16 | 95% | 163 | 1.69 |
| DINOv2-base-patch-14 | 75 | 126 | 1.68 |
| SAM2 base | 4.42 | 6.34 | 1.43 |
| Grounding DINO | 4.11 | 6.23 | 1.52 |
| vit-base-patch16-224 | 98 | 158 | 1.61 |
| vit-base-patch32-224 | 174 | 273 | 1.60 |
Jetson Orin Nano Super Developer Kit 入門
要享受提升的性能，請從 JetPack SDK 頁面 下載 SD 卡鏡像，并按照 Getting Started Guide 操作 。
NVIDIA 基于 JetPack 6.1 發布了 SD 卡鏡像，并支持提升性能。您還可以使用 SDK Manager 安裝 JetPack 6.1，并提升 Jetson Orin Nano Developer Kit 的性能。請確保您已更新 SDK Manager 并選擇 JetPack 6.1 (rev. 1) 安裝時。
啟動并運行 JetPack 后，請使用以下命令更改電源模式，以解鎖超強性能。模式 2 是 MAXN 模式，可帶來超強性能。
sudo nvpmodel -m 2 |
您還可以使用 Ubuntu 桌面頂部欄右側的 Power Mode Selector 更改電源模式。
在 Jetson Orin Nano 超級開發者套件上體驗生成式 AI
NVIDIA 在 Jetson AI 實驗室中提供一系列教程和預構建容器，用于探索 Jetson Orin Nano 開發者套件中的生成式 AI。如果您對機器人感興趣，請務必查看 LeRobot 教程。對于希望創建生成式 AI 聊天機器人的用戶，我們提供了一個專門的教程來構建生成式 AI 聊天機器人。
Hugging Face 樂機器人?
NVIDIA 與 Hugging Face 合作 ，在 LeRobot 開放式 AI 平臺上加速機器人研究。您可以在 Jetson Orin Nano 超級開發者套件上運行 HuggingFace LeRobot，該套件運行生成式 AI 模型，用于根據視覺輸入和先前的軌跡預測特定任務的動作。
OLlama 的生成式 AI 驅動聊天機器人?
在 Jetson Orin Nano 超級開發者套件上運行生成式 AI 聊天機器人。此聊天機器人采用 Open WebUI 的 Ollama ，以 Open WebUI 的形式呈現，一個廣泛使用的開源聊天機器人服務器接口，可連接到本地運行的 LLM。它使用檢索增強生成 (RAG) 進一步增強用戶體驗和功能。
借助 Jetson AI 實驗室推進生成式 AI 發展?
Jetson AI Lab 是發現和試驗針對邊緣設備優化的最新生成式 AI 技術的中心。
通過營造公開協作和社區驅動的環境，NVIDIA 與開發者和合作伙伴攜手推進開源邊緣 AI 和機器人學習。我們全面支持 Jetson 設備上的熱門機器學習框架和優化的推理微服務，因此您可以在 Jetson 計算機上快速構建和部署最新的研究創新和模型，以跟上創新的步伐。
圖 7 顯示了 NanoOWL 開放詞匯實時物體檢測 ViT 示例。
圖 8 顯示了包含交互式 txt2img 和 img2img 相似性搜索的 NanoDB 多模態向量數據庫。
Jetson AI Lab 提供近 50 個易于學習的教程和預構建的容器，可幫助任何經驗水平的開發者快速開始使用設備上的 LLM、SLM 和多模態 VLM，以及 VLA、擴散策略和語音模型的變體。它們均在本地部署，并與云端使用的優化推理基礎架構相同。
Jetson AI Lab 的協作式社區驅動教程和資源 可顯著降低在邊緣部署高級生成式 AI 的門檻。
所有 Jetson Orin Nano 系列和 Jetson Orin NX 系列模組均可實現超強性能提升
NVIDIA 還更新了 Jetson Orin Nano 系列和 Jetson Orin NX 系列的性能。從小型 AI 攝像頭到大型自主機器，每臺邊緣設備都需要具備運行生成式 AI 模型所需的計算能力。
借助相同的模組硬件，您可以充分利用不同模組性能提升高達 1.7 倍的優勢。
- Orin Nano 系列： 改進 GPU、CPU 和內存的頻率和性能。
- Orin NX series： 跨 GPU 和 DLA 的改進。
有關提升 Jetson Orin Nano 和 Orin NX 生產模組性能的支持和文檔將于 1 月上半月發布，并支持 JetPack 6.1.1。
鑒于客戶對 Orin 的需求日益增長，NVIDIA 最近還宣布 將 Jetson Orin 的產品生命周期延長至 2032 年。憑借這種超強性能提升，Orin Nano 系列和 Orin NX 系列成為當前和未來模型的理想平臺。
立即啟動您的生成式 AI 開發者?
Jetson Orin Nano 超級開發者套件 是引領邊緣計算生成式 AI 開發的終極平臺。現在正是時候，您可以加入充滿活力且多元化的高級開發者和研究人員社區，與 NVIDIA 攜手合作，利用物理 AI 應對現實世界的挑戰。
對于現有的 Jetson Orin Nano 開發者套件用戶，請立即升級 JetPack SDK 以解鎖性能提升。
訂閱我們的 時事通訊 ，及時了解相關信息， 并在 LinkedIn、Instagram、X 和 Facebook 上關注 NVIDIA Robotics 。 如需了解更多信息 ， 請瀏覽我們的文檔 ，或通過我們的 開發者論壇 、Discord 和 YouTube 頻道加入 NVIDIA Robotics 社區 。
?
?
