人工智能驅動的機器人和其他自動機器的開發和部署速度繼續快速增長。下一代應用程序需要大幅提高 AI 計算性能，以實時處理并發運行的多模式 AI 應用程序。
在零售空間、食品配送、醫院、倉庫、工廠地板和其他商業應用中，人機交互越來越多。這些自主機器人必須同時執行 3D 感知、自然語言理解、路徑規劃、避障、姿勢估計，以及許多其他操作，這些操作需要顯著的計算性能和高精度的訓練神經模型。
NVIDIA Jetson AGX ORIN 模塊是 NVIDIA Jetson 家族中表現最高和最新成員。這些模塊提供了卓越的性能和一流的能效。他們運行全面的 NVIDIA 人工智能軟件棧，為下一代要求苛刻的邊緣人工智能應用提供動力。
Jetson AGX-Orin 和 Jetson Orin-NX 系列
在 GTC 2022 年春季 ，我們宣布四個 Jetson Orin 模塊將于 2022 年第 4 季度上市。 Jetson Orin 模塊的性能達到每秒 275 tera 的運算量（ TOPS ），可以在邊緣運行服務器級人工智能模型，并實現端到端的應用程序管道加速。與 Jetson Xavier 模塊相比， Jetson Orin 為現代人工智能應用帶來了更高的性能、能效和推理能力。
| JETSON AGX XAVIER 64GB | ? | JETSON AGX ORIN 64GB |
| 32 DENSE INT8 TOPS | ? | 275 SPARSE|138 DENSE, INT8 TOPS |
| 10W to 30W | ? | 15W to 60W |
| $1,299 (1KU+) | ? | $1,599 (1KU+) |
| JETSON AGX XAVIER 32GB | ? | JETSON AGX ORIN 32GB |
| 32 DENSE INT8 TOPS | ? | 200 SPARSE|100 DENSE, INT8 TOPS |
| 10W to 30W | ? | 15W to 40W |
| $899 (1KU+) | ? | $899 (1KU+) |
| JETSON XAVIER NX 16GB | ? | JETSON ORIN NX 16GB |
| 21 DENSE INT8 TOPS | ? | 100 SPARSE|50 DENSE, INT8 TOPS |
| 10W to 20W | ? | 10W to 25W |
| $499 (1KU+) | ? | $599 (1KU+) |
| JETSON XAVIER NX 8GB | ? | JETSON ORIN NX 8GB |
| 21 DENSE INT8 TOPS | ? | 70 SPARSE|35 DENSE, INT8 TOPS |
| 10W to 20W | ? | 10W to 20W |
| $399 (1KU+) | ? | $399 (1KU+) |
Jetson AGX Orin 系列包括 Jetson AGX Orin 64GB 和 Jetson AGX Orin 32GB 模塊。
- Jetson AGX Orin 64GB 可提供多達 275 個頂部，功率可在 15W 和 60W 之間配置。
- Jetson AGX Orin 32GB 可提供多達 200 個頂部，功率可在 15W 至 40W 之間配置。
這些模塊具有相同的緊湊外形，并且與 Jetson AGX Xavier 系列模塊引腳兼容，為您提供 8 倍的性能升級，或者以相同的價格提供高達 6 倍的性能。
Edge 和嵌入式系統繼續受到傳感器數量、性能和帶寬不斷增加的驅動。 Jetson AGX Orin 系列不僅為處理這些傳感器帶來了額外的計算，還帶來了額外的 I / O ：
- PCIe Gen4 最多 22 個通道
- 四個 10Gb 以太網
- 高速 CSI 車道
- 使用 64GB eMMC 5.1 將存儲空間翻倍
- 1.5 倍的內存帶寬
有關更多信息，請參閱 Jetson Orin?產品頁面和 Jetson AGX Orin 系列數據表 .
USB 3.2 、 UFS 、 MGBE 和 PCIe 共享 UPHY 通道。有關支持的 UPHY 配置，請參閱 Design Guide 。
NVIDIA ORIN NX 系列包括 Jetson ORIN NX16GB ，最多有 100 個 AI 性能的頂部，和 Jetson 奧林 NX 8GB ，最多 70 個頂部。在本系列中，我們遵循了與 Jetson Xavier NX 類似的設計理念。我們帶來了NVIDIA ORIN 架構，并將其帶到最小的 Jetson 形狀因子， 260 引腳 SODIMM ，具有更低的功耗。
您可以為下一代小型產品（如無人機和手持設備）帶來更高級別的性能。 Jetson Orin NX 16GB 的功率可配置為 10W 至 25W ，而 Jetson Orin NX 8GB 的功率可配置為 10W 至 20W 。
Orin NX 系列的外形與 Jetson Xavier NX 系列兼容，性能最高可達 5 倍，或在同等價格下性能最高可達 3 倍。 Orin NX 系列還提供了額外的高速 I / O 功能，最多七個 PCIe 通道和三個 10Gbps USB 3.2 接口。對于存儲，您可以利用額外的 PCIe 通道連接到外部 NVMe 。有關更多信息，請參閱 Jetson Orin?產品頁面。
Jetson Agx Xavier 是圍繞NVIDIA Xavier SOC 設計的，我們的第一個架構是從地面上開發的用于自主機器的。NVIDIA ORIN 架構將這一類產品推向下一個層次。它繼續展示多個不同的片上處理器，但帶來了更大的容量、更高的性能和更高的能效。
Jetson Orin 模塊包含以下內容：
- 一種 NVIDIA 安培體系結構 GPU ，具有多達 2048 個 CUDA 芯和多達 64 個張量芯
- 最多 12 個臂 A78AE CPU 芯
- 兩款新一代深度學習加速器（ DLA ）
- 計算機視覺加速器
- 用于卸載 GPU 和 CPU 的各種其他處理器：
- 視頻編碼器
- 視頻解碼器
- 視頻圖像合成器
- 圖像信號處理器
- 傳感器處理引擎
- 音頻處理引擎
與其他 Jetson 模塊一樣， Jetson Orin 使用模塊上系統（ SOM ）設計構建。所有處理、內存和電源導軌都包含在模塊中。所有高速 I / O 均可通過 699 針連接器（ Jetson AGX-Orin 系列）或 260 針 SODIMM 連接器（ Jetson Orin-NX 系列）獲得。這種 SOM 設計使您能夠輕松地將模塊集成到系統設計中。
Jetson AGX Orin 開發套件
在 GTC 2022 年 NVIDIA 還宣布了 Jetson AGX Orin 開發套件?.開發者工具包包含快速啟動和運行所需的一切。它包括一個性能最高的 Jetson AGX Orin 模塊，并運行世界上最先進的深度學習軟件堆棧。該套件提供了靈活性，可以在現在和將來創建復雜的人工智能解決方案。
緊湊的尺寸、高速的接口和大量的連接器使這款開發工具包非常適合制造、物流、零售、服務、農業、智能城市、醫療保健、生命科學等領域的先進人工智能機器人和邊緣應用的原型制作。
Jetson AGX Orin Developer Kit features :
- NVIDIA 安培體系結構 GPU 和 12 核 Arm Cortex-A78AE 64 位 CPU ，以及下一代深度學習和視覺加速器
- 高速 I / O 、 204.8 GB / s 的內存帶寬和 32 GB 的 DRAM ，能夠為多個并發 AI 應用程序管道提供支持
- 功能強大的 NVIDIA AI 軟件堆棧，支持 SDK 和軟件平臺，包括：
- NVIDIA JetPack
- NVIDIA Riva
- NVIDIA DeepStream
- NVIDIA Isaac
- NVIDIA TAO
Jetson AGX Orin 開發者工具包運行最新的 NVIDIA JetPack 5.0 軟件。 NVIDIA JetPack 5.0 支持使用 Jetson AGX-Orin 開發工具包模擬 Jetson Orin NX 和 Jetson AGX-Orin 系列模塊的性能和時鐘頻率。現在，您可以啟動這些模塊的開發。
Jetson AGX Orin 開發者工具包可通過 NVIDIA 全球授權經銷商購買。按照 Getting Started 指南從今天開始。
| ? | Developer Kit | AGX Orin 64GB | AGX Orin 32GB |
| AI Performance | 275 INT8 Sparse TOPs | 200 INT8 Sparse TOPs | |
| GPU | 2048-core NVIDIA Ampere Architecture GPU with 64 Tensor Cores |
1792-core NVIDIA Ampere Architecture GPU with 56 Tensor Cores | |
| CPU | 12-core Arm Cortex-A78AE v8.2 64-bit CPU 3MB L2 + 6MB L3 |
8-core Arm Cortex-A78AE v8.2 64-bit CPU 2MB L2 + 4MB L3 |
|
| Power | 15W-60W | 15W-40W | |
| Memory | 32 GB | 64 GB | 32GB |
| MSRP | $1,999 | $1,599 | $899 |
表 2 。 Jetson AGX Orin 系列模塊和開發工具包的概要比較
最佳表現
Jetson Orin 為您的下一代應用程序提供了巨大的飛躍。使用 Jetson AGX Orin Developer Kit ，我們為計算機視覺和對話人工智能的高精度、生產就緒、預訓練模型獲取了測量性能的幾何平均值。測試包括以下基準：
- NVIDIA PeopleNet 用于人員檢測
- NVIDIA ActionRecognitionNet 二維和三維模型
- NVIDIA LPRNet 用于車牌識別
- NVIDIA DashcamNet ， BodyPoseNet 用于多人人體姿勢估計
- Citrinet-1024 用于語音識別
- BERT-base?用于自然語言處理
- FastPitchHifiGanE2E 用于文本到語音
與 NVIDIA JetPack5 開發者預覽， Jetson AGX ORIN 顯示 3.3X 性能提高相比 Jetson AGX 沙維爾。隨著未來軟件的改進，我們預計這將使性能提高 5 倍。 Jetson AGX Xavier 性能比第一個支持它的軟件版本 NVIDIA JetPack 4.1.1 開發者預覽版提高了 1.5 倍。
這些基準測試已經在我們的 Jetson AGX Orin 開發工具包上運行。 PeopleNet 和 DashcamNet 提供了可在 GPU 和兩個 DLA 上同時運行的密集模型示例。 DLA 可用于從 GPU 卸載一些人工智能應用程序，這種并行功能使它們能夠并行運行。
PeopleNet 、 LPRNet 、 DashcamNet 和 BodyPosNet 提供了在 Jetson 上運行的密集 INT8 基準測試的示例。 ActionRecognitionNet 2D 和 3D 以及對話 AI 基準測試提供了密集 FP16 性能的示例。所有這些型號都可以在 NVIDIA NGC 上找到。
此外， Jetson Orin 繼續提高 AI 在邊緣的門檻，增加了NVIDIA 整體在 最新的 MLPerf 行業推理基準的排名。與 Jetson AGX Xavier之前的結果相比， Jetson AGX Orin在這些MLPerf基準上提供了高達5倍的性能提升，同時提供了平均2倍的能效。
使用 Jetson 軟件加快上市時間
Jetson Orin 的一流性能和能效得到了部署在 GPU 加速數據中心、超大規模服務器和功能強大的 AI 工作站上的同樣強大的 NVIDIA AI 軟件的支持。
NVIDIA JetPack 是 Jetson 平臺的基礎 SDK 。 NVIDIA JetPack 為硬件加速的人工智能邊緣開發提供了完整的開發環境。 Jetson Orin 由 NVIDIA JetPack 5.0 支持，包括以下內容：
- LTS 內核 5.10
- 基于 Ubuntu 20.04 的根文件系統
- 基于 UEFI 的引導加載程序
- CUDA 11.4 、 TensorRT 8.4 和 cuDNN 8.3 的最新計算堆棧
NVIDIA JetPack 5.0 還支持 Jetson Xavier 模塊。
為了讓您在 Jetson 平臺上快速開發完全加速的應用程序， NVIDIA 為各種用例提供了應用程序框架：
- 使用 DeepStream ，快速開發和部署 vision AI 應用程序和服務。 DeepStream 提供了超乎想象的硬件加速，因為它提供了用于端到端人工智能管道加速的硬件加速插件。
- NVIDIA Isaac 提供硬件加速的 ROS 包，使 ROS 開發者更容易構建高性能機器人解決方案。
- NVIDIA Isaac Sim 由 Omniverse 提供動力，是一種工具，可為照片逼真、物理精確的虛擬環境提供動力，以開發、測試和管理基于人工智能的機器人。
- NVIDIA Riva 為自動語音識別（ ASR ）和文本到語音（ TTS ）提供了最先進的預訓練模型，可輕松定制。這些模型使您能夠快速開發 GPU 加速的對話 AI 應用程序。
為了加快開發生產就緒且高度精確的人工智能模型的時間， NVIDIA 提供了各種工具來生成培訓數據、培訓和優化模型，并快速創建可部署的人工智能模型。
這個 NVIDIA Omniverse 復制器 for 合成數據生成有助于創建高質量的數據集，以促進模型訓練。使用 Omniverse Replicator ，您可以創建大型、多樣的合成數據集，這不僅很難，而且有時在現實世界中是不可能創建的。使用合成數據和真實數據來訓練模型，可以顯著提高模型精度。
NVIDIA 預訓練模型 NGC 為您提供了適用于各種用例的高度精確和優化的模型和模型體系結構。經過預訓練的模型已經可以生產了。通過使用自己的真實或合成數據進行訓練，使用 NVIDIA TAO （訓練適應優化）工作流快速構建準確且隨時可部署的模型，您可以進一步定制這些模型。
觀看這些 NVIDIA 技術在 Jetson AGX Orin 上的機器人用例。
視頻 1 。 NVIDIA Jetson AGX Orin ：下一代機器人的下一級人工智能性能
在本入門視頻中了解 Jetson AGX Orin 開發者工具包中的所有內容：
視頻 2 。 Jetson AGX Orin 開發者工具包入門
有關 NVIDIA 技術的更多信息，我們將在NVIDIA Jetson ORIN 模塊中，觀看 Jetson 軟件網絡研討會 .
開創自主機器和機器人技術的新時代
通過下訂單開始開發所有四個 Jetson Orin 模塊 Jetson AGX Orin 開發套件 下載 NVIDIA JetPack 5.0 SDK 。 Jetson AGX Orin 的其他文檔可在 download center 上找到。有關信息和支持，請訪問 NVIDIA 嵌入式開發者 頁面和 論壇 獲取社區專家的幫助。
