推出全球最小的 AI 超級計算機Jetson Xavier NX

今天 NVIDIA 發布了世界上最小、最先進的用于自主機器人和邊緣計算設備的嵌入式 AI 超級計算機 Jetson Xavier NX 。 Jetson Xavier NX 能夠在緊湊的 70x45mm 外形中部署服務器級性能，在 15W 的功率下可提供多達 21 臺計算機， MLPerf Inference 0.5 是基于 NVIDIA’s Xavier 引腳的 Jetson Nano 的最新計算結果，部署工作負載可能會受到限制，比如基于成本和性能的限制。

如圖 2 所示， Jetson Xavier NX 包括集成的 384 核 NVIDIA Volta GPU ， 48 個張量核， 6 核 NVIDIA Carmel ARMv8 . 2 64 位 CPU ， 8GB 128 位 LPDDR4x ，雙 NVIDIA 深度學習加速器（ NVDLA ）引擎， 4K 視頻編碼器和解碼器，專用攝像機攝取，最多 6 個同時高分辨率傳感器流， PCIe Gen 3 擴展、雙顯示端口/ HDMI 4K 顯示器、 USB 3 . 1 和 GPIO ，包括 SPI 、 I2C 、 I2S 、 CAN 總線和 UART 。有關特性列表，請參閱下表 1 ，有關完整規格，請參閱 Jetson Xavier NX 模塊數據表 。共享內存結構允許處理器自由地共享內存，而不會產生額外的內存拷貝（稱為零拷貝），這有效地提高了系統的帶寬利用率和吞吐量。

表 1 : Jetson Xavier NX 計算模塊特性和功能
* CPU 4 / 6 核模式下的最大工作頻率為 1400MHz ，雙核模式下的最大工作頻率為 1900MHz
?最大并發流數，達到總吞吐量。支持的視頻編解碼器： H . 265 、 H . 264 、 VP9
有關具體的編解碼器和配置文件規范，請參閱 Jetson Xavier NX 模塊數據表 。
???每通道 2 英鎊/ MIP ，總計 2 英鎊。
? PCIe 1 × 1 僅支持根端口， 1 × 1 / 2 / 4 支持根端口或端點模式
^工作溫度范圍， Xavier SoC 結溫（ Tj ）

Jetson Xavier NX 由 NVIDIA 完整的 CUDA -X 軟件棧和 JetPack SDK 開發包 為 AI 開發提供支持，除了實時計算機視覺外，還可以在多個高分辨率傳感器流上同時運行流行的機器學習框架和復雜的 DNN ，在全桌面 Linux 環境中加速圖形和豐富的多媒體應用程序。 Jetson 與 NVIDIA 的 AI 加速計算平臺的兼容性使得開發更加容易，云和 edge 之間的 MIG 無縫匹配。

設計抵押品 Jetson Xavier NX 設計指南 NX 模塊將于 2020 年 3 月面市，售價 399 美元，嵌入式設計師可以參考可供下載的 Jetson ，包括 Xavier ，為 Jetson Xavier NX 模塊創建生產設備和系統。與 Jetson Nano 的引腳兼容性允許共享設計和直接的技術插入升級到 Jetson Xavier NX 。除了提供現成的載體、傳感器和配件外， Jetson 生態系統 的硬件設計合作伙伴還能夠提供定制設計服務和系統集成。

軟件開發人員現在可以開始為 Jetson Xavier NX 構建人工智能應用程序，方法是使用 Jetson AGX Xavier 開發工具包，并將 設備配置修補程序 應用到 JetPack 上，使設備的行為類似于 Jetson Xavier NX 。通過軟件，它將改變可用的 CPU 和 GPU 核心的數量，此外還可以設置整個系統的核心時鐘頻率和電壓。該補丁是完全可逆的，可用于在硬件可用之前近似于 Jetson Xavier NX 的性能。

Jetson Xavier NX 定義了 10 和 15W 的默認電源模式，根據活動模式，可實現 14 到 21 個峰值性能。用于管理電源配置文件的 nvpmodel 工具可調整 CPU 、 GPU 、內存控制器和其他 SoC 時鐘的最大時鐘頻率，以及在線 CPU 集群的數量 – 這些設置如表 2 所示，適用于 Jetson Xavier NX 的預定義 10W 和 15W 模式。 CPU 分為三組，每組 2 個核， 4 / 6 核模式下的最大工作頻率為 1400MHz ，雙核模式下的最高工作頻率為 1900MHz ，對于可能需要更高單線程性能和多線程性能的應用而言，最高工作頻率為 1900MHz 。

表 2 : Jetson Xavier NX 10W 和 15W 電源模式的最大工作頻率和核心配置。
*使用 NVDLA 時， GPU 最大工作頻率為 600MHz （ 10W 模式）和 1000MHz （ 15W 模式）

根據工作負載，動態電壓和頻率縮放（ DVFS ）調控器在運行時將頻率調整到活動 nvpmodel 所定義的最大限制，因此在空閑時根據處理器利用率降低功耗。 nvpmodel 工具還可以根據應用需求和 TDP 輕松創建和定制新的電源模式。可以編輯電源配置文件并將其添加到/ etc / NVP 模式. conf 配置文件和一個 GUI 小部件被添加到 Ubuntu 狀態欄中，以便在運行時方便地管理和切換電源模式。

深度學習推斷基準

今天 NVIDIA 還宣布，它在 MLPerf 推斷 0 . 5 基準測試中占據了 5 個類別中的 4 個類別的榜首，其中 Jetson AGX Xavier 是邊緣計算 SoC 的領導者，包括所有基于視覺的任務：使用 Mobilenet 和 ResNet-50 進行圖像分類，以及使用 SSD Mobilenet 和 SSD ResNet 進行目標檢測。 NVIDIA GPUs 是十個競爭芯片架構中唯一一個在 MLPerf 定義的所有五個推斷測試中提交結果的。

為了參考 Jetson 家族成員之間的可伸縮性，我們還測量了 Jetson Nano 、 Jetson TX2 、 Jetson Xavier NX 和 Jetson AGX Xavier 對圖像分類、目標檢測、位姿估計、分割等常用 DNN 模型的推理性能。這些結果，如下面的圖 3 所示，是用 JetPack 和 NVIDIA 的 TensorRT 推斷加速器庫運行的，該庫優化了網絡的實時性能，該庫是在流行的 ML 框架（如 TensorFlow 、 PyTorch 、 Caffe 、 MXNet 等）中訓練出來的。

Jetson Xavier NX 的性能比 Jetson TX2 高 10 倍，功耗相同，占地面積小 25% 。在這些基準測試期間，每個平臺都以最高性能運行（ MAX-N 模式用于 Jetson AGX Xavier ， Xavier NX 和 TX2 為 15W ， Nano 為 10W ）。最大吞吐量是在批處理大小不超過 16ms 的延遲閾值的情況下獲得的，否則，對于平臺超過該延遲閾值的網絡，批處理大小為 1 。這種方法在實時應用程序的確定性低延遲需求和多流用例場景的最大性能之間提供了平衡。

在 Xavier Jetson NX 和 Jetson AGX Xavier 上， NVDLA 引擎和 GPU 同時以 INT8 精度運行，而在 Jetson Nano 和 Jetson TX2 上 GPU 以 FP16 精度運行， Jetson Xavier NX 中具有張量核心的 Volta 架構 GPU 可以達到 12 . 3 個計算頂層，而該模塊的 DLA 引擎每臺最多可產生 4 . 5 臺。

除了用 TensorRT 運行神經網絡外， ML 框架還可以通過 cuDNN 和 CUDA 加速在 Jetson 上安裝，包括 TensorFlow 、 PyTorch 、 Caffe / Caffe2 、 MXNet 、 Keras 等。除了 AWS Greengrass 等物聯網框架和 Docker 和 Kubernetes 等容器引擎外， Jetson 動物園 還包括這些預構建的安裝程序和構建說明。

開發突破性的人工智能產品

Jetson Xavier NX 為部署下一代自主系統和智能邊緣設備開辟了新的機遇，這些設備需要在較小、低功耗的空間內實現高性能人工智能和復雜的 DNN ，比如移動機器人、無人機、智能相機、便攜式醫療設備、嵌入式物聯網系統等等。 NVIDIA 支持 CUDA -X 的 JetPack SDK 提供了開發尖端 AI 解決方案的完整工具，并以世界領先的性能在云端和邊緣之間擴展應用程序。

現在就開始使用可用的 設計文件 和 JetPack 補丁 ，將 Jetson AGX Xavier 開發工具包配置為 Jetson Xavier NX 。我們期待看到你創造的！有關信息和支持，請訪問 NVIDIA 嵌入式開發人員 站點和 DevTalk 論壇 以獲得社區專家的幫助。

?