使用 NVIDIA Jetson-Xavier NX 開發工具包，為邊緣人工智能設備帶來原始云般的靈活性

今天， NVIDIA 發布了基于 Jetson Xavier NX 模塊的 NVIDIA Jetson Xavier NX 開發工具包 。 Jetson Xavier NX 以低于 15W 的功率，以緊湊的外形提供多達 21 臺計算之巔，為邊緣 AI 設備和自主機器帶來服務器級性能和云原生工作流。

借助 Jetson Xavier NX 開發者工具包，您可以創建令人驚嘆的人工智能驅動應用程序，并快速將深度神經網絡（ DNN ）模型和流行的機器學習框架部署到該領域。 NVIDIA JetPack 4 . 4 開發者預覽版 的初始軟件支持包括 CUDA Toolkit 10 . 2 和 cuDNN 8 . 0 、 TensorRT 7 . 1 和 DeepStream 5 . 0 的預覽版，以及用于機器學習的新 Docker 容器和預訓練的 DNN 模型。

Jetson Xavier NX 基于 NVIDIA 開創性的 Xavier SoC ，可以并行運行多個復雜模型和多個高清傳感器流。它包括以下功能：

• 具有 48 色張量的集成 NVIDIA volta384 核 Volta GPU
• 兩個 NVIDIA 深度學習加速器引擎
• 七路 VLIW 視覺加速器
• 六核 NVIDIA Carmel 64 位 ARMv8 . 2 CPU
• 8-GB 128-bit LPDR4x

為了進一步簡化邊緣人工智能應用程序在生產環境中的部署， 預訓練模型 將云原生技術引入 Jetson ，包括基于 Docker 的集裝箱化，以及 Kubernetes 等硬件傳遞和編排服務，以及 NVIDIA NGC 注冊表提供的 預訓練模型 和 NVIDIA 。

Jetson Xavier NX 開發工具包

Jetson Xavier NX 開發工具包捆綁了一個開源的 參考載體板 和預裝配的散熱片/風扇，如圖 2 所示，包括 19V 電源和基于 M.2 的 802.11 WLAN + BT 模塊。除了可引導 microSD 卡插槽外，在載體底部還提供了一個 M . 2 Key-M NVMe 插槽，用于擴展高速存儲。

因為 Xavier NX 模塊向后兼容 Jetson Nano （ B01 ），它們的載體板有一些共同點 – 還包括雙 MIPI CSI 攝像頭連接器，以及四個 USB 3.1 端口、 HDMI 、 DisplayPort 、千兆以太網和一個 40 針 GPIO 頭。

套件載體板的主要特性和接口如表 1 所示。有關 Jetson Xavier NX 計算模塊的核心處理能力和規格的更多信息，請參閱 介紹世界上最小的人工智能超級計算機 Jetson Xavier NX post 和 Jetson Xavier NX 模塊數據表 。

Jetson Xavier NX 開發包售價為 399 美元。要訪問 Jetson Xavier NX 技術文檔、參考設計文件和軟件，請參閱 Jetson 下載中心 。

Jetpack4 . 4 開發者預覽版

NVIDIA JetPack SDK 包含在Jetson上構建AI應用程序的庫、工具和核心操作系統。Jetpack4.4開發者預覽版增加了對JetsonXavierNX的支持。它包括CUDA Toolkit 10.2以及cuDNN 8.0、TensorRT 7.1、DeepStream 5.0的預覽版，以及用于部署云原生服務的NVIDIA容器運行時，以及表2中所示的其他組件。 為流行的機器學習框架（如TensorFlow和Pythorch）預構建的包安裝程序也可以在 Jetson ZOO 獲取 , 還有 NGC 上 JetPack 的新框架容器

為 Jetson Xavier NX 、 Jetson AGX Xavier 、 Jetson TX1 / TX2 和 Jetson Nano 下載 Jetpack4 . 4 開發者預覽版 。在收到新的 Jetson Xavier NX 開發工具包后，請按照 入門 指南中的說明，使用 JetPack 映像閃存 microSD 卡。

這個開發者預覽版可以用來安裝和運行 Jetson Xavier NX 開發者工具包并開始應用程序開發，而生產 Jetpack4 . 4SDK 計劃在今年夏天晚些時候發布。安裝 JetPack 之后，您可以跟隨一些 AI 驅動的 Jetson 社區項目 。

深度學習推斷基準

Jetson 可用于將廣泛流行的 DNN 模型和 ML 框架部署到邊緣，并具有高性能的推斷，用于實時分類和目標檢測、姿勢估計、語義分割和自然語言處理（ NLP ）等任務。

JetPack SDK 和 NVIDIA CUDA -X 對 Jetson 和 NVIDIA 離散的 GPU 的共同支持意味著您可以輕松地將性能和尺寸、重量和功耗（交換）消耗降低到 5W ，而無需重新編寫應用程序。圖 3 顯示了 Jetson Nano 上流行的視覺 DNN 的推斷基準， Jetson TX2 、 Jetson Xavier NX 和 Jetson AGX Xavier 以及 Jetpack4 . 4 開發者預覽版和 TensorRT 7 . 1 。這些結果可以通過從 GitHub 運行開放的 jetson_benchmarks 項目來復制。

在 Jetson Xavier NX 和 Jetson AGX Xavier 上， NVIDIA 深度學習加速器（ NVDLA ）發動機和 GPU 同時以 INT8 精度運行，而在 Jetson Nano 和 Jetson TX2 上， GPU 以 FP16 精度運行。 Jetson Xavier NX 的性能比 Jetson TX2 高 10 倍，功耗相同，占地面積小 25% 。

在這些基準測試期間，每個平臺都以最高性能運行（ MAX-N 模式用于 Jetson AGX Xavier ， Xavier NX 和 TX2 為 15W ， Nano 為 10W ）。這些基于視覺的任務的最大吞吐量是在批大小不超過 15ms 的延遲閾值的情況下獲得的。 – 否則，對于平臺超過此延遲閾值的網絡，批處理大小為 1 。這種方法在實時應用程序的確定性低延遲需求和多流用例場景的最大性能之間提供了平衡。

我們還為 BERT 提供問題回答方面的基準測試結果。 BERT 是一種多功能架構，在多個 NLP 任務（包括 QA 、意圖分類、情感分析、翻譯、名稱/實體識別、釋義、推薦系統、自動完成）中得到了廣泛的應用，還有更多。

TensorRT 傳統上過于復雜，無法在本地部署機載邊緣設備，尤其是 BERT 大型變體。然而，在 BERT 中包含 BERT 的張量核心優化后， BERT 可以很容易地在 Jetson Xavier NX 和 Jetson AGX Xavier 上運行。

將 BERT 部署到邊緣對于低延遲、智能人機交互（ HMI ）和會話式人工智能非常有用，正如本文后面的多容器演示的 chatbot 部分一樣，它也在本地執行自動語音識別（ ASR ），而不依賴云連接。

圖 4 顯示了 BERT Base 和 BERT Large 在回答問題時的運行時性能，使用了 NLP 任務的 50ms 延遲閾值。這些結果是以每秒的順序來衡量的，其中每一個文本序列都是 BERT 回答的一個查詢或問題。 BERT 在 Jetson 上的性能為用戶提供了近乎即時的反饋，延遲低至 5 . 9ms ，這使得 BERT 處理可以與視頻等其他實時處理流同時執行。

將云計算原生方法帶到邊緣

到目前為止，嵌入式和邊緣設備的軟件都是以單片系統的形式編寫的。升級單片軟件映像的復雜性增加了 bug 的風險，并使更新的節奏難以加快。對于具有人工智能的邊緣設備來說，這一點尤其有問題，它需要頻繁更新以維持快速的能力改進。現代對敏捷能力和零停機時間持續創新的期望要求改變嵌入式和邊緣設備軟件的開發和部署方式。

在邊緣采用云本地的范例，如微服務、容器化和容器編排是前進的方向。

微服務架構、容器化和編排使云應用程序能夠擺脫單一工作流的約束。現在， Jetson 正在將云原生轉換思想引入 AI 邊緣設備。

Jetson 是領先的人工智能邊緣計算平臺，擁有近 50 萬開發者。它由 JetPack SDK 提供支持，該 SDK 具有與世界各地數據中心和工作站相同的 CUDA -X 加速計算堆棧和 NVIDIA 容器運行時。

通過 Jetson 的幾個開發和部署容器、容器化框架和托管在 NVIDIA NGC 上的預先訓練的 AI 模型，它可以作為 AI 應用程序開發的構建塊。最新的 Jetson Xavier NX 以盡可能小的外形尺寸實現全功能、多模式人工智能應用。

我們歡迎使用云本地技術，使客戶具有擴展業務所需的生命周期靈活性。可擴展軟件開發加快了上市時間。為什么？因為當您不必同時更新其他應用程序組件時，更新產品生命周期的過程會變得不那么繁重。

多容器演示

Jetson Xavier NX 的 NVIDIA 多容器演示 展示了使用云本地方法開發和部署服務機器人 AI 應用程序的過程。服務機器人是一種自主機器人，通常與零售、酒店、醫療保健或倉庫中的人互動。

考慮一個服務機器人，它的目的是通過與購物者交互來改善零售百貨公司的客戶服務。機器人只有在能夠執行包括人體識別、交互檢測、人體姿態檢測、語音檢測和自然語言處理在內的許多計算任務時，才能為客戶的查詢提供有用的答案。機器人必須運行支持這些功能所需的多個人工智能模型。

有了云原生方法，人工智能模型可以獨立開發，包含所有依賴項的容器化，并部署到任何 Jetson 設備上。

該演示程序在 Jetson Xavier NX 上同時運行四個容器，具有七個深度學習模型，包括姿勢估計、面部和凝視檢測、人物計數、語音識別和 BERT 問答。結果是，這些服務構建塊容器可以輕松地修改和重新部署，而不會造成中斷，從而提供零停機時間和無縫更新體驗。

在沒有犧牲所有數據流的計算能力的情況下，[zd-9]提供了一個傳感器的計算能力。您可以使用 NGC 上托管的容器從 NVIDIA-AI-IOT/jetson-cloudnative-demo GitHub repo 下載演示。

在邊緣計算領域實現下一個飛躍

計算性能、緊湊、省電的外形和全面的軟件支持使 Jetson Xavier NX Developer Kit 成為創建高級 AI 驅動應用程序并部署到邊緣的理想平臺。

今天就開始使用 ordering 您的 devkit ，安裝 JetPack SDK 開發包 ，并跟隨一些令人興奮的 Jetson 社區項目 和 Jetson Developer Forums 線程。

我們將在 NVIDIA GTC Digital 期間舉辦一系列網絡研討會，主題是 NVIDIA Xavier NX ，現場問答：

• 請在太平洋標準時間 5 月 20 日星期三上午 11 : 30 注冊 深入研究新的 Jetson Xavier NX 開發工具包 。
• 請在太平洋標準時間 5 月 26 日星期二上午 10 點學習 如何使用云容器為 Jetson 開發 。

關于作者

關于達斯汀·富蘭克林
達斯汀是 NVIDIA 的 Jetson 團隊的開發人員布道者。 Dustin 擁有機器人和嵌入式系統方面的背景，他樂于在社區中提供幫助，并與 Jetson 一起參與項目。你可以在 NVIDIA Developer Forums 或 GitHub 上找到他。

查看 Dustin Franklin 的所有帖子

關于 Suhas Hariharapura Sheshadri
Suhas Sheshadri 是 NVIDIA 的產品經理，專注于 Jetson 軟件。此前，他曾在 NVIDIA 與自主駕駛團隊合作，為 NVIDIA 驅動平臺優化系統軟件。在業余時間，蘇哈斯喜歡讀量子物理學和博弈論方面的書籍。

查看 Suhas Hariharapura Sheshadri 的所有帖子

關于莎拉·托德
Sarah Todd 是 NVIDIA 嵌入式團隊的營銷經理。 Sarah 對推動人工智能應用程序實現真正的解決方案非常感興趣，她負責邊緣技術的營銷，包括與 Jetson 平臺相關的軟件和硬件、自主機器和 NVIDIA 機器人技術。

查看 SarahTodd 的所有帖子