Jetson – NVIDIA 技術博客

Jetson – NVIDIA 技術博客 http://www.open-lab.net/zh-cn/blog 閱讀開發者創建的最新技術信息、頭條新聞和內容。 Fri, 10 Jan 2025 08:51:46 +0000 zh-CN hourly 1 196178272 NVIDIA Cosmos World 基礎模型平臺助力物理 AI 進步 http://www.open-lab.net/zh-cn/blog/advancing-physical-ai-with-nvidia-cosmos-world-foundation-model-platform/ Thu, 09 Jan 2025 08:43:45 +0000 http://www.open-lab.net/zh-cn/blog/?p=12593 Continued]]> 隨著機器人和自動駕駛汽車的發展，加速物理 AI 的發展變得至關重要，而物理 AI 使自主機器能夠感知、理解并在現實世界中執行復雜的操作。這些系統的核心是世界基礎模型 (WFMs)，即通過物理感知視頻模擬物理狀態的 AI 模型，使機器能夠做出準確決策并與周圍環境無縫交互。 NVIDIA Cosmos 平臺可幫助開發者大規模為物理 AI 系統構建自定義世界模型。它為從數據管護、訓練到定制的每個開發階段提供開放世界基礎模型和工具。本文將介紹 Cosmos 及其加速物理 AI 開發的主要功能。Cosmos 是一種開源的 Python 庫，用于加速物理 AI 開發。構建物理 AI 極具挑戰性，需要精確的模擬以及真實世界的行為理解和預測。克服這些挑戰的一個關鍵工具是世界模型，該模型根據過去的觀察結果和當前的輸入結果預測未來的環境狀態。

]]>

12593

NVIDIA JetPack 6.1 通過攝像頭堆棧優化和固件 TPM 實現性能和安全性提升 http://www.open-lab.net/zh-cn/blog/nvidia-jetpack-6-1-boosts-performance-and-security-through-camera-stack-optimizations-and-introduction-of-firmware-tpm/ Thu, 21 Nov 2024 08:15:33 +0000 http://www.open-lab.net/zh-cn/blog/?p=12169 Continued]]> NVIDIA JetPack 不斷演進，為滿足邊緣 AI 和機器人開發者的不斷增長需求提供最新的軟件。每個版本中，JetPack 都會增強性能，引入新功能，并優化現有工具，為用戶提供更大的價值。這意味著，您現有的基于 Jetson Orin 的產品可以通過升級到最新版本的 JetPack 體驗到性能優化。 JetPack 6 于 2023 年第三季度發布，標志著這一進程中的一個重要里程碑。它引入了強大的功能，如自帶內核（Bring Your Own Kernel），提供了靈活性，可以引入任何 LTS Linux 內核，并擴展了對更廣泛的 Linux 發行版的支持，為不同的開發環境提供了更大的靈活性。它采用模塊化設計，無需升級 Jetson Linux ，即可輕松升級到最新的 JetPack 計算堆棧。伴隨這些進步，性能改進（包括增強的硬件加速）可確保…

]]>

12169

Llama 3.2 全棧優化釋放 NVIDIA GPU 的高性能 http://www.open-lab.net/zh-cn/blog/llama-3-2-full-stack-optimizations-unlock-high-performance-on-nvidia-gpus/ Tue, 19 Nov 2024 09:20:22 +0000 http://www.open-lab.net/zh-cn/blog/?p=12199 Continued]]> Meta 最近發布了 Llama 3.2 系列視覺語言模型（VLM），其中包含 11B 參數和 90B 參數變體。這些模型是多模態模型，支持文本和圖像輸入。此外，Meta 還推出了 Llama 3.2 的純文本小語言模型（SLM）變體，具有 1B 和 3B 參數。NVIDIA 已對 Llama 3.2 模型集合進行優化，以便在全球數百萬個 GPU 上提供出色的性能和經濟高效的服務 – 從我們功能強大的數據中心和云 GPU 到本地 NVIDIA RTX 工作站，甚至是使用 NVIDIA Jetson 的低功耗邊緣設備。 Llama 3.2 VLM 支持長達 128K 的文本標記，以及分辨率為 1120 x 1120 像素的單張圖像輸入。為了實現低延遲響應，提供出色的用戶體驗，同時提供高吞吐量以經濟高效地提供這些模型，NVIDIA 平臺在技術堆棧的每一層都進行了優化。

]]>

12199

利用腦機交互式神經調節和 NVIDIA Jetson 改善腦部疾病治療 http://www.open-lab.net/zh-cn/blog/treating-brain-disease-with-brain-machine-interactive-neuromodulation-and-nvidia-jetson/ Wed, 16 Oct 2024 07:00:50 +0000 http://www.open-lab.net/zh-cn/blog/?p=11730 Continued]]> Neuromodulation 是一種通過直接干預神經活動來增強或恢復大腦功能的技術。它常用于治療帕金森癥、癲癇和抑郁癥等病癥。從開環神經調節策略轉向閉環神經調節策略可以實現按需調制，在減少副作用的同時改善治療效果。這可能會顯著提高精準度和個性化的電子醫學。閉環神經調節策略在實時神經解碼和編碼方面面臨挑戰。機器學習算法和神經網絡被用來解釋與各種病理狀態相關的復雜神經活動。然而，我們需要精確的干預來恢復受疾病影響的神經功能。移動系統有助于研究處于自由移動和慢性治療條件下的患者。為了應對這些挑戰，研究人員開發了腦機交互式神經調節研究工具（Brain-Machine Interactive Neuromodulation Research Tool，BMINT）。該工具可感知神經活動，使用機器學習算法和神經網絡處理數據，并提供實時電刺激。它支持大腦和工具之間的雙向信息傳輸，

]]>

11730

Llama 3.2 加速部署從邊緣到云端實現提速 http://www.open-lab.net/zh-cn/blog/deploying-accelerated-llama-3-2-from-the-edge-to-the-cloud/ Wed, 25 Sep 2024 03:13:01 +0000 http://www.open-lab.net/zh-cn/blog/?p=11516 Continued]]> 擴展開源 Meta Llama 模型集合，Llama 3.2 集合包括視覺語言模型（VLM）、小語言模型（SLM）和更新版的 Llama Guard 模型，后者支持視覺功能。當與 NVIDIA 加速計算平臺配對使用時，Llama 3.2 為開發者、研究人員和企業提供了寶貴的新功能和優化，以實現其生成式 AI 應用案例。在 NVIDIA H100 Tensor Core GPU 上訓練的 SLM，尺寸為 1B 和 3B 的 SLM 非常適合部署在邊緣設備上的基于 Llama 的 AI 助手。尺寸為 11B 和 90B 的 VLM 支持文本和圖像輸入以及輸出文本。VLM 提供多模態支持，可幫助開發者構建需要視覺接地、推理和理解的強大應用程序。例如，他們可以構建用于圖像字幕、圖像文本檢索、視覺問答和文檔問答等的 AI 代理。Llama Guard 模型現在除了支持文本輸入之外，

]]>

11516

借助 ReMEmbR，生成式 AI 賦予機器人推理和行動能力 http://www.open-lab.net/zh-cn/blog/using-generative-ai-to-enable-robots-to-reason-and-act-with-remembr/ Mon, 23 Sep 2024 07:14:58 +0000 http://www.open-lab.net/zh-cn/blog/?p=11362 Continued]]> 視覺語言模型（VLM）通過將文本和圖像投影到同一嵌入空間，將基礎 LLM 的強大語言理解能力與視覺 Transformer （ViT）的視覺功能相結合。它們可以獲取非結構化多模態數據并對其進行推理，然后以結構化格式返回輸出。這些模型基于廣泛的預訓練基礎構建，可以通過提供新提示或參數高效微調輕松適應不同的視覺相關任務。它們還可以與實時數據源和工具集成，以便在不知道答案時請求獲取更多信息，或在知道答案時采取行動。LLMs 和 VLMs 可以充當代理，對數據進行推理，幫助機器人執行可能難以定義的有意義任務。在之前的文章“ 使用 NVIDIA Jetson 實現生成式 AI ”中，我們展示了您可以在 NVIDIA Jetson Orin 設備上運行 LLM 和 VLM，從而實現各種新功能，例如零樣本物體檢測、視頻字幕和在邊緣設備上生成文本。但是，

]]>

11362

AI 工具助力農民抗擊作物損失和氣候變化影響 http://www.open-lab.net/zh-cn/blog/ai-tool-helps-farmers-combat-crop-loss-and-climate-change/ Wed, 11 Sep 2024 08:05:35 +0000 http://www.open-lab.net/zh-cn/blog/?p=11281 Continued]]> 機器學習算法開始徹底改變現代農業，該技術使農民能夠實時抗擊病蟲害，提高作物產量和利潤，同時減少浪費、溫室氣體排放和殺蟲劑的使用。全球約 6% 的 CO2 排放量來自農業，每年高達 40% 的作物因病蟲害而損失。對于已經從事低利潤產業的農民而言，浪費在未使用的作物上的關鍵資源使得生存變得更加困難，更不用說蓬勃發展了。但是，初創公司 Fermata 推出的全新AI賦能平臺為農民提供了一種減輕蟲害和作物病害影響的方法，同時還提高了農業的可持續性和對工人的友好性。由 ML 提供支持的新型計算機視覺系統名為 Croptimus，全天候持續掃描作物。當該平臺檢測到作物病蟲害或作物病害的早期跡象時，會立即向農民發出警報，使他們能夠將資源用于受影響的作物，并將威脅保持在局部性。該平臺使用高質量數據進行訓練，使其計算機視覺軟件能夠準確區分健康作物和高風險作物，

]]>

11281

NVIDIA Blackwell 平臺在 MLPerf Inference v4.1 中創下新的 LLM 推理記錄 http://www.open-lab.net/zh-cn/blog/nvidia-blackwell-platform-sets-new-llm-inference-records-in-mlperf-inference-v4-1/ Wed, 28 Aug 2024 07:05:54 +0000 http://www.open-lab.net/zh-cn/blog/?p=11091 Continued]]> 大型語言模型 (LLM) 推理是一項全棧挑戰。實現高吞吐量、低延遲推理需要強大的 GPU、高帶寬 GPU 之間的互連、高效的加速庫和高度優化的推理引擎。 MLPerf Inference v4.1 是廣受認可的熱門 MLPerf Inference 基準測試的最新版本，由 MLCommons 聯盟開發。該基準測試包括許多熱門 AI 模型，涵蓋從 LLM 和生成式 AI 到推薦系統和計算機視覺的各種用例。這些基準測試會定期更新，以確保市場相關性。在這一輪中，NVIDIA 憑借整個 NVIDIA 技術堆棧的創新提交了許多出色的結果。亮點包括：本文將對這些結果進行詳細介紹。 NVIDIA Blackwell 架構在 NVIDIA GTC 2024 上推出，是一種新型 AI 超級芯片。它由 2080 億個晶體管精心制作而成，并采用專為 NVIDIA 定制的 TSMC…

]]>

11091

為邊緣開發生成式 AI 驅動的視覺 AI 代理 http://www.open-lab.net/zh-cn/blog/develop-generative-ai-powered-visual-ai-agents-for-the-edge/ Wed, 17 Jul 2024 05:04:23 +0000 http://www.open-lab.net/zh-cn/blog/?p=10648 Continued]]> AI 技術領域的一項令人興奮的突破是視覺語言模型（VLM），它為視頻分析提供了一種更動態、更靈活的方法。VLM 使用戶能夠使用自然語言與圖像和視頻輸入進行交互，使技術更具可訪問性和適應性。這些模型可以在 NVIDIA Jetson Orin 邊緣 AI 平臺上運行，也可以通過 NIM 在獨立的 GPU 上運行。本文將探討如何構建基于 VLM 的視覺 AI 代理，以便從邊緣到云端運行。視覺 AI 智能體由 VLM 提供支持，在其中您可以使用自然語言提出各種問題，并在錄制或直播視頻中獲得反映真實意圖和上下文的見解。這些智能體可以通過易于使用的 REST API 進行交互，并與其他服務甚至移動應用集成。新一代視覺 AI 智能體具有多種功能，包括總結場景、創建各種警報，以及使用自然語言從視頻中提取可行見解。 NVIDIA Metropolis 帶來了視覺 AI 代理工作流，

]]>

10648

使用 YOLOv8 和 NVIDIA JetPack 6.0 生成交通洞察 http://www.open-lab.net/zh-cn/blog/generate-traffic-insights-using-yolov8-and-nvidia-jetpack-6-0/ Tue, 18 Jun 2024 07:57:57 +0000 http://www.open-lab.net/zh-cn/blog/?p=10447 Continued]]> 智能交通系統（ITS）的應用在現代城市環境中變得越來越有價值和普遍。使用 ITS 應用程序的好處包括：重要的是，這些系統需要在邊緣處理信息，以獲得可靠的帶寬、隱私、實時分析等。這篇文章解釋了如何使用 NVIDIA JetPack 6.0 的新Jetson 平臺服務來實現邊緣的端到端流量分析解決方案，該系統包括使用NVIDIA JetPack 6.0的視頻存儲工具包（VST）服務的視頻攝取和存儲、使用 YOLOv8 和 DeepStream AI Perception 服務的實時物體檢測和車輛跟蹤，以及車輛運動的時空分析，一旦創建了管道，就使用 API 來生成分析。使用 Jetson 平臺服務和 NVIDIA Jetpack 構建和部署人工智能應用程序可提供以下好處：要了解最新 JetPack SDK 的更多功能信息，

]]>

10447

縮小模擬現實的差距： NVIDIA Isaac 實驗室的訓練點四肢運動 http://www.open-lab.net/zh-cn/blog/closing-the-sim-to-real-gap-training-spot-quadruped-locomotion-with-nvidia-isaac-lab/ Mon, 17 Jun 2024 08:48:05 +0000 http://www.open-lab.net/zh-cn/blog/?p=10467 Continued]]> 由于四足動物的運動策略涉及復雜的動力學，對機器人技術提出了重大挑戰。在現實世界中，訓練四足動物上下樓梯可能會損壞設備和環境。因此，模擬器在學習過程中的安全和時間約束方面都發揮著關鍵作用。利用深度強化學習（RL）在模擬環境中訓練機器人可以更有效、更安全地執行復雜任務然而，這種方法帶來了一個新的挑戰：如何確保這種在模擬中訓練的策略能夠無縫地轉移到現實世界換句話說，我們如何縮小模擬與現實的差距？要縮小模擬與真實的差距，需要一個高保真的、基于物理的訓練模擬器、一臺高性能的人工智能計算機（如NVIDIA Jetson）和一個具有關節級控制的機器人。強化學習研究員套件是與波士頓動力公司、NVIDIA和人工智能研究所合作開發的，它將這些功能結合在一起，實現了從虛擬世界到現實世界的四足動物無縫部署。這套件包括Spot 四足機器人的聯合控制 API，以控制機器人的移動方式，

]]>

10467

借助 NVIDIA JetPack 6.0 助力邊緣云原生微服務，現已正式發布 http://www.open-lab.net/zh-cn/blog/power-cloud-native-microservices-at-the-edge-with-nvidia-jetpack-6-0-now-ga/ Tue, 04 Jun 2024 07:34:51 +0000 http://www.open-lab.net/zh-cn/blog/?p=10204 Continued]]> NVIDIA JetPack SDK 為 NVIDIA Jetson 模組提供支持，為構建端到端加速的人工智能應用提供全面的解決方案。JetPack 6 通過微服務和一系列新功能擴展了 Jetson 平臺的靈活性和可擴展性。這是 JetPack 2024 年下載次數最多的版本。隨著 JetPack 6.0 正式發布，開發者可以滿懷信心地將這些新功能引入更先進的嵌入式 AI 和機器人應用。本文重點介紹了主要功能和新的 AI 工作流程。 JetPack 6 支持在 Jetson 上擴展一系列基于 Linux 的發行版。其中包括 Canonical 的 Ubuntu 服務器、Redhat 的 RHEL 9.4、SUSE、Wind River Linux、Redhawk Real Time OS 以及各種基于 Yocto 的發行版。這些基于 Linux 的發行版在 Jetson…

]]>

10204

使用新的 NVIDIA Isaac 基礎模型和工作流程創建、設計和部署機器人應用 http://www.open-lab.net/zh-cn/blog/create-design-and-deploy-robotics-applications-using-new-nvidia-isaac-foundation-models-and-workflows/ Sun, 02 Jun 2024 08:37:24 +0000 http://www.open-lab.net/zh-cn/blog/?p=10246 Continued]]> 機器人在智能制造設施、商業廚房、醫院、倉庫物流和農業領域等不同環境中的應用正在迅速擴展。該行業正在向智能自動化轉變，這需要增強的機器人功能來執行感知、地圖構建、導航、負載處理、物體抓取和復雜的裝配任務等功能。 AI 在這一變革中發揮著關鍵作用，提高了機器人的性能。通過集成 NVIDIA AI 加速，機器人可以更高的精度和效率處理復雜的任務，在各種應用中充分發揮自己的潛力。在 COMPUTEX，我們宣布了一些新功能，可幫助機器人專家和工程師構建智能機器人。這些功能包括： AMR 和 AGV 對于裝配線效率、物料搬運和醫療健康物流至關重要。隨著這些機器人在復雜和非結構化環境中導航，感知周圍環境并作出反應的能力變得至關重要。 Isaac Perceptor，基于 NVIDIA Isaac 機器人操作系統 (ROS)，助力原始設備制造商 (OEM)、貨運服務提供商、

]]>

10246

NVIDIA 在 ICRA 上展示了關于幾何織物、手術機器人等的新機器人研究 http://www.open-lab.net/zh-cn/blog/nvidia-presents-new-robotics-research-on-geometric-fabrics-surgical-robots-and-more-at-icra/ Wed, 15 May 2024 06:23:47 +0000 http://www.open-lab.net/zh-cn/blog/?p=9972 Continued]]> 在 IEEE 期間的國際機器人與自動化會議（ICRA）上，于 5 月 13 日至 17 日在日本橫濱舉行，幾何織物將是討論的熱門話題之一。該主題是委員會成員提交的七篇論文之一，由 NVIDIA 機器人研究實驗室及其合作者共同完成，并將在本周的 ICRA 上亮相。在機器人領域，經過訓練的策略本質上是近似的。他們通常會做正確的事情，但有時，他們移動機器人太快，與物體碰撞，或將機器人甩來甩去。無法保證會發生什么。因此，每當有人在物理機器人上部署經過訓練的策略，特別是強化學習訓練的策略時，他們都會使用一層低級控制器來攔截策略中的命令。然后，他們轉換這些命令，以滿足硬件的限制。當您在培訓 RL 策略時，請在培訓期間使用策略運行這些控制器。研究人員確定，他們的 GPU 加速 RL 訓練工具可以提供的一個獨特價值是對這些控制器進行矢量化，使其在訓練和部署期間都可用。

]]>

9972

基于 VILA 的 NVIDIA 硬件可視化語言模型 http://www.open-lab.net/zh-cn/blog/visual-language-models-on-nvidia-hardware-with-vila/ Fri, 03 May 2024 08:38:27 +0000 http://www.open-lab.net/zh-cn/blog/?p=9880 Continued]]> 視覺語言模型最近有了顯著的發展。然而，現有技術通常僅支持一個圖像。他們無法在多個圖像之間進行推理、支持上下文學習或理解視頻。此外，它們不會優化推理速度。我們開發了 VILA，一個具有整體預訓練、指令調整和部署管道的可視化語言模型，以幫助我們的 NVIDIA 客戶在其多模式產品中取得成功。VILA 在圖像 QA 基準和視頻 QA 基準上都實現了 state-of-the-art（SOTA）性能，具有強大的多圖像推理能力和上下文學習能力。此外，它還針對速度進行了優化。與其他 VLM 相比，它使用了 1/4 的令牌，并在不損失精度的情況下使用 4 位 AWQ 進行量化。VILA 有多種尺寸，從支持最高性能的 40B 到可部署在 NVIDIA Jetson Orin 等邊緣設備上的 3.5B 不等。我們設計了一個高效的訓練管道，僅用兩天時間就在 128 NVIDIA A100…

]]>

9880

人人超碰97caoporen国产