AI / Deep Learning – NVIDIA 技術博客

AI / Deep Learning – NVIDIA 技術博客 http://www.open-lab.net/zh-cn/blog 閱讀開發者創建的最新技術信息、頭條新聞和內容。 Thu, 09 Feb 2023 05:44:42 +0000 zh-CN hourly 1 196178272 基于 NVIDIA 的 PC 的端到端 AI ： ONNX Runtime 中的 CUDA 和 TensorRT 執行提供程序 http://www.open-lab.net/zh-cn/blog/end-to-end-ai-for-nvidia-based-pcs-cuda-and-tensorrt-execution-providers-in-onnx-runtime/ Wed, 08 Feb 2023 05:42:07 +0000 http://www.open-lab.net/zh-cn/blog/?p=6244 Continued]]> 這篇文章是 optimizing end-to-end AI 系列文章的第四篇。有關更多信息，請參閱以下帖子：正如在 End-to-End AI for NVIDIA-Based PCs 系列的上一篇文章中所解釋的， ONNX Runtime 中有多個執行提供程序（ EP ），它們支持針對給定部署場景使用特定于硬件的功能或優化。本文介紹了 CUDA EP 和 TensorRT EP ，它們使用了高度優化的 NVIDIA 推理庫和各自的硬件功能，如 Tensor Core 。除了 NVIDIA 硬件上的最佳性能外，這還允許在多個操作系統甚至數據中心、 PC 和嵌入式（ NVIDIA Jetson ）硬件上使用相同的 EP 。由于這些 EP 是特定于 NVIDIA 的，因此這是獲得 FP8 精度或 NVIDIA Ada Lovelace architecture 中的…

]]>

6244

NVIDIA Jetson 月度項目：一款 AI 驅動的自動微型賽車進入正軌 http://www.open-lab.net/zh-cn/blog/nvidia-jetson-project-of-the-month-an-ai-powered-autonomous-miniature-race-car-gets-on-track/ Wed, 25 Jan 2023 07:46:04 +0000 http://www.open-lab.net/zh-cn/blog/?p=6135 Continued]]> 第 65 屆年度 Daytona 500 將于 2023 年 2 月 19 日舉行，對許多人來說，這場精英 NASCAR 賽事是賽車界的巔峰。目前，還沒有計劃看到自動駕駛汽車與有司機的汽車比賽，但在未來的比賽中想象這種情況并不太難。在 1 月初的 CES 上，有一場測試最佳自動駕駛賽車的比賽。為了實現這樣的愿景，您需要在引擎蓋下使用一些嚴肅的技術來為車輛提供動力并確保正確的軌道導航。出于這個原因，很容易理解為什么 3D 激光雷達是用于自動測繪和導航的主要工具之一。它對光線條件不敏感，可以通過反射通道檢測顏色，可以提供完整的 360 度環境視圖，并且不需要任何“學習”來檢測障礙物。來自激光雷達的點云信息也可以方便地實現地圖繪制和定位，因為車輛知道它在所有點的位置。但激光雷達價格昂貴且體積龐大，這限制了其對許多開發人員的實用性，

]]>

6135

使用 NVIDIA Omniverse ACE 搶先體驗開發智能虛擬助手 http://www.open-lab.net/zh-cn/blog/develop-intelligent-virtual-assistants-with-omniverse-ace-early-access/ Mon, 09 Jan 2023 03:02:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=6054 Continued]]> NVIDIA 剛在 CES 2023 上宣布， NVIDIA Omniverse Avatar 云引擎（ ACE ）現在可以提前訪問。構建虛擬化身和虛擬助理的開發人員和團隊可以注冊加入該計劃，其中包括訪問云原生 AI 微服務的 Omniverse ACE 套件，以更快、更容易地開發交互式虛擬化身。早期合作伙伴包括 Ready Player Me ，其頭像在 CES 演示中展示。通過這一早期訪問計劃， NVIDIA 正在尋找開發人員和合作伙伴，以提供有關微服務的反饋，合作改進產品，并幫助推動逼真、交互式的數字人的極限。隨著項目的不斷擴大，申請人將在滾動的基礎上進行審查和批準。開發化身的方法通常需要專業知識、專用設備和人工密集型工作流。為了簡化化身創建， Omniverse ACE 支持 NVIDIA AI 技術的無縫集成，包括預構建模型、

]]>

6054

使用 NVIDIA TensorRT 在 Apache Beam 中簡化和加速機器學習預測 http://www.open-lab.net/zh-cn/blog/simplifying-and-accelerating-machine-learning-predictions-in-apache-beam-with-nvidia-tensorrt/ Fri, 16 Dec 2022 06:32:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=5884 Continued]]> 為大規模運行機器學習模型而加載和預處理數據通常需要將數據處理框架和推理機無縫拼接在一起。在這篇文章中，我們將介紹 NVIDIA TensorRT 與 Apache Beam SDK 的集成，并展示如何將復雜的推理場景完全封裝在數據處理管道中。我們還演示了如何通過幾行代碼處理來自批處理和流傳輸源的 TB 數據，以實現高吞吐量和低延遲模型推斷。要將 TensorRT 與 Apache Beam 一起使用，在此階段，您需要 converted TensorRT engine file from a trained model. 以下是如何將 TensorFlow 對象檢測 SSD MobileNet v2 320 × 320 模型轉換為 ONNX ，從 ONNX 構建 TensorRT 引擎，并在本地運行引擎。要將 TensorFlow 對象檢測 SSD…

]]>

5884

工作站端到端 AI ：優化簡介 http://www.open-lab.net/zh-cn/blog/end-to-end-ai-for-workstation-an-introduction-to-optimization/ Thu, 15 Dec 2022 06:51:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=5894 Continued]]> 這篇文章是優化工作站端到端人工智能系列文章的第一篇。有關更多信息，請參見第 2 部分，工作站端到端 AI ：使用 ONNX 轉換 AI 模型和第 3 部分，工作站端到端 AI ： ONNX 運行時和優化 . GPU 的偉大之處在于它提供了巨大的并行性；它允許您同時執行許多任務。在最精細的層面上，這歸結為有數千個微小的處理內核同時運行同一條指令。但這并不是這種并行性停止的地方。還有其他方法可以利用經常被忽視的并行性，特別是在人工智能方面。當你考慮人工智能功能的性能時，你到底是什么意思？您是否只是在考慮模型本身運行所需的時間，還是在考慮加載數據、預處理數據、傳輸數據以及寫回磁盤或顯示所需時間？這個問題可能最好由體驗該功能的用戶來回答。通常會發現，實際的模型執行時間只是整個體驗的一小部分。這篇文章是本系列文章的第一篇，它將引導您了解幾個特定于 API 的用例，包括：

]]>

5894

工作站端到端 AI ：使用 ONNX 轉換 AI 模型 http://www.open-lab.net/zh-cn/blog/end-to-end-ai-for-workstation-transitioning-ai-models-with-onnx/ Thu, 15 Dec 2022 06:50:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=5890 Continued]]> 這篇文章是優化工作站端到端人工智能系列文章的第二篇。有關更多信息，請參見第 1 部分，工作站端到端 AI ：優化簡介和第 3 部分，工作站端到端 AI ： ONNX 運行時和優化 . 在這篇文章中，我討論了如何使用 ONNX 將人工智能模型從研究過渡到生產，同時避免常見錯誤。考慮到 PyTorch 已經成為最流行的機器學習框架，我的所有示例都使用它，但我也提供了 TensorFlow 教程的參考。 ONNX （開放式神經網絡交換）是描述深度學習模型的開放標準，旨在促進框架兼容性。考慮以下場景：您可以在 PyTorch 中訓練神經網絡，然后在將其部署到生產環境之前通過 TensorRT 優化編譯器運行它。這只是許多可互操作的深度學習工具組合中的一種，包括可視化、性能分析器和優化器。研究人員和 DevOps 不再需要將就一個未優化建模和部署性能的單一工具鏈。

]]>

5890

工作站端到端 AI ： ONNX 運行時和優化 http://www.open-lab.net/zh-cn/blog/end-to-end-ai-for-workstation-onnx-runtime-and-optimization/ Thu, 15 Dec 2022 06:36:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=5887 Continued]]> 這篇文章是優化工作站端到端人工智能系列文章的第三篇。有關更多信息，請參見第 1 部分，工作站端到端 AI ：優化簡介和第 2 部分，工作站端到端 AI ：使用 ONNX 轉換 AI 模型 . 當您的模型轉換為 ONNX 格式時，有幾種方法可以部署它，每種方法都有優缺點。一種方法是使用 ONNX Runtime 。 ONNX 運行時充當后端，從中間表示（ ONNX ）讀取模型，處理推理會話，并在能夠調用硬件特定庫的執行提供程序上調度執行。有關詳細信息，請參見 Execution Providers 。在這篇文章中，我將討論如何在高級別上使用 ONNX 運行時。我還深入探討了如何優化模型。 ONNX Runtime 與大多數編程語言兼容。與另一篇文章一樣，本文使用 Python 是為了簡潔和易讀。這些例子只是為了介紹關鍵思想。有關所有流行操作系統、

]]>

5887

通過預訓練模型和 NVIDIA TAO 工具包促進 AI 開發 http://www.open-lab.net/zh-cn/blog/boost-ai-development-with-pretrained-models-and-the-nvidia-tao-toolkit/ Tue, 13 Dec 2022 06:28:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=5942 Continued]]> 最新版本的 NVIDIA TAO Toolkit 4.0 通過全新的 AutoML 功能、與第三方 MLOP 服務的集成以及新的預訓練視覺 AI 模型，提高了開發人員的生產力。企業版現在包括對預訓練模型的完整源代碼和模型權重的訪問。該工具包可以為視覺和對話式人工智能提供高效的模型訓練。通過簡化復雜的人工智能模型和深度學習框架，即使沒有人工智能專業知識的開發人員也可以使用該工具包來生成人工智能模型。使用轉移學習來使用您自己的數據微調 NVIDIA 預訓練模型，現在可以在沒有 AI 專業知識或大型訓練數據集的情況下優化模型推理吞吐量。開發人員可以使用 TAO 創建針對特定環境和場景優化的定制生產就緒模型。一個顯著的新功能幫助開發人員在沒有大量數據的情況下構建對象檢測模型。用例包括檢測裝配線缺陷、跨語言翻譯特定短語或管理城市交通。下載 TAO Toolkit 4.0.

]]>

5942

IT 經理部署 Edge AI 解決方案指南 http://www.open-lab.net/zh-cn/blog/an-it-managers-guide-to-deploying-an-edge-ai-solution/ Tue, 29 Nov 2022 10:54:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=5793 Continued]]> 時機是一切，尤其是當它影響到客戶體驗、底線和生產效率時。 Edge AI 可以通過在間歇性、低帶寬和低成本環境中提供實時智能和增強隱私來提供幫助。根據 Gartner ®的數據，到 2025 年， 75% 的數據將在傳統數據中心或云之外的邊緣創建和處理。1.難怪成千上萬的公司正在轉向邊緣人工智能來推動其業務轉型。隨著組織經歷這一轉變，許多 IT 和業務領導者仍處于規劃和執行邊緣計算戰略的早期階段。因為邊緣人工智能是一個新概念，這個過程對很多人來說都很困難。 NVIDIA 是一家領先的人工智能基礎設施公司，擁有豐富的經驗，幫助組織、客戶和合作伙伴成功部署邊緣人工智能解決方案，對這些新概念并不陌生。為了幫助他人， An IT Manager’s Guide: How to Successfully Deploy an Edge AI Solution…

]]>

5793

使用 FasterTransformer 和 Triton 推理服務器加速大型?Transformer?模型的推理 http://www.open-lab.net/zh-cn/blog/accelerated-inference-for-large-transformer-models-using-nvidia-fastertransformer-and-nvidia-triton-inference-server/ Wed, 03 Aug 2022 02:56:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=4781 Continued]]> 這是討論 NVIDIA FasterTransformer 庫的兩部分系列的第一部分，該庫是用于對任意大小（多達數萬億個參數）的Transformer進行分布式推理的最快庫之一。它提供了 FasterTransformer 的概述，包括使用該庫的好處。使用 FasterTransformer 和 Triton 推理服務器部署 GPT-J 和 T5（第 2 部分）是一個指南，說明了使用 FasterTransformer 庫和 Triton 推理服務器以具有張量并行性的最佳方式為 T5-3B 和 GPT-J 6B 模型提供服務。 Transformers 是當今最具影響力的 AI 模型架構之一，正在塑造未來 AI 研發的方向。它們最初是作為自然語言處理 (NLP) 的工具而發明的，現在幾乎用于任何 AI 任務，包括計算機視覺、自動語音識別、分子結構分類和金融數據處理。

]]>

4781

Jetson AGX Orin 32GB 模塊現已上市 http://www.open-lab.net/zh-cn/blog/jetson-agx-orin-32gb-module-now-available/ Wed, 03 Aug 2022 02:53:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=4777 Continued]]> 從今天開始 NVIDIA Jetson AGX Orin 32GB 生產模塊可供購買。結合世界標準的 NVIDIA AI 軟件棧和服務和產品生態系統，市場之路從未如此之快。 NVIDIA Jetson AGX Orin 32GB 模塊提供敢達每秒 200 萬億次的人工智能性能，功率可配置在 15W 和 40W 之間，在機器人和其他自主機器使用情況下，其性能是 Jetson AGX Xavier 的 6 倍以上。這一最新的模塊上系統支持多個并行 AI 應用程序管道，采用下一代 NVIDIA 安培架構 GPU 深度學習和視覺加速器、高速 IO 和快速內存帶寬。開發人員可以使用他們最大、最復雜的人工智能模型構建解決方案，以解決自然語言理解、 3D 感知和多傳感器融合等問題。 Jetson 運行 NVIDIA 到軟件堆棧，以及特定于用例的應用程序框架，

]]>

4777

使用 FasterTransformer 和 Triton 推理服務器部署 GPT-J 和 T5 http://www.open-lab.net/zh-cn/blog/deploying-gpt-j-and-t5-with-fastertransformer-and-triton-inference-server/ Wed, 03 Aug 2022 02:41:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=4768 Continued]]> 這是關于 NVIDIA 工具的兩部分系列的第二部分，這些工具允許您運行大型Transformer模型以加速推理。有關 NVIDIA FasterTransformer 庫（第 1 部分）的介紹，請參閱使用 FasterTransformer 和 Triton 推理服務器加速大型 Transformer 模型的推理這篇文章是大型Transformer模型（例如 EleutherAI 的 GPT-J 6B 和 Google 的 T5-3B）的優化推理指南。這兩種模型在許多下游任務中都表現出良好的效果，并且是研究人員和數據科學家最常用的模型之一。 NVIDIA Triton 中的 NVIDIA FasterTransformer (FT) 允許您以類似且簡單的方式運行這兩個模型，同時提供足夠的靈活性來集成/組合其他推理或訓練管道。

]]>

4768

使用 LaunchPad 上的 TAO 工具包體驗人工智能模型創建的簡易性 http://www.open-lab.net/zh-cn/blog/experience-the-ease-of-ai-model-creation-with-the-tao-toolkit-on-launchpad/ Thu, 28 Jul 2022 06:33:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=4736 Continued]]> 從頭開始構建人工智能模型非常困難，需要大量的數據和一支數據科學家隊伍。和 NVIDIA TAO 工具包，您可以使用轉移學習的功能，使用自己的數據微調 NVIDIA 預訓練模型，并優化推理，而無需人工智能專業知識或大型訓練數據集。你現在可以通過 NVIDIA LaunchPad 體驗 TAO 工具包，這是一個免費的程序，提供短期訪問大量動手實驗室的機會。 LaunchPad 幫助開發人員、設計師和 IT 專業人員加快現代數據密集型應用程序的創建和部署。 LaunchPad 是享受和體驗 NVIDIA 硬件和軟件堆棧的變革力量的最佳方式，它們協同工作，為您的 AI 應用程序提供動力。這個 TAO LaunchPad 工具包實驗室擁有體驗微調和部署對象檢測應用程序的端到端過程所需的一切。目標檢測是一種流行的計算機視覺任務，

]]>

4736

NVIDIA AI Enterprise 2.1 的新增功能 http://www.open-lab.net/zh-cn/blog/whats-new-in-nvidia-ai-enterprise-2-1/ Mon, 25 Jul 2022 05:24:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=4671 Continued]]> 今天， NVIDIA 宣布 NVIDIA AI 企業 2.1 正式上市。這一最新版本的端到端人工智能和數據分析軟件套件經過優化、認證，并支持企業跨裸機、虛擬、容器和云環境部署和擴展人工智能應用程序。 NVIDIA AI Enterprise 2.1 版本提供了先進的數據科學，包括最新的 NVIDIA RAPIDS 和使用最新版本的 NVIDIA 進行的低代碼 AI 模型開發 TAO 工具包 . 使企業人工智能在混合或多云環境中更易于訪問， AI enterprise 2.1 增加了對在公共云和新的 Microsoft Azure NVads A10 v5 系列中運行的 Red Hat OpenShift 的支持。這是第一個由公共云提供的 NVIDIA 虛擬 GPU 實例，可以實現價格合理的 GPU 共享。

]]>

4671

Jetson 本月最佳項目：利用預訓練模型探索人機交互 http://www.open-lab.net/zh-cn/blog/jetson-project-of-the-month-exploring-human-robot-interactions-with-pretrained-models/ Wed, 06 Jul 2022 07:44:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=4535 Continued]]> 他們說“模仿是最真誠的恭維。”嗯，在波蘭開發者托馬斯托馬內克的機器人項目中，模仿或模仿是他的機器人馬里奧拉的目標。在此最新版本中 Jetson 當月最佳項目， Tomanek 開發了一個時髦的小機器人，使用預訓練的機器學習模型，使人機交互變得生動。該機器人的主控制器是 Jetson Nano 2GB . 使用 PoseNet models 使 Mariola 能夠識別人的姿勢和動作，然后使用這些模型使機器人模擬或復制這些人類動作。正如托馬內克所指出的那樣，“使用 Jetson 納米使實現這一目標變得非常簡單和直接。” 開發者在 YouTube 視頻中提供了關于 Mariola 的概述：正如你們所見，馬里奧拉能夠用輪子駕駛，移動手臂，轉動頭部，做鬼臉。嵌入機器人身體每個部分的單獨 Arduino 控制器可以實現這些動作。

]]>

4535

人人超碰97caoporen国产