Edge Computing – NVIDIA 技術博客

Edge Computing – NVIDIA 技術博客 http://www.open-lab.net/zh-cn/blog 閱讀開發者創建的最新技術信息、頭條新聞和內容。 Thu, 13 Apr 2023 08:13:28 +0000 zh-CN hourly 1 196178272 通過 AI 的全棧優化在 MLPerf 推理 v3.0 中創下新紀錄 http://www.open-lab.net/zh-cn/blog/setting-new-records-in-mlperf-inference-v3-0-with-full-stack-optimizations-for-ai/ Wed, 05 Apr 2023 03:03:51 +0000 http://www.open-lab.net/zh-cn/blog/?p=6677 Continued]]> 目前最令人興奮的計算應用程序依賴于在復雜的人工智能模型上進行訓練和運行推理，通常是在要求苛刻的實時部署場景中。需要高性能、加速的人工智能平臺來滿足這些應用程序的需求，并提供最佳的用戶體驗新的人工智能模型不斷被發明，以實現新的功能，而人工智能驅動的應用程序往往依賴于許多這樣的模型協同工作。這意味著人工智能平臺必須能夠運行最廣泛的工作負載，并在所有工作負載上提供優異的性能。MLPerf Inference– 現在， v3.0 的第七版是一套值得信賴的、經過同行評審的標準化推理性能測試，代表了許多這樣的人工智能模型。人工智能應用程序無處不在，從最大的超大規模數據中心到緊湊的邊緣設備。 MLPerf 推理同時代表數據中心和邊緣環境。它還代表了一系列真實世界的場景，如離線（批處理）處理、延遲受限的服務器、單流和多流場景。

]]>

6677

NVIDIA Jetson 月度項目：通過聲音識別鳥類 http://www.open-lab.net/zh-cn/blog/nvidia-jetson-project-of-the-month-recognizing-birds-by-sound/ Mon, 03 Apr 2023 03:17:11 +0000 http://www.open-lab.net/zh-cn/blog/?p=6684 Continued]]> 根據野生鳥類的外表來識別它是一回事。僅僅根據聲音來識別同一只鳥是另一回事。除非你是一個熟練的觀鳥者Big Year，通過聲音識別鳥類可能相當具有挑戰性德國馬爾堡大學的一組數學、計算機科學和生物學研究人員設計了一種快速識別鳥類和監測當地生物多樣性的方法。他們使用連接到 NVIDIA 的便攜式設備拍攝的錄音Jetson Nano Developer Kit. 根據研究人員的說法Bird@Edge project是一個邊緣人工智能系統，“基于分布式系統中運行的嵌入式邊緣設備，能夠對森林中記錄的聲景進行高效、連續的評估。”要了解更多信息，請參閱Bird@Edge: Bird Species Recognition at the Edge. 使用多個基于 ESP32 的麥克風 (Bird @ Edge 麥克風），研究人員將鳥的聲音傳輸到當地 Bird @ Edge 物種識別站。

]]>

6684

利用一個開發工具包的強大功能為所有六個 NVIDIA Jetson Orin 模塊開發 http://www.open-lab.net/zh-cn/blog/develop-for-all-six-nvidia-jetson-orin-modules-with-the-power-of-one-developer-kit/ Thu, 22 Sep 2022 07:51:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=5177 Continued]]> 隨著本周在 GTC 的 Jetson Orin Nano 發表推出，整個 Jetson Orin 模塊陣容現已揭曉。 Orin Nano 模塊擁有多達 40 個 AI 性能 TOPS ，為入門級 AI 設定了新標準，正如 Jetson AGX Orin 已經通過 275 個服務器級計算 TOPS 重新定義了機器人和其他自主邊緣用例一樣。所有 Jetson Orin 模塊和 Jetson AGX Orin Developer Kit 基于單個 SoC 架構，帶有 NVIDIA 安培架構 GPU 、高性能 CPU 和最新加速器。這種共享架構意味著您可以為一個 Jetson Orin 模塊開發軟件，然后輕松地將其部署到任何其他模塊。您可以使用 Jetson AGX Orin 開發工具包立即開始開發任何 Jetson Orin 模塊。

]]>

5177

使用 NVIDIA Jetson Orin Nano 解決入門級邊緣人工智能挑戰 http://www.open-lab.net/zh-cn/blog/solving-entry-level-edge-ai-challenges-with-nvidia-jetson-orin-nano/ Wed, 21 Sep 2022 09:38:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=5219 Continued]]> 2022 年 GTC ， NVIDIA 宣布 Jetson Orin Nano 系列系統模塊（ SoM ）。它們的 AI 性能是 NVIDIA Jetson Nano 的 80 倍，為入門級邊緣 AI 和機器人應用設定了新標準。 Jetson 系列現在首次包括基于 NVIDIA Orin 的模塊，從入門級的 Jetson Orin Nano 到最高性能的 Jetson AGX Orin 。這使客戶能夠靈活地輕松擴展其應用程序。借助 Jetson AGX Orin Developer Kit 提供的完整軟件仿真支持，立即啟動您的 Jetson Orin Nano 開發。跨行業的日常用例對增強實時處理能力的需求繼續增長。入門級 AI 應用程序，如智能相機、手持設備、服務機器人、智能無人機、智能儀表等，都面臨著類似的挑戰。

]]>

5219

使用 NVIDIA Clara Holoscan SDK 在 AI 醫療設備中實現超高速幀速率 http://www.open-lab.net/zh-cn/blog/powering-ultra-high-speed-frame-rates-in-ai-medical-devices-with-clara-holoscan-sdk/ Wed, 21 Sep 2022 08:44:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=5197 Continued]]> 在手術室中，手術視頻流的延遲和可靠性會對患者的預后產生重大影響。傳感器輸入的超高速幀速率支持下一代 AI 應用程序，可為外科醫生提供新級別的實時感知和控制。為了將實時人工智能能力構建到醫療設備中，以用于手術導航、內窺鏡等圖像引導干預和醫療機器人等用例，開發人員需要能夠低延遲處理來自多個通道的組合傳感器數據的人工智能管道。正如 GTC 2022 所宣布的， NVIDIA Clara Holoscan SDK v0.3 現在為 4K 視頻提供了 240 Hz 的閃電般快速幀速率。這使得開發人員能夠結合來自更多傳感器的數據，并構建能夠提供手術指導的 AI 應用程序。隨著通過高速以太網連接的傳感器實現更快的數據傳輸，開發人員有了更多的工具來構建加速的 AI 管道。 NVIDIA Clara Holoscan 通過 ConnectX SmartNIC 和 NVIDIA…

]]>

5197

如何構建邊緣解決方案：成功的常見問題和資源 http://www.open-lab.net/zh-cn/blog/how-to-build-an-edge-solution-common-questions-and-resources-for-success/ Tue, 09 Aug 2022 05:57:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=4851 Continued]]> 學習新技術有時會讓人感到害怕。這個 NVIDIA 邊緣計算網絡研討會系列旨在介紹邊緣計算的基礎知識，以便所有與會者都能理解與此技術相關的關鍵概念。 NVIDIA 最近主持了網絡研討會，邊緣計算 201 ：如何構建邊緣解決方案，探索構建生產邊緣人工智能部署所需的組件。在演示期間，與會者被問及各種投票問題，涉及他們對邊緣計算的知識、他們面臨的最大挑戰以及他們構建解決方案的方法。您可以在下面看到這些投票問題的結果分解，以及一些答案和關鍵資源，它們將幫助您完成邊緣之旅。超過一半（ 55% ）的受訪者表示，他們仍處于邊緣計算旅程的學習階段。本系列的前兩次網絡研討會 – 邊緣計算 101 ：邊緣簡介和邊緣計算 201 ：如何構建邊緣解決方案 – 是專門為那些剛剛開始學習邊緣計算和邊緣人工智能的人設計的。

]]>

4851

邊緣計算是下一個重大的網絡安全挑戰 http://www.open-lab.net/zh-cn/blog/edge-computing-is-the-next-big-cybersecurity-challenge/ Wed, 20 Jul 2022 04:33:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=4627 Continued]]> 數據中心內數字轉換的加速和相關應用程序的激增使新的攻擊面暴露在潛在的安全威脅之下。這些新攻擊通常繞過傳統防火墻和 web 應用程序防火墻等完善的外圍安全控制，使網絡安全威脅的檢測和修復更具挑戰性。由于現代應用程序不是完全在單個數據中心內構建的，無論是物理的、虛擬的還是云中的，因此防御這些威脅變得更具挑戰性。今天的應用程序?通常跨越公共云中的多個服務器，?CDN網絡、邊緣平臺和?售后服務組件?其位置為?甚至不知道。除此之外，出于擴展目的，每個服務或微服務可能有多個實例，傳統網絡安全功能將其與外部世界隔離以保護它們的能力受到限制。最后數據源數量由于現代應用程序的分布式特性，位置越來越大且不斷增長以及擴展架構的影響。再也沒有一扇大門了在數據中心，例如一進入網關或防火墻，可以觀察并保護所有數據通信。這些變化的結果是必須收集更大的數據量，

]]>

4627

在同一邊緣設備上運行多個應用程序 http://www.open-lab.net/zh-cn/blog/running-multiple-applications-on-the-same-edge-devices/ Mon, 18 Jul 2022 04:32:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=4614 Continued]]> 智能空間是最豐富的邊緣人工智能用例之一。從智能零售店到自主工廠，企業很快就能看到這項創新技術的價值。然而，構建和擴展智能空間需要許多不同的技術，包括多種應用。在邊緣位置操作多個應用程序可能很復雜。為此，組織可能會向某個位置添加新硬件，以便每個應用程序都有專用的計算資源，但與購買和安裝每個新應用程序的新硬件相關的成本可能會很高。許多組織在同一設備上部署多個應用程序。雖然這是一種規模解決方案，但它可能會帶來不同的挑戰。許多組織依靠 GPU 的性能來支持邊緣應用程序。即使使用高性能 GPU 加速系統，使用時間切片在同一設備上同時運行兩個或多個 AI 應用程序也不可避免地會導致更高的延遲，而硬件優化最少。當多個應用程序在同一設備上運行時，設備將應用程序時間切片到隊列中，以便應用程序按順序運行，而不是并發運行。當設備從一個應用程序的處理數據切換到另一個應用程序時，

]]>

4614

邊緣遠程操作系統和應用程序 http://www.open-lab.net/zh-cn/blog/remotely-operating-systems-and-applications-at-the-edge/ Mon, 18 Jul 2022 04:29:41 +0000 http://www.open-lab.net/zh-cn/blog/?p=4611 Continued]]> 邊緣計算 101 網絡研討會期間最近的一項民意調查顯示，許多對 Edge AI 感興趣的 IT 專業人士仍在學習有關生產部署的技術和考慮因素的基礎知識。生產邊緣人工智能的一個關鍵考慮因素是管理員如何在部署后管理應用程序和系統的日常維護，有時稱為第二天操作。遠程管理是一項關鍵功能，使您能夠輕松管理數十個甚至數千個遠程站點。將邊緣人工智能概念驗證（ POC ）大規模引入生產環境的過程要求您能夠在分布式位置完全訪問邊緣系統和應用程序。如果沒有完整、無痛的訪問，快速進行和擴展的能力會受到遠程邊緣站點手動故障排除所需時間的限制。由于安裝和擴展新技術總是會出現不可預測的問題，因此該過程可能非常耗時和昂貴。安裝后，您希望在現有硬件上部署和擴展新應用程序，更新現有應用程序，排除錯誤，并驗證新配置。擁有安全的遠程管理功能至關重要，

]]>

4611

通過集成 MLOps 平臺和邊緣解決方案打破數據孤島 http://www.open-lab.net/zh-cn/blog/breaking-data-silos-by-integrating-mlops-platforms-and-edge-solutions/ Wed, 13 Jul 2022 05:33:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=4591 Continued]]> 人工智能和物聯網的融合將數據重心從云轉移到了網絡邊緣。在零售店、工廠、履行中心和其他分布式位置，數千個傳感器正在收集數 PB 的數據，為創新人工智能用例的洞察提供動力。因為最有價值的見解是在邊緣產生的，所以組織很快采用了新技術和流程，以更好地利用這一新的重心。采用的主要技術之一是邊緣計算，即將應用程序的計算能力帶到傳感器收集信息的同一物理位置的過程。當這種計算方法用于在邊緣為人工智能應用程序供電時，它被稱為 edge AI 。為了確保這些獲取有價值見解的邊緣位置不存在于孤立的筒倉中，各組織正越來越多地將其邊緣計算解決方案集成到其現有工作流中，以開發、測試和優化應用程序。通過從開發過程到部署過程的無縫路徑，團隊能夠同時對應用程序在生產環境中的運行方式有很強的可見性，同時還可以利用應用程序在邊緣位置收集的數據和見解。

]]>

4591

邊緣人工智能正在推動一個更安全、更智能的世界 http://www.open-lab.net/zh-cn/blog/edge-ai-is-powering-a-safer-smarter-world/ Tue, 05 Jul 2022 07:39:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=4529 Continued]]> 幾乎每個組織都被使用攝像機更好地了解其業務的能力所吸引。大約 10 億個攝像機——物聯網的終極傳感器——正被用來幫助世界各地的人們生活得更好、更安全。但是，成功有一個明顯的障礙。使用這些攝像機收集的寶貴數據需要大量人力。手動審查大量錄像的耗時過程既費力又昂貴。此外，在審查完成后，許多視頻要么被扔掉，要么被存放在云端，再也沒有使用過。這導致大量有價值的數據從未被充分利用。幸運的是，多虧了人工智能和邊緣計算的進展，組織現在可以將人工智能分析直接分層到其現有的攝像機基礎設施上，以擴大捕獲的視頻片段的價值。通過向等式中添加智能，組織可以使用人工智能驅動的視頻分析系統將物理環境轉換為更安全、更智能的空間。這一變化已經幫助許多行業的公司改善了客戶體驗，增強了安全性，推動了問責制，并提高了運營效率。擴展這些智能空間并獲得更大利益的可能性是巨大的。在零售領域，

]]>

4529

AI 正在改變企業管理邊緣應用程序的方式 http://www.open-lab.net/zh-cn/blog/ai-is-changing-how-enterprises-manage-edge-applications/ Tue, 21 Jun 2022 03:42:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=4356 Continued]]> 注冊邊緣 AI 新聞及時了解最新趨勢、客戶用例和技術演練。如今，幾乎所有企業都開發或采用應用軟件，對發票、人力資源檔案或產品規格等信息的處理進行編碼。整個行業已經開始在集中式數據中心或云中，以及在商店、工廠和家用電器等邊緣位置部署和執行這些企業應用程序。最近，企業軟件的性質發生了變化，因為開發人員現在將人工智能納入了他們的應用程序中。根據 Gartner 的數據，到 2027 年，深度學習形式的機器學習將包含在超過 65% 的 edge 用例中，而 2021 這一比例還不到 10% *。使用 AI ，您不需要為每個可能的輸入編碼輸出。相反，人工智能模型從訓練數據中學習模式，然后將這些模式應用于新的輸入。自然，管理基于 AI 的應用程序所需的過程不同于為純粹確定性、基于代碼的應用程序而發展的管理。這是真的，尤其是對于邊緣的基于 AI 的應用程序，在這些應用程序中，

]]>

4356

使用 Clara Holoscan SDK 增強 AI 醫療設備流式處理工作流 http://www.open-lab.net/zh-cn/blog/boost-ai-medical-device-streaming-workflows-with-the-clara-holoscan-sdk/ Fri, 17 Jun 2022 03:36:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=4352 Continued]]> 近年來，邊緣計算、攝像機、實時處理和人工智能的進步幫助醫療設備發生了變革。 NVIDIA 開發了 NVIDIA Clara Holoscan 支持軟件定義 AI 醫療設備開發的平臺。平臺包括 NVIDIA Clara 開發工具包這個 NVIDIA Clara Holoscan SDK 和 NVIDIA Clara Holoscan MGX 用于生產就緒部署。 NVIDIA Clara Holoscan SDK 0.2 的最新版本為醫療設備中的高性能流應用程序提供了實時 AI 推理功能和快速 I / O 。這包括內窺鏡檢查、超聲波、外科機器人、顯微鏡和基因組測序儀器。該版本還包括： Clara Holoscan SDK 0.2 中最重要的變化是核心后端從 GStreamer 轉移到了 NVIDIA GXF 。

]]>

4352

讓 AI 應用程序為本機云做好準備 http://www.open-lab.net/zh-cn/blog/getting-ai-applications-ready-for-cloud-native/ Wed, 08 Jun 2022 06:01:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=4295 Continued]]> 注冊邊緣 AI 新聞及時了解最新趨勢、客戶用例和技術演練。 Cloud-native 是與 Edge AI 相關的最重要的概念之一。這是因為 cloud native 為應用程序部署提供了大規模支持。它還提供了性能、彈性和易管理性，這些都是 Edge AI 的關鍵功能。云本機和邊緣 AI 如此交織，以至于我們相信 Edge AI 的未來是云本地的。這篇文章概述了云本機組件以及準備好應用程序云本機的步驟。我將向您展示如何在 NVIDIA Fleet Command ，這是一種云服務，用于在邊緣部署和管理應用程序，采用云本機原則構建。如果遵循所有這些步驟，結果就是可以輕松地在 Fleet Command 和其他云本機部署和管理平臺上部署云本機應用程序。 Cloud native 是一種開發和運行應用程序的方法，它包含了云計算交付模型的靈活性、

]]>

4295

用 HPC + AI 應對邊緣數據挑戰 http://www.open-lab.net/zh-cn/blog/facing-the-edge-data-challenge-with-hpc-ai/ Thu, 02 Jun 2022 06:48:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=4275 Continued]]> 未來十年，科學儀器的靈敏度和分辨率將提高 10-100 倍，因此需要相應的存儲和處理規模。這些增強型儀器產生的數據將達到摩爾定律無法充分解決的極限，它將挑戰僅基于數據中心 HPC 的傳統運營模式。邊緣計算依賴 AI 和高性能計算（ HPC ）來跟上這些增強功能的時代已經到來。 5 月 30 日， NVIDIA 超尺度和 HPC 計算副總裁伊恩·巴克博士在德國漢堡的國際超級計算大會（ ISC ）特別演講中回應了這種觀點。在介紹此邊緣計算背景下 HPC 和 AI 本質的視角轉變的同時，特別演講還介紹了一個旨在解決邊緣 HPC 數據密集型工作負載這一難題的平臺： NVIDIA Holoscan 。 NVIDIA Holoscan 平臺已經擴展，以滿足 DevOps 工程師、性能工程師、數據科學家和研究人員在這些不可思議的邊緣儀器上工作的特定需求。

]]>

4275

人人超碰97caoporen国产