Clara Holoscan – NVIDIA 技術博客

使用 NVIDIA IGX Orin 開發者套件在邊緣部署大型語言模型

Wed, 15 Nov 2023 06:57:36 +0000

隨著大型語言模型 (LLM) 功能變得更加強大，降低計算需求的技術也日趨成熟，因此出現了兩個令人關注的問題。首先，哪些最先進的 LLM 可以在邊緣設備上運行和部署？其次，現實世界的應用程序如何利用這些技術進步？運行先進的開源 LLM (如 Llama 2 70B)，即使在降低的 FP16 精度下也需要超過 140GB 的 GPU VRAM (在 FP16 中，700 億個參數 x 2 字節=140GB，KV 緩存更多)。對于大多數開發者和較小的公司而言，此數量的 VRAM 并不容易訪問。此外，由于成本、帶寬、延遲或數據隱私問題，應用程序特定的要求可能會排除使用云計算資源托管 LLM 的選項。 NVIDIA IGX Orin 開發者套件和 NVIDIA Holoscan SDK 應對這些挑戰，將 LLM 的強大功能帶到邊緣。

Source

]]>

在 Diamond Light Source 使用 NVIDIA Holoscan 加速印刷工作流程

Tue, 14 Nov 2023 06:13:46 +0000

Diamond Light Source 是英國知名的同步輻射加速器設施，它為科學家們提供了密集的 X 射線、紅外線以及其他形式的光線，用于研究材料和生物結構。該設施設有 30 多個實驗站或束線，并承載著一些世界上最先進、最復雜的科學研究項目。 I08-1 是 Diamond Light Source 的軟 X 射線光束線，提供了一種稱為分版成像的先進高分辨率成像技術，可提供納米級分辨率的圖像。分版成像使用一種計算成像方法，根據 X 射線束與樣本相互作用產生的測量結果或衍射圖案，以納米級分辨率重建樣本圖像。這對于許多生物結構(例如細胞中的線粒體和細胞器)以及材料科學樣本中的內部結構和缺陷的納米級特征成像至關重要。這種重建圖像的過程非常強大，但可能會導致測量數據和查看圖像之間存在顯著差距。 I08-1 檢測器每秒可處理 25 幀圖像，

Source

]]>

NVIDIA Holoscan 0.6 中具有多 GPU 和多節點功能的可擴展 AI 傳感器流

Fri, 18 Aug 2023 06:05:01 +0000

各個行業對實時見解和自主決策的需求正在增長。為了滿足這一需求，我們需要可擴展的邊緣解決方案平臺，這些平臺可以從源頭有效處理人工智能傳感器數據，并擴展到本地或云計算資源。然而，開發人員在邊緣使用人工智能和傳感器處理時面臨許多挑戰：在 NVIDIA Holoscan 出現之前，沒有一個單一的平臺能夠提供全面的解決方案來有效應對眾多邊緣人工智能挑戰。Holoscan 通過無縫集成數據移動、加速計算、實時可視化和人工智能推理，確保了最佳的應用程序性能。它為開發人員抽象了復雜性，縮短了上市時間，并提供了用 Python 和 C++ 進行編碼的便利，所有這些都在一個低代碼、高性能的基礎設施中。 Cosmo Intelligent medical Devices 總裁 Nhan Ngo Dinh 表示：“Holoscan 平臺使新的 SaMD（作為醫療設備的軟件）能夠快速生產，

Source

]]>

使用 NVIDIA IGX Orin 開發套件加速您的邊緣 AI 之旅

Tue, 21 Mar 2023 07:13:40 +0000

想象一下，你即將踏上一生難忘的山地自行車冒險之旅。你已經完成了所有的計劃和培訓。現在，你只需要一輛完美的自行車。你需要最好的減震器、輪胎、剎車、車架、車把和座椅。想象一下，所有這些部件都將組裝在一個包裝中，預先組裝，為您節省時間和金錢。 NVIDIA IGX Orin 為邊緣人工智能應用程序開發人員提供了類似的軟件包：一個優化的一體式平臺。 NVIDIA IGX Orin 是第一個將工業級硬件與企業級軟件相結合并支持邊緣人工智能管理的平臺。 NVIDIA IGX Orin 使公司能夠轉向軟件定義的模型，從而提高開發速度并降低成本，而不是花費寶貴的資源拼湊平臺來運行或開發人工智能應用程序。 NVIDIA IGX Orin 專為工業和醫療環境打造，為開發人員提供邊緣人工智能所需的性能、耐用性、安全性和安全功能。一體式 NVIDIA IGX Orin…

Source

]]>