能量 – NVIDIA 技術博客

能量 – NVIDIA 技術博客 http://www.open-lab.net/zh-cn/blog 閱讀開發者創建的最新技術信息、頭條新聞和內容。 Tue, 27 Feb 2024 23:07:19 +0000 zh-CN hourly 1 196178272 使用新的 NVIDIA AI 基礎模型生成代碼、回答查詢并翻譯文本 http://www.open-lab.net/zh-cn/blog/generate-code-answer-queries-and-translate-text-with-leading-generative-ai-models/ Mon, 05 Feb 2024 07:43:41 +0000 http://www.open-lab.net/zh-cn/blog/?p=8903 Continued]]> 本周的 Model Monday 版本包含 NVIDIA 優化的代碼 Lama、Kosmos-2 和 SeamlessM4T，您可以直接在瀏覽器中體驗。通過NVIDIA AI 基礎模型和端點，您可以訪問由 NVIDIA 構建的一系列精選社區，生成式 AI用于在企業應用程序中體驗、自定義和部署的模型。 Meta 的 Code Llama 70B 是最新的先進代碼 LLM，專用于代碼生成。它基于 Llama 2 模型構建，提供更高的性能和適應性。該模型可以從自然語言生成代碼，在編程語言之間翻譯代碼，編寫單元測試，并協助調試。 Code Lama 70B 具有 10 萬個令牌的大上下文長度，因此能夠處理和生成時間更長、更復雜的代碼，這對于更全面的代碼生成和提高處理復雜編碼任務的性能非常重要。這種開源模型可用于代碼翻譯、匯總、文檔、分析和調試等各種應用。

Source

]]>

8903

借助加速網絡實現數據中心現代化 http://www.open-lab.net/zh-cn/blog/modernizing-the-data-center-with-accelerated-networking/ Tue, 30 Jan 2024 04:05:10 +0000 http://www.open-lab.net/zh-cn/blog/?p=8861 Continued]]> 加速網絡將 CPU、GPU、DPU（數據處理單元）或 SuperNIC 組合成加速計算結構，專門設計用于優化網絡工作負載。它使用專用硬件來卸載要求嚴苛的任務，以增強服務器功能。隨著 AI 和其他新工作負載的復雜性和規模不斷增加，對加速網絡的需求變得至關重要。數據中心作為計算的新單元，隨著網絡服務對CPU壓力的增加，現代工作負載對網絡基礎設施提出了新的挑戰。網絡基礎設施需要具備敏捷性、自動化和可編程性，并配備加速器和卸載功能，這些是充分發揮人工智能技術潛力和推動創新的關鍵。本文將探討加速網絡技術在數據中心中的優勢和實施策略，并重點介紹其在提升性能、可擴展性和效率方面的作用。網絡加速需要優化網絡的各個方面，包括處理器、網絡接口卡 (NIC)、交換機、線纜、光學和網絡加速軟件。利用無損網絡、遠程直接內存訪問 (RDMA)、動態路由、擁塞控制、性能隔離和網絡計算，

]]>

8861

使用現已推出 Beta 版的 NVIDIA AI Workbench 來創建、共享和擴展企業 AI 工作流程 http://www.open-lab.net/zh-cn/blog/create-share-and-scale-enterprise-ai-workflows-with-nvidia-ai-workbench-now-in-beta/ Tue, 30 Jan 2024 03:49:20 +0000 http://www.open-lab.net/zh-cn/blog/?p=8855 Continued]]> NVIDIA AI Workbench 現已進入測試階段，帶來了豐富的新功能，可簡化企業開發者創建、使用和共享 AI 和機器學習 (ML) 項目的方式。在 SIGGRAPH 2023 上發布的 NVIDIA AI Workbench，使開發者能夠在支持 GPU 的環境中輕松創建、協作和遷移 AI 工作負載。欲了解更多信息，請參閱借助 NVIDIA AI Workbench 無縫開發和部署可擴展的生成式 AI 模型。本文介紹了 NVIDIA AI Workbench 如何幫助簡化 AI 工作流程，并詳細介紹了測試版的新功能。本文還介紹了編碼副駕駛參考示例，該示例使您能夠使用 AI Workbench 在所選平臺上創建、測試和自定義預訓練的生成式 AI 模型。借助 AI Workbench，開發者和數據科學家可以在 PC 或工作站上靈活地在本地啟動 AI 或 ML 項目，

]]>

8855

借助 NVIDIA RTX 系統為 Windows PC 上的 LLM 應用程序提供強效助力 http://www.open-lab.net/zh-cn/blog/supercharging-llm-applications-on-windows-pcs-with-nvidia-rtx-systems/ Mon, 08 Jan 2024 05:52:26 +0000 http://www.open-lab.net/zh-cn/blog/?p=8666 Continued]]> 大型語言模型 (LLM) 正在從根本上改變我們與計算機的交互方式。從互聯網搜索到辦公效率工具，這些模型正被整合到各種應用中。它們正在推進實時內容生成、文本摘要、客戶服務聊天機器人和問答用例的發展。如今，由 LLM 提供支持的應用程序主要在云端運行。但是，許多用例都將受益于在 Windows PC 上本地運行 LLM，包括游戲、創意、生產力和開發者體驗。在 CES 2024 上， NVIDIA 發布了一些開發者工具，用于在適用于 Windows PC 的 NVIDIA RTX 系統上加速 LLM 推理和開發。您現在可以使用 NVIDIA 端到端開發者工具在 NVIDIA RTX AI 就緒型 PC 上創建和部署 LLM 應用。 NVIDIA 剛剛宣布為熱門社區模型提供優化支持，包括 Phi-2。除了在 NVIDIA RTX 系統上對 Lama2、

]]>

8666

使用 NVIDIA TensorRT 加速的全新 Stable Diffusion 模型 http://www.open-lab.net/zh-cn/blog/new-stable-diffusion-models-accelerated-with-nvidia-tensorrt/ Mon, 08 Jan 2024 05:41:51 +0000 http://www.open-lab.net/zh-cn/blog/?p=8661 Continued]]> 在 CES 上， NVIDIA 分享道，SDXL Turbo、LCM-LoRA 和 Stable Video Diffusion 均由 NVIDIA TensorRT 加速。這些增強功能使 GeForce RTX GPU 用戶能夠實時生成圖像，并節省生成視頻的時間，從而大幅改善工作流程。 SDXL Turbo 利用新的蒸餾技術實現先進的性能，能夠實現單步圖像生成。由 Tensor Core 和 TensorRT 加速的 NVIDIA 硬件每秒可生成多達四張圖像，使您能夠首次體驗到實時 SDXL 圖像生成功能。有關非商業用途和商業用途的更多信息，請參閱 Stability AI 會員資格頁面。下載 SDXL Turbo 模型以生成面部表情。 Low-Rank Adaptation (LoRA) 是一種用于微調 Stable Diffusion…

]]>

8661

2023 年最熱門的 NVIDIA 技術博客文章：生成式 AI、LLM、機器人開發和虛擬世界的突破 http://www.open-lab.net/zh-cn/blog/year-in-review-trending-posts-of-2023/ Tue, 19 Dec 2023 04:58:25 +0000 http://www.open-lab.net/zh-cn/blog/?p=8555 Continued]]> 在 NVIDIA 激動人心的又一年即將結束之際，是時候回顧 2023 年 NVIDIA 技術博客中最熱門的案例了。生成式 AI、大型語言模型 (LLM)、高性能計算 (HPC) 和機器人等領域的突破性研究和開發正在引領變革性 AI 解決方案的發展，并吸引了讀者的興趣。其他熱門文章探討了視頻技術和視頻會議領域的進步、增強用戶體驗以及 AI 安全方面的突破。以下是 2023 年的部分亮點。借助生成式 AI 快速生成虛擬世界的 3D 素材 NVIDIA Omniverse 上的新生成式 AI 技術增強了虛擬環境中的 3D 素材創建。這些進步旨在使元宇宙中的虛擬世界創建更快、更輕松。利用 NVIDIA Maxine 眼神交流功能，增強視頻會議中的人際互動 NVIDIA Maxine 眼神交流技術利用 AI 實時調整您對攝像頭的注視點，

]]>

8555

掌握 LLM 技術：推理優化 http://www.open-lab.net/zh-cn/blog/mastering-llm-techniques-inference-optimization/ Fri, 17 Nov 2023 05:14:21 +0000 http://www.open-lab.net/zh-cn/blog/?p=8306 Continued]]> 通過堆疊 Transformer 層來創建大型模型，可以提高準確性、實現少量學習功能，并且在各種語言任務中實現近乎人類的性能。這些基礎模型的訓練成本高昂，而且在推理過程中可能會占用大量內存和計算資源（這是一種重復性成本）。目前最熱門的大型語言模型 (LLM)可以達到數百億到數千億的參數規模，并且根據用例，可能需要處理長輸入（或上下文），這也會增加費用。本文討論了大型語言模型（LLM）推理中最緊迫的挑戰及其實用解決方案。建議讀者對 Transformer 架構和通用注意力機制有基本的了解。我們將在下一節重點討論掌握 LLM 推理復雜性的重要性。大多數熱門的僅使用解碼器的 LLM (例如 GPT-3)都基于因果關系建模目標進行了預訓練，本質上是作為次詞預測器。這些 LLM 接受一系列標記作為輸入，并以自回歸方式生成后續標記，直到它們滿足停止標準(例如，

]]>

8306

高性能計算的能效：平衡速度與可持續性 http://www.open-lab.net/zh-cn/blog/energy-efficiency-in-high-performance-computing-balancing-speed-and-sustainability/ Tue, 14 Nov 2023 06:21:21 +0000 http://www.open-lab.net/zh-cn/blog/?p=8236 Continued]]> 計算世界正處于巨變的邊緣。對計算能力的需求，尤其是高性能計算 (HPC) 逐年增長，這也意味著能源消耗也在增長。然而，潛在的問題當然是，能源是一種具有局限性的資源。因此，世界面臨的問題是，我們如何更好地將計算重點從性能轉移到能效。在考慮這個問題時，必須考慮到任務完成率與能耗之間的相關性。這種關系通常會被忽略，但它可能是一個關鍵因素。本文將探討速度與能效之間的關系，以及向更快完成任務轉變所帶來的影響*. 以交通運輸為例。在物體運動的情況下，在除真空之外的任何其他情況下，阻力與行駛速度的平方成正比。這意味著在給定距離內，行駛速度是行駛速度的兩倍，所需的力和能量是行駛速度的四倍。人員和貨物在地球周圍移動意味著在空氣或水(在物理學中，兩者都是“流體”)中行駛，這個概念有助于解釋為什么行駛速度更快需要更多的能量。大多數運輸技術都依賴礦物燃料，

]]>

8236

借助 NVIDIA Magnum IO 優化多節點 VASP 仿真的能效 http://www.open-lab.net/zh-cn/blog/optimize-energy-efficiency-of-multi-node-vasp-simulations-with-nvidia-magnum-io/ Mon, 13 Nov 2023 07:41:17 +0000 http://www.open-lab.net/zh-cn/blog/?p=8271 Continued]]> 對于大多數超級計算中心來說，計算能效已成為一個主要的決策標準。數據中心一旦建成，就能在現有的功率上限內運行，無需進行昂貴且耗時的改造。提高工作負載的吞吐量，意味著提高每瓦的工作效率。 NVIDIA 產品在過去幾代中一直致力于最大限度地提升每千瓦時 (kWh) 的實際應用性能。本文將探討如何使用 Omniverse 的 Vienna Ab initio Simulation Package（VASP）。VASP 是一款用于原子級材料建模的計算機程序，它基于第一原理進行電子結構計算和量子力學分子動力學模擬。對于研究人員而言，材料屬性研究是一個活躍的領域，他們將超級計算設施用于從高溫、低壓超導體到新一代太陽能電池等廣泛的案例。VASP 是這些數字研究的主要工具。本文介紹了我們在 2022 年針對不同系統大小的簡單化合物 Hafnia (HfO2) 進行的多節點…

]]>

8271

NVIDIA 深度學習培訓中心（DLI）推出科學與工程教學套件 http://www.open-lab.net/zh-cn/blog/nvidia-deep-learning-institute-launches-science-and-engineering-teaching-kit/ Mon, 13 Nov 2023 07:26:44 +0000 http://www.open-lab.net/zh-cn/blog/?p=8265 Continued]]> 從運輸和醫療健康到制造和金融，AI 正迅速成為各行各業不可或缺的一部分。AI 為聊天機器人、推薦系統、計算機視覺應用、欺詐預防和自動駕駛汽車提供支持。它還在工程和科學領域擁有廣泛的應用。基于物理信息的機器學習 (Physics-ML) 利用物理世界的知識來訓練 AI 模型，非常適合用于現實世界系統的建模。其應用范圍廣泛，包括預測極端天氣、數據中心冷卻、汽車氣流動力學和蛋白質建模等領域。學術機構在培育新興技術和推動廣泛采用這些技術所需的創新方面發揮著關鍵作用。無可否認，當今希望在未來工作場所取得成功的學生需要了解 AI 如何實現解決方案。為支持這項工作， NVIDIA 正在與科學、工程和 AI 交叉領域的先驅者合作，為全球學術界的教育工作者創建首個深度學習科學與工程教學套件。這個新的教學套件將使新一代工程師和科學家能夠利用 AI 在工程和科學領域進行創新。

]]>

8265

開始使用適用于企業解決方案的大型語言模型 http://www.open-lab.net/zh-cn/blog/getting-started-with-large-language-models-for-enterprise-solutions/ Tue, 07 Nov 2023 04:19:12 +0000 http://www.open-lab.net/zh-cn/blog/?p=8156 Continued]]> 大型語言模型 (LLM)是在具有數千億參數的互聯網級數據集上進行訓練的深度學習算法。LLM 可以讀取、寫入、編碼、繪制和增強人類創造力，以提高各行各業的生產力，并解決世界上最棘手的問題。 LLM 被廣泛應用于各行各業，從零售到醫療健康，以及各種任務。它們學習蛋白質序列的語言，以生成新的可行化合物，從而幫助科學家開發創新的救命疫苗。它們幫助軟件程序員根據自然語言描述生成代碼并修復錯誤。它們還提供生產力 Co-Pilot，以便人類可以更好地完成他們擅長的工作 – 創建、提問和理解。要在企業應用程序和工作流中有效利用 LLM，需要了解模型選擇、自定義、優化和部署等關鍵主題。本文將探討以下企業 LLM 主題：無論您是希望構建自定義模型的數據科學家，還是探索 LLM 在組織中的潛力的首席數據官，請繼續閱讀以獲取寶貴見解和指導。 LLM 被用于各種跨行業應用，

]]>

8156

加速數據分析：使用 GPU 的機器學習 – 加速 pandas 和 Scikit 學習 http://www.open-lab.net/zh-cn/blog/accelerated-data-analytics-machine-learning-with-gpu-accelerated-pandas-and-scikit-learn/ Tue, 11 Jul 2023 03:27:37 +0000 http://www.open-lab.net/zh-cn/blog/?p=7361 Continued]]> 本文是加速數據分析系列文章的一部分。如果您想將您的機器學習（ ML ）項目的速度和可擴展性提升到新的水平，GPU 加速的數據分析可以幫助您以突破性的性能快速提供見解。從更快的計算到高效的模型訓練，GPU 為日常 ML 任務帶來了許多好處。本帖子提供了以下方面的技術最佳實踐： GPU – 加速的數據分析可以通過 RAPIDS cuDF ，一個 GPU DataFrame 庫和 RAPIDS cuML ，一種 GPU – 加速的 ML 庫來實現。 cuDF 是一個 Python GPU 數據框庫，基于 Apache Arrow 柱狀內存格式構建，用于加載、連接、聚合、過濾和操作數據。它的 API 與 pandas 類似，一個建立在 Python 之上的開源軟件庫，專門用于數據操作和分析。這使得它成為數據分析工作流的有用工具，

]]>

7361

與 NVIDIA Jetson AGX Orin Industrial 攜手邁向工業級邊緣 AI 的未來 http://www.open-lab.net/zh-cn/blog/step-into-the-future-of-industrial-grade-edge-ai-with-nvidia-jetson-agx-orin-industrial/ Sun, 28 May 2023 05:48:36 +0000 http://www.open-lab.net/zh-cn/blog/?p=7107 Continued]]> 嵌入式邊緣人工智能通過將智能和實時處理引入最具挑戰性的環境，正在改變工業環境。邊緣人工智能越來越多地被用于農業、建筑、能源、航空航天、衛星、公共部門等。借助 NVIDIA Jetson 邊緣人工智能和機器人平臺，您可以在這些復雜的環境中部署人工智能和計算用于傳感器融合。在 COMPUTEX 2023 上， NVIDIA 宣布了新的 Jetson AGX Orin 工業模塊，該模塊為惡劣環境帶來了新的計算水平。此新模塊擴展了上一代 NVIDIA Jetson AGX Xavier 工業和商用 Jetson AGX Orin 模塊的功能，為加固系統帶來了服務器級性能。許多應用，包括那些為農業、工業制造、采礦、建筑和運輸設計的應用，必須承受極端環境和長期沖擊和振動。例如，堅固的硬件對于廣泛的農業應用至關重要，因為它使機械能夠承受繁重的工作量，

]]>

7107

Exelon 使用網格基礎設施的合成數據生成來自動化無人機檢查 http://www.open-lab.net/zh-cn/blog/exelon-uses-synthetic-data-generation-of-grid-infrastructure-to-automate-drone-inspection/ Mon, 01 May 2023 02:19:22 +0000 http://www.open-lab.net/zh-cn/blog/?p=6844 Continued]]> 大多數無人機檢查仍然需要人工手動檢查視頻中的缺陷。如果沒有針對每一個可能的缺陷的大量標記數據庫，訓練計算機視覺模型來自動化檢查是很困難的。在最近的一個NVIDIA GTC會議，我們分享了 Exelon 如何在 NVIDIA Omniverse 中使用合成數據生成來自動創建數千個各種網格資產缺陷的標記、照片真實感示例。這篇文章強調了如何使用合成圖像來訓練實時無人機檢查的檢查模型，從而實現更好的網格維護，提高可靠性和彈性。 Exelon 是美國最大的受監管電力公司，為伊利諾伊州、馬里蘭州、賓夕法尼亞州、特拉華州、新澤西州和華盛頓特區的 1000 多萬客戶提供服務。在其下方清理路徑該能源供應商計劃到 2030 年減排 50% ，到 2050 年實現凈零排放。我們確定了多種好處，包括減少工作人員的現場危險，減少審查圖像的體力勞動，以及加快從圖像捕獲到缺陷解決的時間線，

]]>

6844

微軟和 TempoQuest 利用 AceCast 加速風能預測 http://www.open-lab.net/zh-cn/blog/microsoft-and-tempoquest-accelerate-wind-energy-forecasts-with-acecast/ Fri, 28 Apr 2023 02:40:16 +0000 http://www.open-lab.net/zh-cn/blog/?p=6851 Continued]]> 準確的天氣建模對于公司正確預測可再生能源生產和規劃自然災害至關重要。僅在 2022 年，無效和未預測的天氣就造成了 7140 億美元的損失。為了避免這種情況，公司需要更快、更便宜、更準確的天氣模型。在最近的一個GTC 會議、微軟和 TempoQuest 詳細介紹了他們與 NVIDIA 為解決這一能源和氣候問題所做的工作。 TempoQuest 是 NVIDIA Inception 計劃的成員，可實現超本地低延遲天氣和環境預報。我們的團隊是多學科的，涵蓋大氣科學、氣象學、 HPC 、人工智能、 ML 、工程等。我們一直是將 GPU 引入環境部門的領先采用者，包括：在這篇博客文章中，我們將分享 TempoQuest 如何利用微軟 Azure 上 NVIDIA 的加速計算，將傳統的天氣研究和預測（ WRF ）軟件轉移到 GPU ，提供小于一公里的分辨率和一分鐘到一小時的時間分辨率，

]]>

6851

人人超碰97caoporen国产