Aastha Jhunjhunwala – NVIDIA 技術博客
http://www.open-lab.net/zh-cn/blog
閱讀開發者創建的最新技術信息、頭條新聞 和內容。
Wed, 18 Sep 2024 08:43:21 +0000
zh-CN
hourly
1
196178272 -
借助 NVIDIA NeMo Curator 簡化域自適應預訓練的數據處理
http://www.open-lab.net/zh-cn/blog/streamlining-data-processing-for-domain-adaptive-pretraining-with-nvidia-nemo-curator/
Tue, 10 Sep 2024 08:23:26 +0000
http://www.open-lab.net/zh-cn/blog/?p=11291
Continued]]>
大語言模型（LLMs）的領域自適應預訓練（DAPT）是構建特定領域模型的重要步驟。與現成的開放或商用模型相比，這些模型在特定領域任務中表現出更出色的功能。 最近，NVIDIA 發表了一篇關于 ChipNeMo 的論文，這是一系列面向工業芯片設計應用的基礎模型。ChipNeMo 模型是通過在專有數據和公開可用的特定領域數據的語料庫上對 Llama 2 系列模型進行持續預訓練的結果。 本文將以 ChipNeMo 數據集為例，介紹使用 NVIDIA NeMo Curator 從各種公開來源收集訓練數據集的過程。 NeMo Curator 是一個 GPU 加速的數據 curation 庫，通過準備用于預訓練和自定義的大規模、高質量數據集來提高生成式 AI 模型的性能。 NeMo Curator 通過擴展到多節點多 GPU (MNMG) 來縮短數據處理時間，
Source
]]>
11291
-
使用 NVIDIA 數學庫加速 GPU 應用程序
http://www.open-lab.net/zh-cn/blog/accelerating-gpu-applications-with-nvidia-math-libraries/
Tue, 26 Jul 2022 06:05:00 +0000
http://www.open-lab.net/zh-cn/blog/?p=4694
Continued]]>
加速 GPU 應用程序的主要方法有三種：編譯器指令、編程語言和預編程庫。編譯器指令，例如 OpenACC a 允許您順利地將代碼移植到 GPU 以使用基于指令的編程模型進行加速。雖然它易于使用，但在某些情況下可能無法提供最佳性能。 編程語言，例如 CUDA C 和 C ++ 在加速應用程序時為您提供更大的靈活性，但用戶也有責任編寫代碼，利用新的硬件功能在最新的硬件上實現最佳性能。這就是預編程庫填補空白的地方。 除了增強代碼的可重用性外，還可以使用 NVIDIA 數學庫 優化以充分利用 GPU 硬件，獲得最大的性能增益。如果您正在尋找一種簡單的方法來加速應用程序，請繼續閱讀，了解如何使用庫來提高應用程序的性能。 NVIDIA 數學庫，作為 CUDA 工具包 和 高性能計算（ HPC ）軟件開發工具包（ SDK ） ，提供各種計算密集型應用程序中遇到的函數的高質量實現。
Source
]]>
4694
人人超碰97caoporen国产