Ben Zaitlen – NVIDIA 技術博客
http://www.open-lab.net/zh-cn/blog
閱讀開發者創建的最新技術信息、頭條新聞 和內容。
Thu, 02 Jan 2025 08:42:51 +0000
zh-CN
hourly
1
196178272 -
利用 RAPIDS 和 Ray 加速 GPU 數據分析
http://www.open-lab.net/zh-cn/blog/accelerating-gpu-analytics-using-rapids-and-ray/
Fri, 20 Dec 2024 08:38:41 +0000
http://www.open-lab.net/zh-cn/blog/?p=12465
Continued]]>
RAPIDS 是一套開源 GPU 加速的數據科學和 AI 庫，可通過 Spark 和 Dask 等分布式引擎進行橫向擴展。 Ray 是一種熱門的開源分布式 Python 框架，常用于擴展 AI 和機器學習 (ML) 應用。Ray 特別擅長簡化和擴展訓練和推理工作流，并且可以輕松面向 CPU 和 GPU 設備。 在本文中，我們將探討如何使用 Ray 和 RAPIDS 加速新型分析流程。 Ray 提供用于 訓練 和 服務 ML 模型的高級抽象概念 ，同時我們將試驗 Ray 的核心，尤其是 Ray Actors。Actors 是有狀態的 workers，這意味著每個 worker 都可以存儲、管理和變異存儲的任何數據。例如，如果您想使用 cuDF 在 GPU 上加載一些數據，可以執行以下操作： 此示例使用 Ray 在四個 GPU 上創建四個…
Source
]]>
12465
-
統一虛擬內存利用 RAPIDS cuDF 為 pandas 提供強力支持
http://www.open-lab.net/zh-cn/blog/unified-virtual-memory-supercharges-pandas-with-rapids-cudf/
Thu, 05 Dec 2024 07:07:40 +0000
http://www.open-lab.net/zh-cn/blog/?p=12395
Continued]]>
上一篇文章 中介紹的 是一個 GPU 加速庫，可加速 pandas 以實現顯著的性能提升，速度最高可提升至原來的 50 倍，而無需對現有代碼進行任何更改。作為 NVIDIA RAPIDS 生態系統的一部分， 充當代理層，盡可能在 GPU 上執行運算，必要時 (通過 pandas) 回退至 CPU。這可確保與完整的 pandas API 和第三方庫兼容，同時利用 GPU 加速加快數據處理速度。只需加載 ，用戶即可維護熟悉的 pandas 工作流程，同時獲得統一的 CPU/GPU 體驗。 在幕后， 默認使用托管內存池，使其能夠處理超過 GPU 物理內存的數據集。這是通過 CUDA Unified Virtual Memory (UVM) 實現的，可提供跨主機 (CPU) 和設備 (GPU) 內存的統一地址空間。UVM 允許 超額訂閱 GPU 內存，根據需要自動在主機和設備之間遷移數據。
Source
]]>
12395
-
RAPIDS 與 Dask 結合實現多 GPU 數據分析的高效實踐指南
http://www.open-lab.net/zh-cn/blog/best-practices-for-multi-gpu-data-analysis-using-rapids-with-dask/
Thu, 21 Nov 2024 06:58:04 +0000
http://www.open-lab.net/zh-cn/blog/?p=12161
Continued]]>
隨著我們向更密集的計算基礎設施邁進，擁有更多的計算、更多的 GPU、加速網絡等，多 GPU 訓練和分析變得越來越流行。隨著開發者和從業者從 CPU 集群轉向 GPU 集群，我們需要工具和最佳實踐。RAPIDS 是一套開源的 GPU 加速數據科學和 AI 庫。借助 Spark 和 Dask 等工具，這些庫可以輕松地針對更大的工作負載進行橫向擴展。本博文簡要概述了 RAPIDS Dask，并重點介紹了多 GPU 數據分析的三種最佳實踐。 在使用 GPU 實現最高性能時，用戶通常會面臨內存壓力和穩定性問題。雖然 GPU 在計算方面比 CPU 更強大，但與系統內存相比，GPU 的內存通常更少。例如，GPU 工作負載通常在核外場景中執行，此時 GPU 內存小于一次處理工作負載所需的內存總量。此外，CUDA 生態系統提供了 多種類型的內存 ，用于不同的目的和應用。
Source
]]>
12161
-
NVIDIA RAPIDS 加速大型數據集的因果關系推理
http://www.open-lab.net/zh-cn/blog/faster-causal-inference-on-large-datasets-with-nvidia-rapids/
Thu, 14 Nov 2024 07:12:31 +0000
http://www.open-lab.net/zh-cn/blog/?p=12038
Continued]]>
隨著消費者應用生成的數據比以前更多，企業開始采用觀察數據的因果關系推理方法，以幫助闡明應用的各個組件的更改如何影響關鍵業務指標。 在過去十年中，計量經濟學家開發了一種稱為 雙機器學習 的技術，該技術將機器學習模型的強大功能用于解決因果關系推理問題。它涉及在獨立的數據集樣本中訓練兩個預測模型，并將它們結合起來以構建目標變量的無偏估計。 借助 DoubleML 等開源 Python 庫，數據科學家可以輕松利用這項新技術，但卻難以處理企業需要在 CPU 上處理的數據量。 RAPIDS 是開源 GPU 加速數據科學和 AI 庫的集合。 cuML 是一個適用于 Python 的 GPU 加速機器學習庫，具有 scikit-learn 兼容的 API。 在這篇博文中，我們展示了如何將 RAPIDS cuML 與 DoubleML 庫結合使用，以加快因果關系推理速度，
Source
]]>
12038
-
調試混合 Python 和 C 語言堆棧
http://www.open-lab.net/zh-cn/blog/debugging-mixed-python-and-c-language-stack/
Sun, 23 Apr 2023 05:46:07 +0000
http://www.open-lab.net/zh-cn/blog/?p=6793
Continued]]>
調試很困難。跨多種語言調試尤其具有挑戰性，跨設備調試通常需要一個具有不同技能和專業知識的團隊來揭示潛在問題 然而，項目通常需要使用多種語言，以確保必要時的高性能、用戶友好的體驗以及可能的兼容性。不幸的是，沒有一種編程語言能夠提供上述所有功能，這就要求開發人員變得多才多藝。 這篇文章展示了RAPIDS該團隊著手調試多種編程語言，包括使用GDB以識別和解決死鎖。該團隊致力于設計加速和擴展數據科學解決方案的軟件。 這篇文章中的 bug 是RAPIDS 項目這一問題在 2019 年夏天得到了確認和解決。它涉及到一個包含多種編程語言的復雜堆棧，主要是 C 、 C ++和 Python ，以及CUDA對于 GPU 加速度 記錄這個歷史錯誤及其解決方案有幾個目的，包括： 這篇文章中的內容應該有助于你理解這些錯誤是如何表現出來的，以及如何在你自己的工作中解決類似的問題。
Source
]]>
6793
人人超碰97caoporen国产