Artificial Intelligence – NVIDIA 技術博客 http://www.open-lab.net/zh-cn/blog 閱讀開發者創建的最新技術信息、頭條新聞 和內容。 Thu, 07 Apr 2022 07:20:38 +0000 zh-CN hourly 1 196178272 在 TensorFlow 2 中用 100B+ 參數在 DGX A100 上訓練推薦系統 http://www.open-lab.net/zh-cn/blog/training-a-recommender-system-on-dgx-a100-with-100b-parameters-in-tensorflow-2/ Tue, 05 Apr 2022 08:36:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=3550 Continued]]> 深度學習推薦系統通常使用大型嵌入表。很難將它們放入 GPU 內存中。 這篇文章向你展示了如何結合使用模型并行和數據并行訓練范例來解決這個記憶問題，從而更快地訓練大型深度學習推薦系統。我分享了我的團隊在 TensorFlow 2 中高效培訓 1130 億參數推薦系統所采取的步驟，該模型的所有嵌入的總大小為 421 GiB 。 通過在 GPU 和 CPU 之間拆分模型和嵌入，我的團隊實現了 43 倍的加速。然而，將嵌入分布到多個 GPU 上，帶來了令人難以置信的 672 倍的加速。這種多 GPU 方法實現了顯著的加速，使您能夠在幾分鐘內而不是幾天內訓練大型推薦系統。 您可以使用 NVIDIA 深度學習示例 GitHub 存儲庫 中提供的代碼自己復制這些結果。 在數據并行訓練中，每個 GPU 存儲模型的相同副本，但在不同的數據上訓練。這對于許多深度學習應用程序來說都很方便，

Source

]]> 3550 梯度下降和反向傳播算法數據科學家指南 http://www.open-lab.net/zh-cn/blog/a-data-scientists-guide-to-gradient-descent-and-backpropagation-algorithms/ Wed, 09 Feb 2022 02:52:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=3053 Continued]]> 人工神經網絡 （ ANN ）是 人工智能（ AI ） 技術的基本構件。人工神經網絡是 machine-learning 模型的基礎；它們模擬的學習過程與人腦相同。簡言之，人工神經網絡賦予機器完成特定任務的類似于人的性能（以及更高性能）的能力。本文旨在為數據科學家提供基本的高級知識，以了解在訓練 ANN 時調用的函數和方法所涉及的低級操作。 作為數據科學家，我們的目標是通過暴露數據中的模式來解決業務問題。通常，這是通過使用機器學習算法來識別模式和以模型表示的預測來完成的。為特定用例選擇正確的模型，并適當地調整參數，需要徹底了解問題和底層算法。對問題域和算法的理解是需要考慮的，以確保我們正確使用模型，并正確解釋結果。 本文介紹并解釋了梯度下降和反向傳播算法。這些算法有助于 ANN 從數據集中學習，特別是在涉及數據點和神經網絡預測的操作導致網絡參數值發生修改的情況下。

Source

]]> 3053 具有可解釋性的違約風險的深度學習與機器學習挑戰者模型 http://www.open-lab.net/zh-cn/blog/deep-learning-vs-machine-learning-challenger-models-for-default-risk-with-explainability/ Wed, 08 Dec 2021 06:41:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=2577 Continued]]> 數據科學家和機器學習工程師經常面臨“與 深度學習 相比使用 機器學習 分類器解決其業務問題”的困境。根據數據集的性質，一些數據科學家更喜歡經典的機器學習方法。其他人采用最新的深度學習模式，而還有人追求“集成”模式，希望在可解釋性和性能這兩個方面都達到最佳。 機器學習，特別是決策樹，導致了更先進的 XGBoost 模型，比深度學習成熟得更早，并且有一些成熟的方法。深度學習在非表格計算機視覺、語言和語音識別領域表現出色。無論您選擇哪一種， GPU 都在加速數據科學用例，使其達到這樣的程度：對大型數據集的任何數據分析都只需要它們來滿足每天的便利性、快速迭代和結果。 RAPIDS 通過類似于 scikit-learn 和 pandas 等收藏夾的界面，使數據科學家更容易利用 GPU 。這里，我們使用的是一個表格數據集。經典的提取 – 轉換 – 加載過程（ ETL…

Source

]]> 2577 使用 NVIDIA TAO 更快地創建定制、生產就緒的 AI 模型 http://www.open-lab.net/zh-cn/blog/create-custom-production-ready-ai-models-faster-with-nvidia-tao/ Thu, 02 Dec 2021 06:09:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=2542 Continued]]> 所有 AI 應用程序都由模型提供支持。模型可以幫助發現零件的缺陷，檢測疾病的早期發病，翻譯語言，等等。但為特定用途構建定制模型需要大量數據和一支數據科學家隊伍。 NVIDIA TAO 是一個人工智能模型適應框架，它簡化并加速了人工智能模型的創建。通過微調最先進、經過預訓練的模型，您可以創建定制、生產就緒的計算機視覺和對話 AI 模型。這可以在數小時而不是數月內完成，從而消除了對大型培訓數據或人工智能專業知識的需求。 TAO toolkit 的最新版本現已可供下載。 TAO 工具包是基于 CLI 和 Jupyter 筆記本的 TAO 版本，它匯集了幾個新功能，可幫助您加快模型創建過程。 我們還將 TAO 提升到一個新的水平，使創建定制的、生產就緒的模型變得更加容易。 TAO 的圖形用戶界面版本目前正在開發中，它是零代碼模型開發解決方案的縮影。

Source

]]> 2542 數據科學家和機器學習實踐者的重要技能 http://www.open-lab.net/zh-cn/blog/an-important-skill-for-data-scientists-and-machine-learning-practitioners/ Wed, 17 Nov 2021 07:22:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=2400 Continued]]> 編者按：如果你有興趣分享你的數據科學和人工智能專業知識，你可以申請為我們的 博客 寫作。 數據科學作為一門學科和專業，要求從業者具備各種技能，從溝通、領導等軟技能到演繹推理、算法思維、編程等硬技能。但是有一個關鍵的技能應該由數據科學家掌握，不管他們的經驗如何，那就是寫. 即使是從事量子計算或醫療研究等技術領域的數據科學家也需要寫作。培養強大的寫作能力需要時間，而數據科學家面臨的挑戰是 MIG ht 阻止他們輕松表達自己的想法。這就是為什么本文包含了各種寫作策略，并解釋了它們如何有益于數據科學和 Machine Learning 專業人士。 讓我們從我們遇到的最典型的易理解的寫作風格開始。以簡短的形式寫作通常不費吹灰之力，也不會占用太多時間。 Twitter 、 LinkedIn 、 Facebook 、

Source

]]> 2400 人工智能的先驅們都寫作，數據科學家也應該如此 http://www.open-lab.net/zh-cn/blog/ai-pioneers-write-so-should-data-scientists/ Wed, 17 Nov 2021 07:17:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=2394 Continued]]> 編者按：如果你有興趣分享你的數據科學和人工智能專業知識，你可以申請為我們的博客 here 寫作。 寫作的雙重目的主要是在社區、組織等之間保存和傳遞知識。 machine-learning 域內的寫入僅用于上述目的。有一些杰出的個人花了大量的時間和精力推進機器學習和 AI 作為一個領域的前沿。巧合的是，許多人工智能的先驅和專家寫了很多東西。 這篇文章包括以不同的形式和形式對人工智能領域做出貢獻的個人，特別是強調他們的書面作品。每個人通過編寫人工智能相關內容的實踐所做出的貢獻。 本文的要點是，作為數據科學家，我們需要在交流的同時培養軟技能，如創造性和批判性思維。寫作是培養數據科學家關鍵軟技能的活動. 在撰寫本文時， Andrej Karpathy 是 Tesla 的人工智能高級總監。通過使用經過數百萬圖像和視頻樣本訓練的大規模人工神經網絡，

Source

]]> 2394 NVIDIA AI-on-5G 企業版： AI 和 5G 在邊緣的融合平臺 http://www.open-lab.net/zh-cn/blog/nvidia-ai-on-5g-for-enterprise-a-converged-platform-for-ai-and-5g-at-the-edge/ Tue, 09 Nov 2021 08:46:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=2166 Continued]]> 通過 5G 連接結構在 edge 部署 AI 應用程序是推動企業運營數字化轉型的重要一步。人工智能正在重塑各個行業部門的企業開展業務的方式。 5G 提供超高速、廣域、安全、低延遲和超可靠的連接，使企業能夠連接其人工智能系統，無論是在本地、現場還是在云中。這兩股力量將共同推動工業部門的革命，并在企業市場創造價值。 IHS Market 預計，到 2035 年，支持 5G 的價值鏈將產生 13 . 1 萬億美元的總經濟產出。 通常， 5G 和邊緣 AI 基礎設施分別進行評估、設計、采購、部署和管理。筒倉式方法本質上是低效的，因為 AI 和 5G 運行在同一平臺可以提供的計算能力上。 英偉達AI-on-5G platform在單個計算平臺上提供企業 5G 網絡和相關企業 AI 應用。它是市場上第一款以端到端、全面協調的方式實現這一目標的產品。 通過將 AI 和 5G…

Source

]]> 2166 人人超碰97caoporen国产