Markel Ausin – NVIDIA 技術博客
http://www.open-lab.net/zh-cn/blog
閱讀開發者創建的最新技術信息、頭條新聞 和內容。
Wed, 03 Aug 2022 06:39:35 +0000
zh-CN
hourly
1
196178272 -
NVIDIA AI 平臺為大型語言模型帶來巨大收益
http://www.open-lab.net/zh-cn/blog/nvidia-ai-platform-delivers-big-gains-for-large-language-models/
Thu, 28 Jul 2022 06:36:00 +0000
http://www.open-lab.net/zh-cn/blog/?p=4739
Continued]]>
隨著大型語言模型（ LLM ）的規模和復雜性不斷增長， NVIDIA 今天宣布更新 NeMo Megatron 框架，提供高達 30% 的訓練速度。 這些更新包括兩種開拓性技術和一個超參數工具，用于優化和擴展任何數量 GPU 上的 LLM 訓練，提供了使用 NVIDIA AI 平臺訓練和部署模型的新功能。 BLOOM ，世界上最大的開放科學、開放獲取多語言模型，具有 1760 億個參數，最近 在 NVIDIA AI 平臺上接受培訓 ，支持 46 種語言和 13 種編程語言的文本生成。 NVIDIA AI 平臺還支持最強大的 transformer 語言模型之一，具有 5300 億個參數， Megatron-Turing NLG 模型 (MT-NLG). LLM 是當今最重要的先進技術之一，涉及數萬億個從文本中學習的參數。然而，開發它們是一個昂貴、耗時的過程，
Source
]]>
4739
人人超碰97caoporen国产