Cassandra Young – NVIDIA 技術博客
http://www.open-lab.net/zh-cn/blog
閱讀開發者創建的最新技術信息、頭條新聞 和內容。
Thu, 10 Nov 2022 02:58:12 +0000
zh-CN
hourly
1
196178272 -
使用 NVIDIA NeMo Megatron 部署 1.3B GPT-3 型號
http://www.open-lab.net/zh-cn/blog/deploying-a-1-3b-gpt-3-model-with-nvidia-nemo-megatron/
Fri, 04 Nov 2022 02:53:00 +0000
http://www.open-lab.net/zh-cn/blog/?p=5642
Continued]]>
Large language models ( LLMs）是一些能夠理解書面語言的最先進的深度學習算法。許多現代 LLM 是使用谷歌 2017 年在 Attention Is All You Need 研究論文中引入的 transformer 網絡構建的。 NVIDIA NeMo Megatron 是一個端到端 GPU 加速框架，用于訓練和部署高達萬億參數的基于 transformer 的 LLM 。 2022 年 9 月， NVIDIA 宣布 NeMo Megatron is now available in Open Beta ，允許您使用自己的數據訓練和部署 LLM 。通過此次發布，幾個經過預訓練的檢查點已上傳到 HuggingFace ，使任何人都可以使用 GPU 在本地部署 LLM 。 本文介紹了使用 NeMo Megatron下載、
Source
]]>
5642
人人超碰97caoporen国产