Adrian ?ańcucki – NVIDIA 技術博客

動態內存壓縮技術

Fri, 24 Jan 2025 05:39:18 +0000

盡管大語言模型（LLMs）作為通用 AI 工具取得了成功，但其對計算資源的高需求使其在許多真實場景中的部署具有挑戰性。模型的大小和對話狀態受到可用高帶寬內存的限制，限制了可服務的用戶數量和最大對話長度。目前，兩種最熱門的 LLM 架構是 Transformers 和選擇性狀態空間模型 (SSMs)，它們位于頻譜的另一端：為此，NVIDIA 的研究人員開發了一項稱為動態內存壓縮（Dynamic Memory Compression，DMC）的新技術，該技術可以大幅提高 LLMs 部署的效率，并在不會耗盡內存的情況下將其視野擴展到更長的序列。 DMC 開啟了第三種方式，即訓練 Transformer 模型以自適應壓縮對話狀態并實現所需的壓縮率。這樣可以在不替換熟悉的 Transformer 架構的情況下顯著減少對話狀態大小。DMC 不需要從頭開始訓練，

Source

]]>

用蒸餾法加速文本到語音的擴散模型

Fri, 01 Sep 2023 05:29:25 +0000

每年，作為課程的一部分，波蘭華沙大學的學生都會在 NVIDIA 華沙辦事處工程師的監督下，就深度學習和加速計算中的挑戰性問題開展工作。我們展示了三位理學碩士學生——Alicja Ziarko、Pawe? Pawlik 和 Micha? 的TorToiSe，一個多階段、基于擴散的文本到語音（TTS）模型。 Alicja、Pawe? 和 Micha? 首先了解了語音合成和擴散模型的最新進展。他們選擇了 combination，這是無分類器引導和漸進式蒸餾的一部分，在計算機視覺中表現良好，并將其應用于語音合成。在不降低語音質量的情況下，他們將擴散延遲降低了 5 倍。小型感知語音測試證實了這一結果。值得注意的是，這種方法不需要從原始模型開始進行昂貴的訓練。自從WaveNet 在 2016 年出現以來，神經網絡已經成為語音合成的主要模型。在一些簡單的應用中，

Source

]]>