Miika Aittala – NVIDIA 技術博客

重新思考如何訓練 Diffusion 模型

Thu, 21 Mar 2024 09:46:57 +0000

在探索了擴散模型采樣、參數化和訓練的基礎知識之后，我們的團隊開始研究這些網絡架構的內部結構。請參考生成式 AI 研究聚焦：揭開基于擴散的模型的神秘面紗了解更多詳情。結果證明這是一項令人沮喪的練習。任何直接改進這些模型的嘗試都會使結果更加糟糕。它們似乎處于微妙、微調、高性能的狀態，任何更改都會破壞平衡。雖然通過徹底重新調整超參數可以實現好處，但下一組改進將需要重新經歷整個過程。如果您熟悉這種繁瑣的開發循環，但您不直接使用擴散，請繼續閱讀。我們的研究結果針對大多數神經網絡及其訓練背后的普遍問題和組件。我們決定打破這個循環，回顧一下基礎知識。為什么架構如此易碎？網絡中是否存在破壞訓練進程的未知現象？我們如何使其更加穩健？歸根結底：由于這些問題，我們目前還剩下多少性能？我們最近的論文分析和改進擴散模型的訓練動力學中報告了我們的研究結果和細節。

Source

]]>

生成式 AI 研究聚焦：揭開基于擴散的模型的神秘面紗

Thu, 14 Dec 2023 05:41:41 +0000

借助互聯網級數據，AI 生成內容的計算需求顯著增加，數據中心在數周或數月內全力運行單個模型，更不用說通常作為服務提供的高生成推理成本。在這種情況下，犧牲性能的次優算法設計是一個代價高昂的錯誤。近期，AI 生成的圖像、視頻和音頻內容取得了很大進展，降噪擴散 —— 一種以迭代方式將隨機噪聲塑造成新數據樣本的技術。我們的團隊最近發表的一篇研究論文《闡明基于擴散的生成模型的設計空間》獲得了 NeurIPS 2022 杰出論文獎，該論文識別出了文檔中看似復雜的方法背后的簡單核心機制。從對基礎知識的清晰認識開始，我們能夠發現在質量和計算效率方面的先進實踐。降噪是指從圖像中消除傳感器噪聲或從錄音中消除聲等操作。本文將使用圖像作為運行示例，但該過程也適用于許多其他領域。此任務非常適合卷積神經網絡。這與生成新圖像有什么關系？想象一下，圖像上有大量噪點。確實，

Source

]]>