扩散模型的数理基础

简介

基于扩散的生成模型，已经取得重大成功。研究人员从物理学中获取灵感，并通过数学的演算，在AIGC领域中构建比较扎实在数学基础。目前，基于扩散模型的应用也在快速地推进，在文生图、文生视频、药物生成等等应用中进行发挥基础性的作用。 但是，扩散模型的数学涉及面比较广，仅仅简单地理解几个算法，还不足以真正掌握此模型的精髓，我们需要全面地理解其数学原理，甚至所涉及到的物理学知识，为新型算法、算法优化研究打下扎实的基础。

目的

本文近期也无力全部数理出扩散模型的所有知识点，仅仅就所阅读的资料进行数理，可以看作是抛砖引玉。 从早期Jascha Sohl-Dickstein et al.,2015 (opens new window)提出的基于热物理的扩散模型开始，到Yang & Ermon,2019 (opens new window)独立设计的噪声条件分数网络NCSN，直接激发出经典的扩散模型算法去噪扩散概率模型DDPM;Ho et al. 2020 (opens new window)，由此拉开扩散模型的研究与应用热潮，使得扩散模型成为当前AIGC基础模型。 扩散模型在根源上来自物理学，也激发一大批物理学领域的大咖开始投入到AIGC领域，而扩散模型背后所牵涉到的动力学、高维空间等等抽象概念，也激发传统的数学研究者，这批人员的加入，一方面继续快速推动了扩散模型的发展，另一方面，也让此领域的研究越来越数学化，物理化，牵涉的知识点非常多，导致要真正阅读此领域的文章就存在巨大的挑战。

阅读对象

本版块主要面向进入此领域的小白，尤其对相关的数学与物理缺乏一定的基础的，尝试从经典的论文出发，解构其背后所涉及到的数学物理知识点，便于真正从原理上能够理解经典论文的数学知识。