扩散模型综述

1 概要

• 扩散模型已经在图像生成、视频生成、自然语言处理、医学等领域有了广泛应用
• 主要工作:
  • 解释扩散模型，简要介绍三种主要框架
    • ddpm，离散
    • SGMs，连续
    • SDEs，ddpm和SGMs拓展到无限时间步长和噪声
    • 介绍三个模型如何联系在一起并如何相互简化
  • 对最近的研究方面进行分类
    • 高效采样，提高采样速度
    • 改进的似然估计，最大似然增强
    • 处理具有特殊结构（关系数据）的数据方法，数据泛化
  • 讨论扩散模型和其他网络的联系，如GAN、VAE等
  • 讨论扩散模型在现有6大类应用，总结工作及展望
    

2 甚么是扩散模型

• 扩散模型是一个概率生成模型，通过注入噪声破坏数据然后学习反转这个过程生成样本，主要有三个模型：ddpm, SGMs, Score SDEs

DDPM 模型

• ddpm主要是使用两条马尔可夫链，前向链加噪声，反向链将噪声还原成数据，前向过程通过人工设计将图片转换为简单的前验分布，例如标准高斯分布，反向过程通过使用由上深度网络生成的模型来生成图片。
• 前向过程可以分解成联合分布，即马尔可夫概率连乘
  

SGM 基于分数生成模型

• 用一系列增强的高斯噪声扰动数据，并通过训练一个以噪声水平为条件的深度神经网络模型来共同估计所有噪声数据分布的分数函数。在噪声水平降低的情况下将分数函数链接起来生成的。
• 样本是通过使用基于分数的采样方法、随机微分方程、常微分方程以及它们的各种组合，在噪声水平降低的情况下将分数函数链接起来生成的。在基于分数的生成模型中，训练和抽样是完全解耦的，因此可以在估计分数函数后使用多种抽样技术。

SDE 随机微分方程

• DDPM和SGMs可以进一步推广到无限时间步长或噪声水平的情况，其中扰动和去噪过程是随机微分方程(SDEs)的解。我们将此公式称为Score SDE[228]，因为它利用SDE进行噪声扰动和样本生成，而去噪过程需要估计噪声数据分布的分数函数
• SDE 构造一个随机微分方程来平滑扰乱的数据分布，将原始数据转化到已知的先验分布
  
• 以及一个相应的逆向SDE，将先验分布变换为原始数据分布
  

3 提高采样速度的扩散模型

• 生成样本时需要大量迭代步骤，最近工作集中在如何加快采样过程和提高所得样品质量，主要分为无学习采样和基于学习的采样

无学习采样

• 扩散模型采样器依赖于离散式逆向采样器SDE，或者是离散式低ODE，采样成本随离散时间步数增加而增加
• SDE solver
  • 噪声条件分布网络NCSN
    • 利用退火朗格万动力学(ALD)迭代生成数据，并平滑的降低噪声水平
    • 一致退火采样(CAS)进一步改进ALD方法，有更好的时间步长缩放
  • 临界阻尼朗格万扩散CLD
    • 带有辅助速度项的增广SDE，只需要学习给定数据的速度条件分布的函数，比直接学习数据分数更容易
• ODE solver
  • ODE求解器的轨迹是确定的，不受随机波动影响
  • DDIM是通过将DDPM扩展到具有非马尔可夫情况
    • GDDIM提出改进的分数网络参数化方法，PNDM提出一种伪数值方法沿着R中特定流形生成样本
    • Heun的2阶方法再样本质量和采样速度之间提供了良好的平衡，离散误差较小
  • 扩散指数积分采样器和dpm求解器利用低概率ODE的半线性结构开发定制的ODE求解器，比通用龙德库塔法更有效

基于学习的采样

• 通过使用部分步骤或训练采样器进行反向过程，以轻微样品质量下降为代价实现更快采样速度，通常涉及通过优化某些学习目标来选择步骤
• 优化离散化：给定预训练的扩散模型，选择最佳的时间步长来最大化ddpm的训练目标
• 截断扩散：通过截断正向和反向过程来提高采样速度，在几个步骤之后，在早期停止正向扩散，并使用高斯分布进行反向去噪过程。
• 知识蒸馏：将整个采样过程蒸馏成一个更快的采样器，只需一半的步骤，将新的采样器参数化为一个新的深度神经网络

4 改进似然的扩散模型

• 扩散模型训练目标是对数似然的变分下界(VLB)，导致扩散模型的对数似然不是最优，调研关于扩散模型似然最大化的工作

噪声调度优化

• 正向噪声表是人工添加，没有训练参数，而通过与扩散模型的其他参数共同优化前向噪声调度，可以最大化VLB
• iDDPM表明一定的余弦噪声调度可以提高对数似然
• 通过联合训练噪声调度和其他扩散模型参数提高连续时间扩散模型的似然性，从而最大化VLB

反向方差学习

精确似然计算

5 具有特殊结构数据的扩散模型

• 扩散模型

离散数据

具有流形结构的数据

6 和其他通用模型间的联系

变分自编码器和与扩散模型的联系

生成对抗模型与扩散模型的联系

用扩散模型归一化流和链接

自回归模型与扩散模型的联系

基于能量的模型与扩散模型的联系

7 扩散模型的应用

计算机视觉CV

• 超分辨率、图像修复和翻译
• 语义分割
• 视频生成
• 点云制作生成
• 异常检测
• 从扩散模型中提取数据

自然语言处理NLP

时间数据建模

• 时间序列估算
• 时间序列预测
• 波形信号处理

多模型学习

• 文字转图片生成
  • Blended Diffusion使用预训练好的DDPM和CLIP模型，基于区域的图像模型
  • DiffusionCLIP使用CLIP模型损失来调整反向扩散过程中的分数函数
  • unCLIP(DALLE-2)提出一种两阶段的方法，
• 基于场景图的图像生成
• 文字转视频生成
• 文字转3D生成
• 文字转声音生成

健壮学习

• 数据净化
• 生成用于鲁棒学习的综合数据

跨学科应用

• 分子图建模
• 材料设计
• 医学图像重建

8 未来发展方向

9 总结

参考资料

1. 扩散模型(Diffusion Model)首篇综述-Diffusion Models: A Comprehensive Survey of Methods and Applications
2. Diffusion Models: A Comprehensive Survey of Methods and Applications