Velvet-Notes

外观

DDPM

约 8432 字大约 28 分钟

扩散模型

2025-04-06

DDPM 概述

DDPM 解决的问题

🚀 问题类别❌ 传统方法的局限✅ DDPM 的解决方案
生成模型的质量与稳定性🚨 GANs 训练不稳定，易出现模式崩溃
🚨 VAEs 生成质量有限，样本模糊		✨​​ 非对抗性训练框架，避免 GANs 的不稳定性
✨​​ 逐步“加噪-去噪”过程，生成高质量样本
复杂数据分布的建模🚨 GANs、VAEs、Flow 难以精确建模复杂数据分布
🚨 高分辨率图像生成困难		✨​​ 前向过程：数据逐步扰动为高斯噪声（马尔可夫链）
✨​​ 反向过程：去噪恢复数据分布
生成过程的可控性与渐进性🚨 常见生成模型生成结果一成不变，缺乏细节控制
🚨 很难逐步提升生成样本质量		✨​​ 采用渐进式“有损压缩”视角
✨​​ 类似自回归模型的解码，允许逐步细化生成结果

DDPM 的 Tips

Tip 1：重参数化

🎯目的：
将不可微的采样操作变为可微的确定性变换，从而支持反向传播

💡基本思想：
将随机变量的采样过程分解为：

  • 确定性部分：由模型参数决定的可微函数
  • 随机性部分：从固定、简单分布（如标准正态）中采样的噪声变量

高斯分布中的重参数化形式：

X=μ+σ⋅ϵ,ϵ∼N(0,1)X = \mu + \sigma \cdot \epsilon, \quad \epsilon \sim \mathcal{N}(0, 1)

可微性分析：

∂X∂μ=1,∂X∂σ=ϵ\frac{\partial X}{\partial \mu} = 1, \quad \frac{\partial X}{\partial \sigma} = \epsilon

进而支持对 μ\mu 和 σ\sigma 的梯度计算

项目无重参数化有重参数化
采样方式直接从分布 N(μ,σ2)\mathcal{N}(\mu, \sigma^2) 中采样 xx从 ϵ∼N(0,1)\epsilon \sim \mathcal{N}(0,1) 采样，再计算 x=μ+σ⋅ϵx = \mu + \sigma \cdot \epsilon
随机变量是否可微❌ 不可微（采样操作断开了计算图）✅ 可微（采样来自固定分布，变换是可微函数）
是否支持反向传播❌ 不支持，梯度无法传播到 μ\mu, σ\sigma✅ 支持，梯度可传递到分布参数
是否能用于梯度优化❌ 不可直接优化概率模型参数✅ 可使用梯度下降等方法优化分布参数
常见用途传统的随机采样、模拟等变分自编码器（VAE）、可微分采样过程

Tip 2：任意时刻的 xt\mathbf{x}_t 可以由 x0\mathbf{x}_0 与 β\beta 表示

在正向过程中，数据 x0\mathbf{x}_0 被逐步加入噪声，形成 x1,x2,...,xT\mathbf{x}_1, \mathbf{x}_2, ..., \mathbf{x}_T

借由该特点（Eq.(4)\mathrm{Eq.(4)}）得知：任意时刻的状态 xt\mathbf{x}_t，可以不通过逐步采样，而是直接由原始数据 x0\mathbf{x}_0 和噪声调节参数序列 {βt}\{\beta_t\} 推出：

xt=αˉt⋅x0+1−αˉt⋅ϵ,ϵ∼N(0,I)\mathbf{x}_t = \sqrt{\bar{\alpha}_t} \cdot \mathbf{x}_0 + \sqrt{1 - \bar{\alpha}_t} \cdot \boldsymbol{\epsilon}, \quad \boldsymbol{\epsilon} \sim \mathcal{N}(0, I)

其中 αˉt=∏i=1t(1−βi)\bar{\alpha}_t = \prod_{i=1}^t (1 - \beta_i)

🎯意义：

  • 避免逐步执行 tt 次采样（即一行公式即可模拟 tt 时刻的加噪结果）
  • 有利于训练过程中的 目标重构 loss 构造

Tip 3：简化的加权变分下界作为损失函数

将原始的变分下界简化为一个统一的 MSE 损失项：

Lsimple(θ)=Et,x0,ϵ[∥ϵ−ϵθ(αˉtx0+1−αˉtϵ,t)∥2]L_{\text{simple}}(\theta) = \mathbb{E}_{t, x_0, \epsilon} \left[ \left\| \epsilon - \epsilon_\theta \left( \sqrt{\bar{\alpha}_t} x_0 + \sqrt{1 - \bar{\alpha}_t} \epsilon, t \right) \right\|^2 \right]

DDPM 原理简述

DDPM（Denoising Diffusion Probabilistic Models，后简称扩散模型） 的工作流程如下图所示：

简要地讲，扩散模型是一种参数化的 马尔可夫链（parameterized Markov chain），通过 变分推断（variational inference） 进行训练，以在有限时间内生成与数据分布相匹配的样本

模型通过学习 正向扩散过程（即马尔可夫链从原始数据逐步加噪直至信号被破坏）的转移规则，实现对这一过程的逆转（得到反向扩散过程，sample）

如果在正向扩散过程中，每一步添加的噪声都是 小量的高斯噪声，那么反向的采样过程也可以被建模为 条件高斯分布（Conditional Gaussian）

DDPM 数学推导

Eq.(1)\mathrm{Eq.}(1) 推导

扩散模型是一个 潜变量模型（latent variable models），其形式为：

pθ(x0):=∫pθ(x0:T) dx1:Tp_\theta(\mathbf{x}_0) := \int p_\theta(\mathbf{x}_{0:T}) \, d\mathbf{x}_{1:T}

其中，x1,…,xT\mathbf{x}_1, \ldots, \mathbf{x}_T 是与数据 x0\mathbf{x}_0 维度相同的潜变量，x0∼q(x0)\mathbf{x}_0 \sim q(\mathbf{x}_0)

联合分布 pθ(x0:T)p_\theta(\mathbf{x}_{0:T}) 被称为 反向过程（reverse process），它被定义为一个马尔可夫链，其高斯转移由模型学习得出，并从 p(xT)=N(xT;0,I)p(\mathbf{x}_T) = \mathcal{N}(\mathbf{x}_T; \mathbf{0}, \mathbf{I}) 开始：

pθ(x0:T)=p(xT)∏t=1Tpθ(xt−1∣xt),pθ(xt−1∣xt)=N(xt−1;μθ(xt,t),Σθ(xt,t))(1)p_\theta(\mathbf{x}_{0:T}) = p(\mathbf{x}_T) \prod\limits_{t=1}^{T} p_\theta(\mathbf{x}_{t-1}|\mathbf{x}_t), \qquad p_\theta(\mathbf{x}_{t-1} | \mathbf{x}_t) = \mathcal{N}(\mathbf{x}_{t-1} ; \mu_{\theta}(\mathbf{x}_t, t), \Sigma_{\theta}(\mathbf{x}_t, t)) \tag{1}

边缘概率密度

对于连续型随机变量 (X,Y)(X,Y)，设它的概率密度为 f(x,y)f(x,y)

其关于 XX 的边缘概率密度为：

fX(x)=∫−∞∞f(x,y)dyf_X(x)=\int_{-\infty}^\infty f(x,y)dy

同理，关于 YY 的边缘概率密度为：

fY(y)=∫−∞∞f(x,y)dxf_Y(y)=\int_{-\infty}^\infty f(x,y)dx

推导过程

⭐推导：

pθ(x0):=∫pθ(x0:T) dx1:Tp_\theta(\mathbf{x}_0) := \int p_\theta(\mathbf{x}_{0:T}) \, d\mathbf{x}_{1:T}

xT\mathbf{x}_T 表示纯高斯噪声，x0\mathbf{x}_0 表示生成的样本

pθ(x0)p_\theta(\mathbf{x}_0) 表示我们最终从扩散模型生成的数据 x0\mathbf{x}_0 的概率分布

θ\theta 代表的是模型的可训练参数，通常是用于参数化神经网络的权重

由于整个扩散过程拆分成了马尔科夫链，现有 x0,⋯ ,xT\mathbf{x}_0,\cdots,\mathbf{x}_T 共 T+1T+1 个随机变量，其联合概率密度为 pθ(x0,x1,⋯ ,xT)p_\theta(\mathbf{x}_0,\mathbf{x}_1,\cdots,\mathbf{x}_T)，在论文中简写为 pθ(x0:T)p_\theta(\mathbf{x}_{0:T})

pθ(x0)p_\theta(\mathbf{x}_0) 即为联合概率密度 pθ(x0:T)p_\theta(\mathbf{x}_{0:T}) 中关于 x0\mathbf{x}_0 的边缘概率密度

由边缘概率密度的定义：

pθ(x0)=∫pθ(x0:T)dx1dx2…dxT=∫pθ(x0:T)dx1:Tp_{\theta}(\mathbf{x}_0) = \int p_{\theta}(\mathbf{x}_{0:T}) d\mathbf{x}_1 d\mathbf{x}_2 \ldots d\mathbf{x}_T = \int p_{\theta}(\mathbf{x}_{0:T}) d\mathbf{x}_{1:T}

概率的乘法公式

一般，设 A1,A2,⋯ ,AnA_1,A_2,\cdots,A_n 为 nn 个事件，n≥2n \geq 2，且 P(A1,A2,⋯ ,An−1)>0P(A_1,A_2,\cdots,A_{n-1}) \gt 0，则有:

P(A1A2⋯An)=P(An∣A1A2⋯An−1)P(An−1∣A1A2⋯An−2)⋯P(A2∣A1)P(A1)P(A_1A_2\cdots A_n) = P(A_n | A_1A_2\cdots A_{n-1}) P(A_{n-1} | A_1A_2\cdots A_{n-2}) \cdots P(A_2 | A_1) P(A_1)

马尔可夫链

随机过程 {Xn,n=0,1,2,… }\{X_n, n = 0, 1, 2, \dots\} 称为马尔可夫链，若随机过程在某一时刻的随机变量 XnX_n 只取有限或可列个值（比如非负整数集合，若不另作说明，以集合 SS 表示），并且对于任意的 n≥0n \geq 0，及任意状态 i,j,i0,i1,…,in−1∈Si, j, i_0, i_1, \dots, i_{n-1} \in S，有：

P(Xn+1=j∣X0=i0,X1=i1,…,Xn=i)=P(Xn+1=j∣Xn=i)P(X_{n+1} = j | X_0 = i_0, X_1 = i_1, \dots, X_n = i) = P(X_{n+1} = j | X_n = i)

其中，Xn=iX_n = i 表示过程在时刻 nn 处于状态 ii；SS 为该过程的状态空间

推导过程

⭐推导：

pθ(x0:T)=p(xT)∏t=1Tpθ(xt−1∣xt)p_\theta(\mathbf{x}_{0:T}) = p(\mathbf{x}_T) \prod\limits_{t=1}^{T} p_\theta(\mathbf{x}_{t-1}|\mathbf{x}_t)

联合分布 pθ(x0:T)p_\theta(\mathbf{x}_{0:T}) 被定义为一个马尔可夫链

pθ(x0:T)=p(xT)pθ(xT−1∣xT)pθ(xT−2∣xTxT−1)⋯pθ(x0∣x1:T−1)(乘法公式反向分解)=p(xT)pθ(xT−1∣xT)pθ(xT−2∣xT−1)⋯pθ(x0∣x1)(马尔可夫链定义)=p(xT)∏t=1Tpθ(xt−1∣xt)\begin{align*} p_\theta(\mathbf{x}_{0:T}) &= p(\mathbf{x}_T) p_\theta(\mathbf{x}_{T-1}|\mathbf{x}_T) p_\theta(\mathbf{x}_{T-2}|\mathbf{x}_{T}\mathbf{x}_{T-1}) \cdots p_\theta(\mathbf{x}_0|\mathbf{x}_{1:T-1}) \quad (\text{乘法公式反向分解}) \\[5pt] &= p(\mathbf{x}_T) p_\theta(\mathbf{x}_{T-1}|\mathbf{x}_T) p_\theta(\mathbf{x}_{T-2}|\mathbf{x}_{T-1}) \cdots p_\theta(\mathbf{x}_0|\mathbf{x}_1) \quad (\text{马尔可夫链定义}) \\[5pt] &= p(\mathbf{x}_T) \prod\limits_{t=1}^{T} p_\theta(\mathbf{x}_{t-1}|\mathbf{x}_t) \end{align*}

pθ(x0:T)p_\theta(\mathbf{x}_{0:T}) 无 θ\theta 角标，是因为它代表扩散过程的 固定初始噪声分布，不涉及可学习参数。模型的参数化仅作用于反向步骤 pθ(xt−1∣xt)p_\theta(\mathbf{x}_{t-1} | \mathbf{x}_t)

转移概率的概率密度函数 pθ(xt−1∣xt)=N(xt−1;μθ(xt,t),Σθ(xt,t))p_\theta(\mathbf{x}_{t-1} | \mathbf{x}_t) = \mathcal{N}(\mathbf{x}_{t-1} ; \mu_{\theta}(\mathbf{x}_t, t), \Sigma_{\theta}(\mathbf{x}_t, t)) 是关于 xt−1\mathbf{x}_{t-1} 的一个高斯分布，其均值 μθ(xt,t)\mu_{\theta}(\mathbf{x}_t, t) 与 Σθ(xt,t)\Sigma_{\theta}(\mathbf{x}_t, t) 是关于 xt,t\mathbf{x}_t,t 的函数，其值通过学习得到

⭐解释：

pθ(xt−1∣xt)=N(xt−1;μθ(xt,t),Σθ(xt,t))p_\theta(\mathbf{x}_{t-1} | \mathbf{x}_t) = \mathcal{N}(\mathbf{x}_{t-1} ; \mu_{\theta}(\mathbf{x}_t, t), \Sigma_{\theta}(\mathbf{x}_t, t))

为什么 pθ(xt−1∣xt)p_\theta(\mathbf{x}_{t-1} | \mathbf{x}_t) 是一个高斯分布？

由参考文献 [53][53]，大多数扩散模型的正向过程与反向过程可由同一个函数形式描述

正向过程是由人为逐步添加小量的高斯噪声得到的一个高斯分布，故反向过程应与正向过程同为高斯分布

Eq.(2)\mathrm{Eq.}(2) 推导

扩散模型与其他潜变量模型的区别是：

近似后验分布 q(x1:T∣x0)q(\mathbf{x}_{1:T} | \mathbf{x}_0) ，即 正向过程（forward process）（或是 扩散过程（diffusion process）），被固定为了一个马尔可夫链

该过程通过逐步添加高斯噪声，使得数据从真实分布逐渐扩散到一个标准正态分布

噪声的方差由一个预定义的调度参数 β1,⋯ ,βT\beta_1,\cdots,\beta_T 控制：

q(x1:T∣x0)=∏t=1Tq(xt∣xt−1),q(xt∣xt−1)=N(xt;1−βtxt−1,βtI)(2)q(\mathbf{x}_{1:T} | \mathbf{x}_0) = \prod\limits_{t=1}^{T} q(\mathbf{x}_t | \mathbf{x}_{t - 1}), \qquad q(\mathbf{\mathbf{x}}_t | \mathbf{\mathbf{x}}_{t - 1}) = \mathcal{N}(\mathbf{\mathbf{x}}_{t} ; \sqrt{1-\beta_t}\mathbf{\mathbf{x}}_{t-1}, \beta_t \mathbf{I}) \tag{2}

条件概率公式

P(B∣A)=P(AB)P(A)P(B | A) = \frac{P(AB)}{P(A)}

推导过程

⭐推导：

q(x1:T∣x0)=∏t=1Tq(xt∣xt−1)q(\mathbf{x}_{1:T} | \mathbf{x}_0) = \prod\limits_{t=1}^{T} q(\mathbf{x}_t | \mathbf{x}_{t - 1})

q(x1:T∣x0)=q(x0:T)q(x0)=q(x0)q(x1∣x0)q(x2∣x1x0)⋯q(xT∣x0:T−1)q(x0)=q(x0)q(x1∣x0)q(x2∣x1)⋯q(xT∣xT−1)q(x0)=q(x1∣x0)q(x2∣x1)⋯q(xT∣xT−1)=∏t=1Tq(xt∣xt−1)\begin{align*} q(\mathbf{x}_{1:T} | \mathbf{x}_0) &= \dfrac{q(\mathbf{x}_{0:T})}{q(\mathbf{x}_0)} \\[8pt] &= \frac{q(\mathbf{x}_0)q(\mathbf{x}_1 | \mathbf{x}_0)q(\mathbf{x}_2 | \mathbf{x}_1 \mathbf{x}_0)\cdots q(\mathbf{x}_T | \mathbf{x}_{0:T - 1})}{q(\mathbf{x}_0)} \\[5pt] &= \frac{q(\mathbf{x}_0)q(\mathbf{x}_1 | \mathbf{x}_0)q(\mathbf{x}_2 | \mathbf{x}_1)\cdots q(\mathbf{x}_T | \mathbf{x}_{T - 1})}{q(\mathbf{x}_0)} \\[5pt] &= q(\mathbf{x}_1 | \mathbf{x}_0)q(\mathbf{x}_2 | \mathbf{x}_1)\cdots q(\mathbf{x}_T | \mathbf{x}_{T - 1}) \\ &= \prod\limits_{t=1}^{T} q(\mathbf{x}_t | \mathbf{x}_{t - 1}) \end{align*}

⭐解释：

q(xt∣xt−1)=N(xt;1−βtxt−1,βtI)q(\mathbf{\mathbf{x}}_t | \mathbf{\mathbf{x}}_{t - 1}) = \mathcal{N}(\mathbf{\mathbf{x}}_{t} ; \sqrt{1-\beta_t}\mathbf{\mathbf{x}}_{t-1}, \beta_t \mathbf{I})

正向过程的分布是人为确定为上述形式的

Eq.(3)\mathrm{Eq.}(3) 推导

训练是通过优化负对数似然的常规 变分下界（Evidence Lower Bound, ELBO） 来进行的：

E[−log⁡pθ(x0)]≤Eq[−log⁡pθ(x0:T)q(x1:T∣x0)]=Eq[−log⁡p(xT)−∑t≥1log⁡pθ(xt−1∣xt)q(xt∣xt−1)]=L(3)\mathbb{E}[-\log p_\theta(\mathbf{x}_0)] \leq \mathbb{E}_q\left[-\log \frac{p_\theta(\mathbf{x}_{0:T})}{q(\mathbf{x}_{1:T}|\mathbf{x}_0)}\right] = \mathbb{E}_q\left[-\log p(\mathbf{x}_T) - \sum_{t \geq 1} \log \frac{p_\theta(\mathbf{x}_{t-1}|\mathbf{x}_t)}{q(\mathbf{x}_t|\mathbf{x}_{t-1})}\right] = L \tag{3}

Jensen 不等式

Jensen 不等式适用于 凹函数 f(x)f(x)，即对于任意随机变量 XX 和其概率分布 p(x)p(x)：

f(E[X])≥E[f(X)]f(\mathbb{E}[X]) \geq \mathbb{E}[f(X)]

当 f(x)f(x) 是 凸函数 时，方向相反

期望

设连续型随机变量 XX 的概率密度为 f(x)f(x)，若积分

∫−∞+∞xf(x)dx\int_{-\infty}^{+\infty} x f(x)dx

绝对收敛，则称积分 ∫−∞+∞xf(x)dx\int_{-\infty}^{+\infty} x f(x) dx 的值为随机变量 XX 的数学期望，记为 E(X)E(X)，即

E(X)=∫−∞+∞xf(x)dxE(X) = \int_{-\infty}^{+\infty} x f(x) dx

推导过程

⭐推导：

E[−log⁡pθ(x0)]≤Eq[−log⁡pθ(x0:T)q(x1:T∣x0)]=Eq[−log⁡p(xT)−∑t≥1log⁡pθ(xt−1∣xt)q(xt∣xt−1)]\mathbb{E}[-\log p_\theta(\mathbf{x}_0)] \leq \mathbb{E}_q\left[-\log \frac{p_\theta(\mathbf{x}_{0:T})}{q(\mathbf{x}_{1:T}|\mathbf{x}_0)}\right] = \mathbb{E}_q\left[-\log p(\mathbf{x}_T) - \sum_{t \geq 1} \log \frac{p_\theta(\mathbf{x}_{t-1}|\mathbf{x}_t)}{q(\mathbf{x}_t|\mathbf{x}_{t-1})}\right]

目标函数：E[−log⁡pθ(x0)]\mathbb{E} [- \log p_\theta(\mathbf{x}_0)]

最小化 负对数似然（Negative Log Likelihood, NLL），即 最大化数据的对数似然 E[log⁡pθ(x0)]\mathbb{E} [\log p_\theta(\mathbf{x}_0)]

  • pθ(x0)p_\theta (\mathbf{x}_0) 表示我们最终从扩散模型生成的数据 x0\mathbf{x}_0 的概率分布
  • 直接最小化它通常是不可行的，因为计算 pθ(x0)p_\theta(\mathbf{x}_0) 需要求解复杂的积分
  • 这里是最大似然估计的概念补充

优化策略：变分推断（使用变分推断引入上界来优化）

引入一个辅助分布 q(x1:T∣x0)q(\mathbf{x}_{1:T} \mid \mathbf{x}_0)（即近似后验分布，正向扩散过程）进行变分推断来帮助估计对数似然

由 Eq.(1)\mathrm{Eq.(1)} : log⁡pθ(x0)=log⁡∫pθ(x0:T)dx1:T\log p_\theta(\mathbf{x}_0) = \log \int p_\theta(\mathbf{x}_{0:T}) d\mathbf{x}_{1:T}，借由辅助分布 q(x1:T∣x0)q(\mathbf{x}_{1:T} \mid \mathbf{x}_0) 得到：

log⁡pθ(x0)=log⁡∫q(x1:T∣x0)pθ(x0:T)q(x1:T∣x0) dx1:T\log p_\theta(\mathbf{x}_0) = \log \int q(\mathbf{x}_{1:T} | \mathbf{x}_0) \dfrac{p_\theta(\mathbf{x}_{0:T})}{q(\mathbf{x}_{1:T} | \mathbf{x}_0)} \, d\mathbf{x}_{1:T}

我们设：

X=pθ(x0:T)q(x1:T∣x0)X = \frac{p_\theta(\mathbf{x}_{0:T})}{q(\mathbf{x}_{1:T} | \mathbf{x}_0)}

那么原式就变成：

log⁡pθ(x0)=log⁡Eq(x1:T∣x0)[X]\log p_\theta(\mathbf{x}_0) = \log \mathbb{E}_{q(\mathbf{x}_{1:T} | \mathbf{x}_0)} \left[ X \right]

注

这个期望的下标 q(x1:T∣x0)q(\mathbf{x}_{1:T} | \mathbf{x}_0) 表示关于随机变量 x1:T\mathbf{x}_{1:T} 的期望，其中这些变量的分布由 q(x1:T∣x0)q(\mathbf{x}_{1:T} | \mathbf{x}_0) 给出

Eq(x1:T∣x0)\mathbb{E}_{q(\mathbf{x}_{1:T} | \mathbf{x}_0)} 是相对于 q(x1:T∣x0)q(\mathbf{x}_{1:T} | \mathbf{x}_0) 计算的期望，定义如下：

Eq(x1:T∣x0)[f(x1:T)]=∫q(x1:T∣x0)f(x1:T)dx1:T\mathbb{E}_{q(\mathbf{x}_{1:T} | \mathbf{x}_0)} [f(\mathbf{x}_{1:T})] = \int q(\mathbf{x}_{1:T} | \mathbf{x}_0) f(\mathbf{x}_{1:T}) d\mathbf{x}_{1:T}

这里，我们的函数是：

f(x1:T)=log⁡pθ(x0:T)q(x1:T∣x0)f(\mathbf{x}_{1:T}) = \log \frac{p_\theta(\mathbf{x}_{0:T})}{q(\mathbf{x}_{1:T} | \mathbf{x}_0)}

所以：

Eq(x1:T∣x0)[log⁡pθ(x0:T)q(x1:T∣x0)]=∫q(x1:T∣x0)log⁡pθ(x0:T)q(x1:T∣x0) dx1:T\mathbb{E}_{q(\mathbf{x}_{1:T} | \mathbf{x}_0)} \left[ \log \frac{p_\theta(\mathbf{x}_{0:T})}{q(\mathbf{x}_{1:T} | \mathbf{x}_0)} \right] = \int q(\mathbf{x}_{1:T} | \mathbf{x}_0) \log \frac{p_\theta(\mathbf{x}_{0:T})}{q(\mathbf{x}_{1:T} | \mathbf{x}_0)} \, d\mathbf{x}_{1:T}

因为 log⁡(x)\log(x) 是凹函数，我们可以对上式使用 Jensen\mathrm{Jensen} 不等式：

log⁡Eq(x1:T∣x0)[X]≥Eq(x1:T∣x0)[log⁡X]\log \mathbb{E}_{q(\mathbf{x}_{1:T} | \mathbf{x}_0)} \left[ X \right] \geq \mathbb{E}_{q(\mathbf{x}_{1:T} | \mathbf{x}_0)} \left[ \log X \right]

注

因为对数函数 log⁡(x)\log(x) 是凹函数，由 Jensen 不等式：

log⁡E[X]≥E[log⁡X]\log \mathbb{E}[X] \geq \mathbb{E}[\log X]

这个结论很关键，它意味着：如果我们有一个期望的形式 E[X]\mathbb{E}[X]，对它取对数后总是大于等于对数的期望

代入 X=pθ(x0:T)q(x1:T∣x0)X = \dfrac{p_\theta(\mathbf{x}_{0:T})}{q(\mathbf{x}_{1:T} | \mathbf{x}_0)}，我们得到：

log⁡pθ(x0)≥Eq(x1:T∣x0)[log⁡pθ(x0:T)q(x1:T∣x0)]\log p_\theta(\mathbf{x}_0) \geq \mathbb{E}_{q(\mathbf{x}_{1:T} | \mathbf{x}_0)} \left[ \log \frac{p_\theta(\mathbf{x}_{0:T})}{q(\mathbf{x}_{1:T} | \mathbf{x}_0)} \right]

这就是 ELBO（变分下界），也是变分推断的核心结论

由 Eq.(1)(2)\mathrm{Eq.(1)(2)} 展开期望中的对数项：

log⁡pθ(x0:T)q(x1:T∣x0)=log⁡p(xT)+∑t≥1log⁡pθ(xt−1∣xt)q(xt∣xt−1)\log \frac{p_\theta(\mathbf{x}_{0:T})}{q(\mathbf{x}_{1:T} | \mathbf{x}_0)}= \log p(\mathbf{x}_T) + \sum\limits_{t\geq1} \log \frac{p_\theta(\mathbf{x}_{t-1} | \mathbf{x}_t)}{q(\mathbf{x}_t | \mathbf{x}_{t-1})}

最后得到需要优化的 LL

Eq.(4)\mathrm{Eq.}(4) 推导

正向过程的方差 βt\beta_t 可以通过 重参数化（reparameterization） 进行学习，也可以作为超参数保持不变。而反向过程的表达能力部分通过在 pθ(xt−1∣xt)p_\theta(\mathbf{x}_{t-1}|\mathbf{x}_t) 中选择高斯条件分布来确保，因为当 βt\beta_t 较小时，两个过程具有相同的函数形式。正向过程的一个显著特点是，它允许在任意时间步 tt 对 xt\mathbf{x}_t 进行封闭形式的采样：记 αt=1−βt\alpha_t = 1 - \beta_t 和 αˉt=∏s=1tαs\bar{\alpha}_t = \prod_{s=1}^t \alpha_s，我们有：

q(xt∣x0)=N(xt;αtˉx0,(1−αtˉ)I)(4)q(\mathbf{\mathbf{x}}_t | \mathbf{\mathbf{x}}_0) = \mathcal{N}(\mathbf{\mathbf{x}}_{t} ; \sqrt{\bar{\alpha_t}}\mathbf{\mathbf{x}}_0, (1-\bar{\alpha_t}) \mathbf{I}) \tag{4}

重参数化

重参数化（Reparameterization） 是一种数学技巧，用于将一个随机变量的采样过程分解为：

  1. 确定性部分（可微的参数化变换）

  2. 随机性部分（来自一个固定、简单的分布）

其核心目的是让随机变量的生成过程对参数可微，从而支持基于梯度的优化（如深度学习中的反向传播）

假设我们有一个随机变量 x\mathbf{x}，它服从某个参数化分布（如高斯分布 x∼N(μ,σ2)\mathbf{x} \sim \mathcal{N}(\mu, \sigma^2)）

直接采样 x\mathbf{x} 是不可微的（因为采样是一个随机操作，无法计算梯度）

重参数化的思路：

  • 将采样过程重新表述为一个由噪声变量和模型参数决定的确定性函数。我们不再直接从分布中采样，而是从一个简单且固定的分布（如标准正态分布）中采样一个噪声变量，然后通过一个确定性的变换函数来计算采样值

  • 然后通过一个确定性变换 g(θ,ϵ)g(\theta, \epsilon) 生成 XX，使得 XX 仍然服从目标分布，但梯度可以计算

在高斯分布的重参数化中，确定性变换 g(θ,ϵ)g(\theta, \epsilon)是将参数 θ=(μ,σ)\theta = (\mu, \sigma) 和基础噪声 ϵ\epsilon 映射到目标随机变量 XX 的数学表达式。具体形式为：

X=g(θ,ϵ)=μ+σ⋅ϵ,ϵ∼N(0,1)X = g(\theta, \epsilon) = \mu + \sigma \cdot \epsilon, \quad \epsilon \sim \mathcal{N}(0, 1)

高斯分布的性质决定了其重参数化可以通过简单的线性变换实现：

  • 平移（+μ+\mu）：调整均值

  • 缩放（×σ\times \sigma）：调整方差

  • 变换后的 XX 仍严格服从 N(μ,σ2)\mathcal{N}(\mu, \sigma^2)，因为：

E[X]=μ+σ⋅E[ϵ]=μ,Var(X)=σ2⋅Var(ϵ)=σ2\mathbb{E}[X] = \mu + \sigma \cdot \mathbb{E}[\epsilon] = \mu, \quad \mathrm{Var}(X) = \sigma^2 \cdot \mathrm{Var}(\epsilon) = \sigma^2

重参数化的核心优势是可微性。对 θ=(μ,σ)\theta = (\mu, \sigma) 的梯度为：

\frac{\partial X}{\partial \mu} = 1, \quad \frac{\partial X}{\partial \sigma} = \epsilon $$   梯度可通过反向传播计算，而 $\epsilon$ 被视为常量（因其来自固定分布）

推导过程

⭐推导：

q(xt∣x0)=N(xt;αtˉx0,(1−αtˉ)I)q(\mathbf{\mathbf{x}}_t | \mathbf{\mathbf{x}}_0) = \mathcal{N}(\mathbf{\mathbf{x}}_{t} ; \sqrt{\bar{\alpha_t}}\mathbf{\mathbf{x}}_0, (1-\bar{\alpha_t}) \mathbf{I})

由 Eq.(2)\mathrm{Eq}.(2)：q(xt∣xt−1)=N(xt;1−βtxt−1,βtI)q(\mathbf{\mathbf{x}}_t | \mathbf{\mathbf{x}}_{t - 1}) = \mathcal{N}(\mathbf{\mathbf{x}}_{t} ; \sqrt{1-\beta_t}\mathbf{\mathbf{x}}_{t-1}, \beta_t \mathbf{I})，利用重参数化展开得到：

xt=αtxt−1+βtϵt−1,whereϵt−1∼N(0,I)\mathbf{x}_t = \sqrt{\alpha_t} \mathbf{x}_{t-1} + \sqrt{\beta_t} \epsilon_{t-1}, \quad \mathrm{where} \quad \epsilon_{t-1} \sim \mathcal{N}(0, \mathbf{I})

其中记 αt=1−βt\alpha_t = 1-\beta_t

对 xt−1\mathbf{\mathbf{x}}_{t-1} 继续递推展开：

xt−1=αt−1xt−2+βt−1ϵt−2\mathbf{x}_{t-1} = \sqrt{\alpha_{t-1}}\mathbf{x}_{t-2} + \sqrt{\beta_{t-1}}\epsilon_{t-2}

将 xt−1\mathbf{\mathbf{x}}_{t-1}带入 xt\mathbf{\mathbf{x}}_t 的表达式中：

xt=αt (αt−1 xt−2+βt−1 ϵt−2)+βt ϵt−1=αt αt−1xt−2+αt βt−1ϵt−2+βt ϵt−1\mathbf{x}_t = \sqrt{\alpha_t}\,\Bigl(\sqrt{\alpha_{t-1}}\,\mathbf{x}_{t-2} + \sqrt{\beta_{t-1}}\,\epsilon_{t-2}\Bigr)+ \sqrt{\beta_t}\,\epsilon_{t-1} = \sqrt{\alpha_t\,\alpha_{t-1}}\mathbf{x}_{t-2}+\sqrt{\alpha_t}\,\sqrt{\beta_{t-1}}\epsilon_{t-2}+\sqrt{\beta_t}\,\epsilon_{t-1}

对 xt−2\mathbf{\mathbf{x}}_{t-2} 继续递推展开：

xt−2=αt−2xt−3+βt−2ϵt−3\mathbf{x}_{t-2} = \sqrt{\alpha_{t-2}}\mathbf{x}_{t-3} + \sqrt{\beta_{t-2}}\epsilon_{t-3}

将 xt−2\mathbf{\mathbf{x}}_{t-2}带入 xt−1\mathbf{\mathbf{x}}_{t-1} 的表达式中：

xt=αt αt−1 αt−2xt−3+αt αt−1βt−2ϵt−3+αt βt−1ϵt−2+βt ϵt−1\mathbf{x}_t = \sqrt{\alpha_t\,\alpha_{t-1}\,\alpha_{t-2}} \mathbf{x}_{t-3}+\sqrt{\alpha_t\,\alpha_{t-1}}\sqrt{\beta_{t-2}}\epsilon_{t-3}+\sqrt{\alpha_t}\,\sqrt{\beta_{t-1}}\epsilon_{t-2}+\sqrt{\beta_t}\,\epsilon_{t-1}

最终得到 xt\mathbf{x}_t 的表达式：

xt=(∏s=1tαs)⏟αˉt x0+∑i=1t(βi∏j=i+1tαj)⏟噪声系数ϵi−1\boxed{\mathbf{x}_t =\underbrace{\Bigl(\prod_{s=1}^{t}\sqrt{\alpha_s}\Bigr)}_{\sqrt{\bar{\alpha}_t}}\,x_0+\sum_{i=1}^{t}\underbrace{\Bigl(\sqrt{\beta_i}\prod_{j=i+1}^{t}\sqrt{\alpha_j}\Bigr)}_{\text{噪声系数}}\epsilon_{i-1}}

其中记 αˉt=∏s=1tαs\bar{\alpha}_t = \prod_{s=1}^{t}\alpha_s

推导过程（续）

下面利用数学归纳发证明 ∑i=1t(βi∏j=i+1tαj)ϵi−1∼N(0,1−αˉt)\sum_{i=1}^{t} \left( \sqrt{\beta_i} \prod_{j=i+1}^{t} \sqrt{\alpha_j} \right) \epsilon_{i-1} \sim \mathcal{N}\left(0, 1 - \bar{\alpha}_t\right)

因为 ϵi−1∼N(0,I)\epsilon_{i-1} \sim \mathcal{N}(0, \mathbf{I}) 独立同分布，有：

Var(∑i=1t(βi∏j=i+1tαj)ϵi−1)=∑i=1t(βi∏j=i+1tαj)2⋅Var(ϵi−1)\mathrm{Var}\left( \sum_{i=1}^{t} \left( \sqrt{\beta_i} \prod_{j=i+1}^{t} \sqrt{\alpha_j} \right) \epsilon_{i-1} \right) = \sum_{i=1}^{t} \left( \sqrt{\beta_i} \prod_{j=i+1}^{t} \sqrt{\alpha_j} \right)^2 \cdot \mathrm{Var}(\epsilon_{i-1})

注

下面是有关方差的一些性质：

  • 缩放：若 XX 是均值为 00 的随机变量，则

Var(c X)=c2 Var(X) \mathrm{Var}(c\,X) = c^2\,\mathrm{Var}(X)

  • 独立和：若 XX 与 YY 独立，则

Var(X+Y)=Var(X)+Var(Y)\mathrm{Var}(X + Y) = \mathrm{Var}(X) + \mathrm{Var}(Y)

将这两条性质结合起来，就得到：

Var(ai ϵi−1)=ai2 Var(ϵi−1),Var(∑iXi)=∑iVar(Xi)(当 Xi 相互独立)\mathrm{Var}\bigl(a_i\,\epsilon_{i-1}\bigr) = a_i^2 \,\mathrm{Var}(\epsilon_{i-1}),\quad \mathrm{Var}\Bigl(\sum_i X_i\Bigr) = \sum_i \mathrm{Var}(X_i)\quad(\text{当 }X_i\text{ 相互独立})

而 Var(ϵi−1)=1\mathrm{Var}(\epsilon_{i-1}) = 1，所以：

Var=∑i=1t(βi∏j=i+1tαj)2=∑i=1t(βi∏j=i+1tαj)\mathrm{Var} = \sum_{i=1}^{t} \left( \sqrt{\beta_i} \prod_{j=i+1}^{t} \sqrt{\alpha_j} \right)^2 = \sum_{i=1}^{t} \left(\beta_i \prod_{j=i+1}^{t} \alpha_j\right)

即要证明，对于所有正整数 tt 有：

∑i=1t(βi∏j=i+1tαj)=1−αˉt\sum_{i=1}^{t} \left(\beta_i \prod_{j=i+1}^{t} \alpha_j \right) = 1 - \bar{\alpha}_t

其中

αˉt=∏s=1tαs,βi=1−αi\bar{\alpha}_t = \prod_{s=1}^{t} \alpha_s, \quad \beta_i = 1 - \alpha_i

  1. 基础情况：t=1t = 1

    当 t=1t=1 时，左边的求和只有一项：

    ∑i=11(βi∏j=i+11αj)=β1⋅1=β1\sum_{i=1}^{1} \left(\beta_i \prod_{j=i+1}^{1} \alpha_j \right) = \beta_1 \cdot 1 = \beta_1

    右边为：

    1−αˉ1=1−α11 - \bar{\alpha}_1 = 1 - \alpha_1

    因为 β1=1−α1\beta_1 = 1 - \alpha_1，所以等式成立

  2. 归纳假设：假设对于 t=kt = k 成立

    ∑i=1k(βi∏j=i+1kαj)=1−αˉk\sum_{i=1}^{k} \left(\beta_i \prod_{j=i+1}^{k} \alpha_j \right) = 1 - \bar{\alpha}_k

  3. 归纳步骤：证明 t=k+1t = k+1 时也成立

    我们需要证明：

    ∑i=1k+1(βi∏j=i+1k+1αj)=1−αˉk+1\sum_{i=1}^{k+1} \left(\beta_i \prod_{j=i+1}^{k+1} \alpha_j \right) = 1 - \bar{\alpha}_{k+1}

    其中 αˉk+1=αˉk⋅αk+1\bar{\alpha}_{k+1} = \bar{\alpha}_k \cdot \alpha_{k+1}

    将求和拆分为前 kk 项和最后一项：

    ∑i=1k+1(βi∏j=i+1k+1αj)=∑i=1k(βi∏j=i+1k+1αj)+βk+1\sum_{i=1}^{k+1} \left(\beta_i \prod_{j=i+1}^{k+1} \alpha_j \right) = \sum_{i=1}^{k} \left(\beta_i \prod_{j=i+1}^{k+1} \alpha_j \right) + \beta_{k+1}

    注意到对于 1≤i≤k1 \le i \le k，有：

    ∏j=i+1k+1αj=(∏j=i+1kαj)⋅αk+1\prod_{j=i+1}^{k+1} \alpha_j = \left( \prod_{j=i+1}^{k} \alpha_j \right) \cdot \alpha_{k+1}

    因此，

    ∑i=1k(βi∏j=i+1k+1αj)=αk+1∑i=1k(βi∏j=i+1kαj)\sum_{i=1}^{k} \left(\beta_i \prod_{j=i+1}^{k+1} \alpha_j \right) = \alpha_{k+1} \sum_{i=1}^{k} \left(\beta_i \prod_{j=i+1}^{k} \alpha_j \right)

    根据归纳假设，

    ∑i=1k(βi∏j=i+1kαj)=1−αˉk\sum_{i=1}^{k} \left(\beta_i \prod_{j=i+1}^{k} \alpha_j \right) = 1 - \bar{\alpha}_k

    所以上式变为：

    αk+1(1−αˉk)\alpha_{k+1}(1 - \bar{\alpha}_k)

    再加上最后一项 βk+1=1−αk+1\beta_{k+1} = 1 - \alpha_{k+1}：

    αk+1(1−αˉk)+(1−αk+1)=1−αk+1αˉk\alpha_{k+1}(1 - \bar{\alpha}_k) + (1 - \alpha_{k+1}) = 1 - \alpha_{k+1} \bar{\alpha}_k

    而

    αˉk+1=αˉk⋅αk+1\bar{\alpha}_{k+1} = \bar{\alpha}_k \cdot \alpha_{k+1}

    所以我们得到：

    ∑i=1k+1(βi∏j=i+1k+1αj)=1−αˉk+1\sum_{i=1}^{k+1} \left(\beta_i \prod_{j=i+1}^{k+1} \alpha_j \right) = 1 - \bar{\alpha}_{k+1}

    证毕

Eq.(5)\mathrm{Eq.}(5) 推导

至此，对损失函数 LL 的随机项进行随机梯度下降来实现高效训练。进一步地，通过将 LL 重写为以下形式以减小方差：

L=Eq[−log⁡p(xT)−∑t≥1log⁡pθ(xt−1∣xt)q(xt∣xt−1)]⇒Eq[DKL(q(xT∣x0) ∥ p(xT))⏟LT+∑t=2TDKL(q(xt−1∣xt,x0) ∥ pθ(xt−1∣xt))⏟Lt−1−log⁡pθ(x0∣x1)⏟L0]\begin{align*} L &= \mathbb{E}_q\left[-\log p(\mathbf{x}_T) - \sum_{t \geq 1} \log \frac{p_\theta(\mathbf{x}_{t-1}|\mathbf{x}_t)}{q(\mathbf{x}_t|\mathbf{x}_{t-1})}\right] \\[7pt] &\Rightarrow \mathbb{E}_q\Bigl[\underbrace{D_{\mathrm{KL}}\bigl(q(x_T|x_0)\,\|\,p(x_T)\bigr)}_{L_T} +\sum_{t=2}^T\underbrace{D_{\mathrm{KL}}\bigl(q(\mathbf{x}_{t-1}|\mathbf{x}_t,x_0)\,\|\,p_\theta(\mathbf{x}_{t-1}|\mathbf{x}_t)\bigr)}_{L_{t-1}} -\underbrace{\log p_\theta(x_0|x_1)}_{L_0}\Bigr] \tag{5} \end{align*}

推导过程

⭐推导：

L⇒Eq[DKL(q(xT∣x0) ∥ p(xT))⏟LT+∑t=2TDKL(q(xt−1∣xt,x0) ∥ pθ(xt−1∣xt))⏟Lt−1−log⁡pθ(x0∣x1)⏟L0]L \Rightarrow \mathbb{E}_q\Bigl[\underbrace{D_{\mathrm{KL}}\bigl(q(x_T|x_0)\,\|\,p(x_T)\bigr)}_{L_T} +\sum_{t=2}^T\underbrace{D_{\mathrm{KL}}\bigl(q(\mathbf{x}_{t-1}|\mathbf{x}_t,x_0)\,\|\,p_\theta(\mathbf{x}_{t-1}|\mathbf{x}_t)\bigr)}_{L_{t-1}} -\underbrace{\log p_\theta(x_0|x_1)}_{L_0}\Bigr]

L=Eq[−log⁡p(xT)−∑t=1Tlog⁡pθ(xt−1∣xt)q(xt∣xt−1)]⇒t=TEq[−log⁡p(xT)+log⁡q(xT∣x0) ]+Eq[−∑t=1Tlog⁡pθ(xt−1∣xt)q(xt∣xt−1)−log⁡q(xT∣x0) ]=DKL(q(xT∣x0) ∥ p(xT))⏟LT+Eq[−∑t=1Tlog⁡pθ(xt−1∣xt)+∑t=1T−1log⁡q(xt∣xt−1,x0)]⇒1<t≤TLT+∑t=2TEq[−log⁡pθ(xt−1∣xt)+log⁡q(xt−1∣xt,x0)]⏟DKL(q(xt−1∣xt,x0)∥pθ(xt−1∣xt))=Lt−1−Eq[log⁡pθ(x0∣x1)]⏟L0\begin{aligned} L &= \mathbb{E}_{q}\Bigl[-\log p(x_T)-\sum_{t=1}^T \log\frac{p_\theta(\mathbf{x}_{t-1}\mid \mathbf{x}_t)}{q(\mathbf{x}_t\mid \mathbf{x}_{t-1})}\Bigr]\\[8pt] &\overset{t=T}{\Rightarrow}\mathbb{E}_{q}\Bigl[-\log p(x_T) \boxed{+ \log q(x_T\mid x_0)}\ \Bigr] +\mathbb{E}_{q}\Bigl[-\sum_{t=1}^{T} \log\frac{p_\theta(\mathbf{x}_{t-1}\mid \mathbf{x}_t)}{q(\mathbf{x}_t\mid \mathbf{x}_{t-1})} \boxed{- \log q(x_T\mid x_0)}\ \Bigr] \\[6pt] &= \underbrace{D_{\rm KL}\bigl(q(x_T\mid x_0)\,\|\,p(x_T)\bigr)}_{L_T} +\mathbb{E}_{q}\Bigl[-\sum_{t=1}^{T} \log p_\theta(\mathbf{x}_{t-1}\mid \mathbf{x}_t) +\sum_{t=1}^{T-1}\log q(\mathbf{x}_t\mid \mathbf{x}_{t-1},x_0)\Bigr] \\[6pt] &\overset{1<t\le T}{\Rightarrow}L_T +\sum_{t=2}^T\underbrace{\mathbb{E}_{q}\Bigl[-\log p_\theta(\mathbf{x}_{t-1}\mid \mathbf{x}_t) +\log q(\mathbf{x}_{t-1}\mid \mathbf{x}_t,x_0)\Bigr]}_{D_{\rm KL}(q(\mathbf{x}_{t-1}|\mathbf{x}_t,x_0)\|p_\theta(\mathbf{x}_{t-1}|\mathbf{x}_t)) =L_{t-1}} -\underbrace{\mathbb{E}_{q}\bigl[\log p_\theta(x_0\mid x_1)\bigr]}_{L_0} \\[6pt] \end{aligned}

Eq.(6)\mathrm{Eq.}(6) & Eq.(7)\mathrm{Eq.}(7) 推导

Eq.(5)\mathrm{Eq.}(5) 使用 KL 散度直接比较 pθ(xt−1∣xt)p_\theta(\mathbf{x}_{t-1}|\mathbf{x}_t) 与正向过程的后验分布，当以x0\mathbf{x}_0 为条件时，该后验分布具有解析解：

q(xt−1∣xt,x0)=N(xt−1; μ~t(xt,x0), β~tI)(6)q(\mathbf{x}_{t-1}|\mathbf{x}_t, \mathbf{x}_0) = \mathcal{N}(\mathbf{x}_{t-1};\, \tilde{\boldsymbol{\mu}}_t(\mathbf{x}_t, \mathbf{x}_0),\, \tilde{\beta}_t \mathbf{I}) \tag{6}

其中

μ~t(xt,x0):=αˉt−1βt1−αˉtx0+αt(1−αˉt−1)1−αˉtxtandβ~t:=1−αˉt−11−αˉtβt(7)\tilde{\boldsymbol{\mu}}_t(\mathbf{x}_t, \mathbf{x}_0) := \frac{\sqrt{\bar{\alpha}_{t-1}} \beta_t}{1 - \bar{\alpha}_t} \mathbf{x}_0 + \frac{\sqrt{\alpha_t}(1 - \bar{\alpha}_{t-1})}{1 - \bar{\alpha}_t} \mathbf{x}_t \quad \mathrm{and} \quad \tilde{\beta}_t := \frac{1 - \bar{\alpha}_{t-1}}{1 - \bar{\alpha}_t} \beta_t \tag{7}

因此，Eq.(5)\mathrm{Eq.}(5) 中的所有 KL 散度项均为高斯分布间的比较，可通过 Rao-Blackwell 化方法直接计算其闭式解，从而避免高方差的 Monte Carlo 估计

推导过程

⭐推导：

q(xt−1∣xt,x0)=N(xt−1; μ~t(xt,x0), β~tI)q(\mathbf{x}_{t-1}|\mathbf{x}_t, \mathbf{x}_0) = \mathcal{N}(\mathbf{x}_{t-1};\, \tilde{\boldsymbol{\mu}}_t(\mathbf{x}_t, \mathbf{x}_0),\, \tilde{\beta}_t \mathbf{I})

其中

μt(xt,x0):=αˉt−1βt1−αˉtx0+αt(1−αˉt−1)1−αˉtxtandβt:=1−αˉt−11−αˉtβt\boldsymbol{\mu}_t(\mathbf{x}_t, \mathbf{x}_0) := \frac{\sqrt{\bar{\alpha}_{t-1}} \beta_t}{1 - \bar{\alpha}_t} \mathbf{x}_0 + \frac{\sqrt{\alpha_t}(1 - \bar{\alpha}_{t-1})}{1 - \bar{\alpha}_t} \mathbf{x}_t \quad \mathrm{and} \quad \beta_t := \frac{1 - \bar{\alpha}_{t-1}}{1 - \bar{\alpha}_t} \beta_t

  1. 正向过程

    q(xt∣xt−1)=N(xt; αt xt−1, βtI),αt=1−βtq(\mathbf{x}_t\mid \mathbf{x}_{t-1}) = \mathcal{N}\bigl(\mathbf{x}_t;\,\sqrt{\alpha_t}\,\mathbf{x}_{t-1},\,\beta_t I\bigr), \quad \alpha_t = 1-\beta_t

  2. 累积保留率

    αˉt  =  ∏s=1tαs,则有  q(xt∣x0)=N(xt; αˉt x0, (1−αˉt)I)\bar\alpha_t \;=\;\prod_{s=1}^t \alpha_s, \quad \text{则有} \;q(\mathbf{x}_t\mid x_0)=\mathcal{N}\bigl(\mathbf{x}_t;\,\sqrt{\bar\alpha_t}\,x_0,\,(1-\bar\alpha_t)I\bigr)

  3. 联合高斯分布（二元变量）

    (xt−1xt)  ∣  x0∼N ⁣((αˉt−1 x0αˉt x0)⏟μ,((1−αˉt−1) Iαt(1−αˉt−1) Iαt(1−αˉt−1) I(1−αˉt) I)⏟Σ)\begin{pmatrix}\mathbf{x}_{t-1}\\\mathbf{x}_t\end{pmatrix} \;\bigg|\;x_0 \sim \mathcal{N}\!\Bigl( \underbrace{\begin{pmatrix}\sqrt{\bar\alpha_{t-1}}\,x_0\\[2pt]\sqrt{\bar\alpha_t}\,x_0\end{pmatrix}}_{\mu}, \underbrace{\begin{pmatrix} (1-\bar\alpha_{t-1})\,I & \sqrt{\alpha_t}(1-\bar\alpha_{t-1})\,I\\[3pt] \sqrt{\alpha_t}(1-\bar\alpha_{t-1})\,I & (1-\bar\alpha_t)\,I \end{pmatrix}}_{\Sigma} \Bigr)

  4. 条件高斯公式
    对于

    (uv) ⁣∼ ⁣N ⁣( ⁣(μu,μv),(Σuu,Σuv;Σvu,Σvv)) \begin{pmatrix}u\\v\end{pmatrix}\!\sim\! \mathcal{N}\!\bigl(\!(\mu_u,\mu_v),(\Sigma_{uu},\Sigma_{uv};\Sigma_{vu},\Sigma_{vv})\bigr)

    有

    p(u∣v)=N(u; μu+ΣuvΣvv−1(v−μv),  Σuu−ΣuvΣvv−1Σvu)p(u\mid v) = \mathcal{N}\bigl(u;\,\mu_u + \Sigma_{uv}\Sigma_{vv}^{-1}(v-\mu_v),\; \Sigma_{uu}-\Sigma_{uv}\Sigma_{vv}^{-1}\Sigma_{vu}\bigr)

  5. 计算后验均值

    • 令 u=xt−1, v=xtu=\mathbf{x}_{t-1},\,v=\mathbf{x}_t。
    • Σuv=αt(1−αˉt−1)I,  Σvv=(1−αˉt)I\Sigma_{uv}=\sqrt{\alpha_t}(1-\bar\alpha_{t-1})I,\;\Sigma_{vv}=(1-\bar\alpha_t)I。

    μt(xt,x0)=μu+ΣuvΣvv−1(xt−μv)=αˉt−1 x0+αt(1−αˉt−1)1−αˉt(xt−αˉt x0)=αˉt−1 (1−αt)1−αˉt x0+αt(1−αˉt−1)1−αˉt xt=αˉt−1  βt1−αˉt x0+αt (1−αˉt−1)1−αˉt xt\begin{aligned} \mu_t(\mathbf{x}_t,x_0) &= \mu_u + \Sigma_{uv}\Sigma_{vv}^{-1}(\mathbf{x}_t-\mu_v) \\[3pt] &= \sqrt{\bar\alpha_{t-1}}\,x_0 + \frac{\sqrt{\alpha_t}(1-\bar\alpha_{t-1})}{1-\bar\alpha_t} \bigl(\mathbf{x}_t - \sqrt{\bar\alpha_t}\,x_0\bigr) \\[4pt] &= \frac{\sqrt{\bar\alpha_{t-1}}\,(1-\alpha_t)}{1-\bar\alpha_t}\,x_0 + \frac{\sqrt{\alpha_t}(1-\bar\alpha_{t-1})}{1-\bar\alpha_t}\,\mathbf{x}_t \\[2pt] &= \frac{\sqrt{\bar\alpha_{t-1}}\;\beta_t}{1-\bar\alpha_t}\,x_0 + \frac{\sqrt{\alpha_t}\,(1-\bar\alpha_{t-1})}{1-\bar\alpha_t}\,\mathbf{x}_t \end{aligned}

  6. 计算后验方差

    βt I=Σuu−ΣuvΣvv−1Σvu=(1−αˉt−1) I−(αt(1−αˉt−1))21−αˉt I=(1−αˉt−1) βt1−αˉt I\begin{aligned} \beta_t\,I &= \Sigma_{uu} - \Sigma_{uv}\Sigma_{vv}^{-1}\Sigma_{vu} \\[3pt] &= (1-\bar\alpha_{t-1})\,I - \frac{\bigl(\sqrt{\alpha_t}(1-\bar\alpha_{t-1})\bigr)^2}{1-\bar\alpha_t}\,I \\[4pt] &= \frac{(1-\bar\alpha_{t-1})\,\beta_t}{1-\bar\alpha_t}\,I \end{aligned}

  7. 最终后验分布（Eq.(6)\mathrm{Eq.}(6) & Eq.(7)\mathrm{Eq.}(7)）

    q(xt−1∣xt,x0)=N(xt−1; μ~t(xt,x0), β~t I) ,\boxed{ q(\mathbf{x}_{t-1}\mid \mathbf{x}_t,x_0) = \mathcal{N}\bigl(\mathbf{x}_{t-1};\,\tilde\mu_t(\mathbf{x}_t,x_0),\,\tilde\beta_t\,I\bigr)}\ ,

    μt(xt,x0)=αˉt−1  βt1−αˉt x0+αt (1−αˉt−1)1−αˉt xt,βt=1−αˉt−11−αˉt βt\mu_t(\mathbf{x}_t,x_0)= \frac{\sqrt{\bar\alpha_{t-1}}\;\beta_t}{1-\bar\alpha_t}\,x_0+\frac{\sqrt{\alpha_t}\,(1-\bar\alpha_{t-1})}{1-\bar\alpha_t}\,\mathbf{x}_t, \quad \beta_t = \frac{1-\bar\alpha_{t-1}}{1-\bar\alpha_t}\,\beta_t

DDPM 训练原理

正向过程与 LTL_T

我们暂不考虑通过重参数化学习 βt\beta_t 的可能性，而是简单地将其设定为常数。在论文的实现中，后验分布 qq 并不含可学习参数，因此 LTL_T 在训练过程中为常数项，可在损失函数中忽略不计

反向过程与 L1:T−1L_{1:T-1}

我们接下来分析反向过程中的分布 p(xt−1∣xt)p(\mathbf{x}_{t-1} | \mathbf{x}_t)，该分布被建模为高斯形式：

p(xt−1∣xt)=N(xt−1;μθ(xt,t),Σθ(xt,t))p(\mathbf{x}_{t-1} | \mathbf{x}_t) = \mathcal{N}(\mathbf{x}_{t-1}; \mu_\theta(\mathbf{x}_t, t), \Sigma_\theta(\mathbf{x}_t, t))

对任意 1≤t≤T1 \leq t \leq T 均成立

首先，对于协方差 Σθ(xt,t)\Sigma_\theta(\mathbf{x}_t, t)，我们设置为时间相关的固定常数，即 Σθ(xt,t)=σt2I\Sigma_\theta(\mathbf{x}_t, t) = \sigma_t^2 I，且不参与训练。在实验中，σt2=βt\sigma_t^2 = \beta_t 与 σt2=1−αˉt−11−αˉtβt\sigma_t^2 = \frac{1 - \bar{\alpha}_{t-1}}{1 - \bar{\alpha}_t} \beta_t 均取得了相似的效果。前者适用于 x0∼N(0,I)x_0 \sim \mathcal{N}(0, I) 的情况，后者适用于将 x0x_0 映射为固定值的情形。这两个选择在反向过程的熵约束中，分别对应于单位方差数据的上下界

接下来，我们引入对均值项 μθ(xt,t)\mu_\theta(\mathbf{x}_t, t) 的一种特殊参数化形式，该形式的灵感来自对损失项 LtL_t 的分析

由 Eq.(4)\mathrm{Eq.}(4) 可知：

p(xt−1∣xt)=N(xt−1;μθ(xt,t),σt2I)p(\mathbf{x}_{t-1} | \mathbf{x}_t) = \mathcal{N}(\mathbf{x}_{t-1}; \mu_\theta(\mathbf{x}_t, t), \sigma_t^2 I)

其对应的损失函数为：

Lt−1=Eq[12σt2∥μ^t(xt,x0)−μθ(xt,t)∥2]+C(8)L_{t-1} = \mathbb{E}_q \left[ \frac{1}{2\sigma_t^2} \| \hat{\mu}_t(\mathbf{x}_t, x_0) - \mu_\theta(\mathbf{x}_t, t) \|^2 \right] + C \tag{8}

其中 CC 为与 x0x_0 无关的常数。因此，最直接的方式是令模型直接拟合 μ^t\hat{\mu}_t，即正向过程后验分布的均值

我们可以进一步重参数化该表达式，设 xt=αˉtx0+1−αˉtϵ\mathbf{x}_t = \sqrt{\bar{\alpha}_t} x_0 + \sqrt{1 - \bar{\alpha}_t} \epsilon，其中 ϵ∼N(0,I)\epsilon \sim \mathcal{N}(0, I)，代入 Eq.(7)\mathrm{Eq.}(7) 得：

Lt−1−C=Ex0,ϵ[12σt2∥μ^t(xt(x0,ϵ),1αˉt(xt(x0,ϵ)−1−αˉtϵ))−μθ(xt(x0,ϵ),t)∥2](9)L_{t-1} - C = \mathbb{E}_{x_0, \epsilon} \left[ \frac{1}{2\sigma_t^2} \left\| \hat{\mu}_t\left(\mathbf{x}_t(x_0, \epsilon), \frac{1}{\sqrt{\bar{\alpha}_t}}(\mathbf{x}_t(x_0, \epsilon) - \sqrt{1 - \bar{\alpha}_t} \epsilon) \right) - \mu_\theta(\mathbf{x}_t(x_0, \epsilon), t) \right\|^2 \right] \tag{9}

最终可化简为：

=Ex0,ϵ[12σt2∥1αˉt(xt(x0,ϵ)−βt1−αˉtϵ)−μθ(xt(x0,ϵ),t)∥2](10)= \mathbb{E}_{x_0, \epsilon} \left[ \frac{1}{2\sigma_t^2} \left\| \frac{1}{\sqrt{\bar{\alpha}_t}} \left( \mathbf{x}_t(x_0, \epsilon) - \frac{\beta_t}{\sqrt{1 - \bar{\alpha}_t}} \epsilon \right) - \mu_\theta(\mathbf{x}_t(x_0, \epsilon), t) \right\|^2 \right] \tag{10}

算法流程如下：

Eq.(10)\mathrm{Eq.}(10) 表明，在给定 xt\mathbf{x}_t 的条件下，μθ\mu_\theta 能够重现表达式 1αt(xt−βt1−αˉtϵ)\frac{1}{\sqrt{\alpha_t}}(\mathbf{x}_t - \frac{\beta_t}{\sqrt{1 - \bar{\alpha}_t}} \epsilon)。既然 xt\mathbf{x}_t 是模型输入，我们采用以下参数化方式：

μθ(xt,t)=μ^t(xt,1αt(xt−1−αˉtϵθ(xt)))=1αt(xt−βt1−αˉtϵθ(xt,t))(11)\mu_\theta(\mathbf{x}_t, t) = \hat{\mu}_t \left( \mathbf{x}_t, \frac{1}{\sqrt{\alpha_t}}(\mathbf{x}_t - \sqrt{1 - \bar{\alpha}_t} \epsilon_\theta(\mathbf{x}_t)) \right) = \frac{1}{\sqrt{\alpha_t}} \left( \mathbf{x}_t - \frac{\beta_t}{\sqrt{1 - \bar{\alpha}_t}} \epsilon_\theta(\mathbf{x}_t, t) \right) \tag{11}

其中，ϵθ\epsilon_\theta 是一个函数近似器，用于从输入 xt\mathbf{x}_t 中预测噪声项 ϵ\epsilon。为了从 xt\mathbf{x}_t 得到 xt−1\mathbf{x}_{t-1}，有：

xt−1=1αt(xt−βt1−αˉtϵθ(xt,t))+σtz,z∼N(0,I)\mathbf{x}_{t-1} = \frac{1}{\sqrt{\alpha_t}} \left( \mathbf{x}_t - \frac{\beta_t}{\sqrt{1 - \bar{\alpha}_t}} \epsilon_\theta(\mathbf{x}_t, t) \right) + \sigma_t z, \quad z \sim \mathcal{N}(0, I)

这一完整的采样过程（即 Algorithm 2\mathrm{\bold{Algorithm\ 2}}），在形式上类似于基于得分函数学习的 Langevin 动力学。此外，采用参数化形式 Eq.(11)\mathrm{Eq.}(11) 时，Eq.(10)\mathrm{Eq.}(10) 可进一步简化为：

Ex0,ϵ[βt22σt2αt(1−αˉt)∥ϵ−ϵθ(αˉtx0+1−αˉtϵ,t)∥2](12)\mathbb{E}_{x_0, \epsilon} \left[ \frac{\beta_t^2}{2 \sigma_t^2 \alpha_t (1 - \bar{\alpha}_t)} \left\| \epsilon - \epsilon_\theta(\sqrt{\bar{\alpha}_t} x_0 + \sqrt{1 - \bar{\alpha}_t} \epsilon, t) \right\|^2 \right] \tag{12}

这一无偏的多尺度噪声匹配损失正如文献 [55][55] 所述，可在不同噪声水平下联合训练。根据 Eq.(12)\mathrm{Eq.}(12)，该目标等价于对 Langevin 型反向过程 Eq.(11)\mathrm{Eq.}(11) 所构造的变分下界进行优化

综上所述，我们通过将反向过程的均值函数 μθ\mu_\theta 重新参数化为 μ^t\hat{\mu}_t，建立了一个能够预测噪声项 ϵ\epsilon 的模型框架

数据缩放、反向过程解码器和 L0L_0

假设图像数据由整数（取值范围为 {0,1,…,255}\{0, 1, \ldots, 255\}）组成，并且这些整数被线性缩放到 [−1,1][-1, 1]。这确保了神经网络的反向过程始终在一致缩放的输入上运行，起始于标准正态先验 p(xT)p(x_T)

为了获得离散数据的对数似然，我们将反向过程的最后一项设置为一个独立的离散解码器，其从高斯分布 N(x0;μ0(x1,1),σ02I)\mathcal{N}(x_0; \mu_0(x_1, 1), \sigma_0^2 I) 中生成：

p0(x0∣x1)=∏i=1D∫δ−(xi)δ+(xi)N(xi;μ0,i(x1,1),σ02) dx(13)p_0(x_0 | x_1) = \prod_{i=1}^D \int_{\delta_{-}(x_i)}^{\delta_{+}(x_i)} \mathcal{N}(x_i; \mu_{0,i}(x_1, 1), \sigma_0^2) \, dx \tag{13}

其中：

  • DD 表示数据的维度，ii 上标表示提取特定坐标
  • δ+(x)\delta_{+}(x) 和 δ−(x)\delta_{-}(x) 定义如下：

δ+(x)={∞x=255x+1255x<255,δ−(x)={−∞x=0x−1255x>0\delta_+(x) = \begin{cases} \infty & x = 255 \\ x + \frac{1}{255} & x < 255 \end{cases}, \quad \delta_-(x) = \begin{cases} -\infty & x = 0 \\ x - \frac{1}{255} & x > 0 \end{cases}

在 VAE 解码器和自回归模型中，离散分布通常通过离散化连续分布来实现。我们的方法确保变分下界是离散数据的无损编码（lossless coding），无需在数据中添加噪声或在对数似然中引入缩放操作的雅可比行列式（Jacobian）。在采样结束时，在无噪声下展示 μθ(x1,1)\mu_\theta(\mathbf{x}_1, 1)

简化的训练目标

在上面定义的反向过程和解码器的基础上，变分下界（由 Eq.(12)\mathrm{Eq.}(12)和 Eq.(13)\mathrm{Eq.}(13) 推导而来）显然可以微分并用于训练

然而，我们发现使用以下变种形式的变分下界在采样质量和实现上均表现地更好：

Lsimple(θ)=Et,x0,ϵ[∥ϵ−ϵθ(αˉtx0+1−αˉtϵ,t)∥2](14)\boxed{ L_{\text{simple}}(\theta) = \mathbb{E}_{t, x_0, \epsilon} \left[ \left\| \epsilon - \epsilon_\theta \left( \sqrt{\bar{\alpha}_t} x_0 + \sqrt{1 - \bar{\alpha}_t} \epsilon, t \right) \right\|^2 \right]} \tag{14}

其中，tt 在 11 和 TT 之间均匀分布。t=1t = 1 的情况对应于 L0L_0，此时在离散解码器定义 Eq.(13)\mathrm{Eq.}(13) 中的积分被高斯概率密度函数乘以区间宽度来近似，忽略了 σ12\sigma_1^2 和边缘效应。对于 t>1t > 1 的情况，它们对应于 Eq.(12)\mathrm{Eq.}(12) 的一个 无权重版本，类似于 NCSN 去噪分数匹配模型 [55][55] 使用的损失加权方式（LTL_T 没有出现，因为正向过程的方差 βt\beta_t 是固定的）。Algorithm1\mathbf{Algorithm 1} 展示了使用该简化目标的完整训练过程。

贡献者

Velvet

版权归属：Velvet

许可证：署名-非商业性-相同方式共享 4.0 国际 (CC-BY-NC-SA-4.0)