VAE
从 Autoencoder 到 VAE:深入理解变分自编码器的原理、数学推导与 PyTorch 实现
摘要:变分自编码器(Variational Autoencoder,VAE)是深度生成模型中的经典方法之一。与传统自编码器不同,VAE 不仅能够学习数据的低维表示,还能够通过概率建模学习潜在空间的数据分布,从而实现新样本生成。本文从传统自编码器出发,介绍 VAE 的核心思想,详细推导证据下界(ELBO)、KL 散度以及重参数化技巧,并通过 PyTorch 实现一个完整的 VAE 模型。
关键词:深度学习、生成模型、VAE、变分推断、ELBO、KL 散度、重参数化技巧、PyTorch
1. 引言
近年来,生成式人工智能(Generative AI)取得了显著进展。从生成对抗网络(GAN)到扩散模型(Diffusion Models),再到大语言模型(LLM),生成模型逐渐成为人工智能领域的重要研究方向。
这些模型试图解决一个共同的问题:
如何学习真实数据的概率分布,并从学习到的分布中生成新的数据?
假设我们有一个包含大量图像的数据集:
其中,每个
我们希望模型能够学习这些图像背后的概率分布:
随后,通过采样生成新的图像:
其中,
然而,直接在高维图像空间中学习概率分布通常非常困难。
例如,一张
个像素值。
因此,一个自然的想法是:
能否首先将高维数据压缩到低维潜在空间,再通过这个潜在空间生成新的数据?
这正是自编码器(Autoencoder,AE)以及变分自编码器(Variational Autoencoder,VAE)的出发点。
2. 从传统自编码器(AE)说起
2.1 Autoencoder 的基本结构
自编码器是一种典型的无监督表示学习模型,其结构由两个主要部分构成:
- Encoder(编码器):将输入数据映射为低维潜在表示。
- Decoder(解码器):根据潜在表示重建输入数据。
其计算过程可以表示为:
其中:
:原始输入数据 :潜在特征向量(Latent Vector) :重建数据 :编码器 :解码器
对应结构为:
1 | Autoencoder |
2.2 Autoencoder 的优化目标
传统自编码器通常通过最小化输入与输出之间的重建误差来进行训练。
以均方误差(MSE)为例:
其目标是:
换句话说,自编码器希望模型能够尽可能准确地重建输入数据。
2.3 传统 Autoencoder 存在的问题
虽然传统自编码器能够学习有效的特征表示,但它并不天然具备可靠的生成能力。
主要原因在于:
传统 AE 并没有对潜在空间的概率分布施加显式约束。
例如,对于一个二维潜在空间,编码器可能将训练数据映射为几个彼此分离的区域:
1 | Latent Space |
这些点之间可能存在大量没有训练样本覆盖的区域。
如果随机选取一个潜在向量:
那么该向量未必落在编码器学习到的有效区域中。
因此,解码器可能生成不合理的结果。
这里需要强调:
传统 AE 并非完全不能生成数据,而是缺乏一个明确、可直接采样的潜在先验分布。
为了解决这个问题,我们需要一种能够对潜在空间进行概率建模的方法。
这便引出了 VAE。
3. VAE 的核心思想
3.1 从确定性编码到概率编码
传统自编码器将输入
而 VAE 将输入映射为一个潜在概率分布:
通常,我们假设这个分布是一个多元高斯分布:
也就是说,编码器不再只输出一个向量,而是输出两个向量:
其中:
:潜在分布的均值 :潜在分布的方差 :方差的自然对数
随后,从该分布中采样:
并通过解码器生成重建结果:
3.2 VAE 的网络结构
1 | Variational Autoencoder |
这里最重要的变化在于:
- 编码器输出潜在分布参数,而不是确定的潜在编码。
- 模型通过采样获得潜在变量。
- 训练时约束潜在分布,使其接近预先设定的先验分布。
通常选择标准正态分布作为先验:
因此,VAE 的训练目标不仅需要保证重建质量,还需要使潜在空间具有适合采样的概率结构。
3.3 为什么采用高斯分布?
选择高斯分布主要有以下原因:
第一,高斯分布具有较好的数学性质。
其概率密度函数可以写为:
第二,高斯分布便于采样。
可以使用标准正态随机变量构造任意对角协方差高斯分布的样本。
第三,高斯分布之间的 KL 散度具有解析形式。
这使得 VAE 的优化更加方便。
需要注意的是,高斯分布并不是 VAE 的必要条件。VAE 也可以使用其他潜在分布,例如混合高斯分布、离散分布以及更加复杂的可学习先验。
4. VAE 的概率模型
理解 VAE 的关键是理解其背后的概率生成过程。
4.1 潜变量生成模型
VAE 假设观测数据
其生成过程为:
首先,从先验分布中采样:
然后,根据潜在变量生成数据:
因此,联合概率分布为:
其中:
:潜在变量的先验分布 :条件生成分布,也称为似然模型 :联合概率分布
最终,数据的边缘概率可以表示为:
我们的目标是最大化训练数据的对数似然:
但问题在于:
上述积分通常难以直接计算。
尤其当解码器由深度神经网络构成时,无法方便地获得该积分的解析解。
4.2 引入变分推断
根据贝叶斯公式,潜在变量的真实后验分布为:
由于分母
因此,我们引入一个参数化的近似后验:
用于近似:
这个近似分布由编码器负责学习。
这就是 VAE 中 Variational(变分)的来源。
5. VAE 核心数学推导:ELBO
VAE 最重要的理论基础是证据下界:
Evidence Lower Bound,ELBO。
5.1 从对数似然出发
首先考虑单个样本的对数似然:
在积分中引入近似后验
将积分写成期望形式:
利用 Jensen 不等式:
得到:
根据联合分布分解:
因此:
注意 KL 散度的定义:
最终得到:
这就是 VAE 的核心优化目标。
5.2 ELBO 的两部分
ELBO 可以分成两个部分。
第一部分:重建项(Reconstruction Term)
该项衡量解码器能够多好地解释输入数据。
最大化这一项意味着提高数据重建的条件对数似然。
第二部分:正则化项(KL Divergence)
该项衡量编码器产生的后验分布与先验分布之间的差异。
最小化该项可以使潜在分布更接近预设先验。
因此,我们可以直观理解为:
VAE 一方面要求解码器能够准确重建输入,另一方面要求编码器产生的潜在分布不要过度偏离先验分布。
5.3 为什么 ELBO 是下界?
实际上,存在如下精确等式:
由于 KL 散度始终非负:
因此:
这说明 ELBO 确实是对数证据的下界。
从上式还能发现:
当近似后验与真实后验完全一致时:
有:
此时 ELBO 与对数似然相等。
因此,最大化 ELBO 可以在优化生成模型的同时,推动变分后验逼近真实后验。
6. KL 散度的解析推导
对于标准 VAE,我们通常设置:
以及:
对于两个
其 KL 散度为:
将标准 VAE 中的参数代入:
可以得到:
因此:
在 PyTorch 中,我们通常令:
1 | logvar = log(sigma ** 2) |
于是 KL 损失可以直接写为:
1 | kl_loss = -0.5 * torch.sum( |
这里:
mu.pow(2)对应logvar.exp()对应logvar对应
6.1 KL 散度在优化什么?
观察单个潜在维度:
当:
时:
因此,KL 散度倾向于将:
需要注意,这并不意味着每个样本的后验都必须严格变成标准正态分布。
在实际训练过程中,重建项与 KL 项之间存在竞争关系。模型需要在保留样本信息与约束潜在分布之间寻找平衡。
7. VAE 的关键:重参数化技巧
7.1 为什么直接采样存在问题?
在 VAE 中:
而
如果直接将随机采样作为不可微操作处理,就无法通过普通的反向传播直接计算采样结果对编码器参数的梯度。
因此,需要将随机性与可学习参数分离。
7.2 Reparameterization Trick
我们首先从标准正态分布采样:
然后构造:
其中
这一操作称为重参数化技巧(Reparameterization Trick)。
它将原本的随机采样:
转化为:
其中随机变量
这样,采样过程中关于
例如:
以及:
因此,梯度能够通过
7.3 PyTorch 实现
1 | def reparameterize(mu, logvar): |
其中:
1 | std = torch.exp(0.5 * logvar) |
原因是:
重参数化是 VAE 能够通过端到端梯度优化进行训练的重要技术之一。
8. VAE 的完整损失函数
由于训练时采用梯度下降,因此通常最小化 ELBO 的相反数:
最终得到:
8.1 重建损失的选择
重建损失取决于我们如何定义解码器输出的概率分布。
情况一:Bernoulli 分布
当输入可以合理建模为二值观测时,可以使用 Bernoulli 似然:
对应负对数似然:
这与 Binary Cross Entropy(BCE)形式一致。
情况二:Gaussian 分布
如果假设:
并且
因此,使用 MSE 作为重建损失,相当于在固定方差高斯似然假设下进行优化,只是需要注意其与 KL 项之间的相对权重。
对于自然图像,像素独立的 Bernoulli 或固定方差 Gaussian 往往只是简化的建模选择,也可以采用更加合适的连续分布或复杂的似然模型。
8.2 β-VAE
标准 VAE 的重建项与 KL 项权重为:
而 β-VAE 引入一个超参数
其作用是调节重建质量与潜在空间正则化之间的权衡。
通常情况下:
:标准 VAE。 :更强调潜在分布约束,在合适条件下可能有助于学习解耦表示。 :相对更加重视重建质量,但潜在先验匹配可能减弱。
需要注意,较大的
9. 使用 PyTorch 从零实现 VAE
下面使用 MNIST 数据集实现一个简单的 VAE。
9.1 网络结构
我们使用全连接网络:
- 输入维度:784
- 隐藏层维度:400
- 潜在变量维度:20
- 输出维度:784
完整代码如下:
1 | import torch |
这里使用了 BCE 作为 MNIST 的简化重建损失。MNIST 原始数据经过 ToTensor() 后包含灰度值,因此这可以视为一种常用的近似训练设置,而不是严格的二值观测建模。
9.2 代码执行流程
整体训练过程为:
1 | Input Image |
9.3 为什么生成时不需要 Encoder?
这是 VAE 与传统 AE 的一个重要区别。
训练时,我们通过编码器估计:
然后通过解码器学习:
但在生成阶段,我们不再需要输入图像
只需要从先验分布直接采样:
然后通过解码器生成:
因此:
1 | with torch.no_grad(): |
就可以实现新样本生成。
严格来说,上述代码返回的是解码器输出的 Bernoulli 参数,即像素概率图。如果希望得到二值采样图像,还可以根据该概率进一步进行 Bernoulli 采样。
10. VAE 的潜在空间为什么具有连续性?
VAE 一个重要特点是,其潜在空间通常具有较好的连续性和可插值性。
假设两张输入图像对应的潜在表示为:
我们可以采用线性插值:
其中:
当
通过解码器:
就有机会获得两个样本之间平滑变化的生成结果。
例如,在手写数字生成任务中,可以观察一个数字逐渐变化为另一个数字的过程。
VAE 能够实现这类插值的原因在于,KL 正则化鼓励潜在后验接近共同的先验分布,从而减轻潜在空间任意分散的问题。
不过,需要强调的是:
VAE 并不在数学上保证任意两点之间的插值都对应真实、合理的数据。
潜在空间的连续性和生成质量仍然取决于模型结构、数据分布、训练效果以及所采用的先验。
11. VAE 与 AE、GAN、Diffusion 的区别
| 对比维度 | AE | VAE | GAN | Diffusion |
|---|---|---|---|---|
| 主要目标 | 特征表示与重建 | 概率生成建模 | 对抗式生成 | 逐步去噪生成 |
| 是否显式建模潜变量分布 | 通常否 | 是 | 通常使用预设噪声先验 | 依具体模型而定 |
| 是否具备直接采样生成能力 | 不天然具备 | 是 | 是 | 是 |
| 典型训练目标 | 重建损失 | ELBO | 对抗损失 | 去噪或分数匹配目标 |
| 训练特点 | 相对简单 | 相对稳定 | 可能出现对抗训练不稳定 | 训练通常较稳定但计算量较大 |
| 典型优势 | 表征学习、压缩 | 概率建模、潜在空间 | 快速采样、逼真生成 | 高质量生成、生成控制 |
| 典型局限 | 缺乏先验约束 | 容易产生过平滑重建 | 模式崩溃 | 多步采样开销较大 |
需要注意,这里的比较反映的是各类模型的经典形式。实际性能会受到架构、训练方法、数据集和具体实现的显著影响。
11.1 VAE 为什么可能生成模糊图像?
经典 VAE 常常采用逐像素独立的 Gaussian 或 Bernoulli 似然。
当模型面对具有多种合理解释的复杂图像时,如果使用固定方差 Gaussian 似然,优化目标会倾向于输出某种条件均值。
这可能使重建结果出现过度平滑的现象。
除此之外,潜在变量维度不足、解码器能力有限、KL 正则化过强等因素,也可能影响重建细节。
因此,VAE 的模糊问题并非单纯由“高斯潜变量”造成,而与解码器的观测分布假设及模型容量等因素密切相关。
12. VAE 的改进模型
随着生成模型的发展,研究者在经典 VAE 的基础上提出了大量改进方法。
12.1 Conditional VAE(CVAE)
CVAE 在 VAE 中引入条件变量
其条件生成过程为:
对应的条件 ELBO 为:
例如,在手写数字生成任务中,条件
通过指定:
模型便可以生成类别为 3 的手写数字图像。
12.2 β-VAE
β-VAE 通过调整 KL 散度权重,探索重建质量与潜在表示解耦能力之间的关系。
它经常被用于研究可解释潜在表示和无监督表征学习。
12.3 VQ-VAE
Vector Quantized VAE(VQ-VAE)采用离散潜在表示。
与传统 VAE 使用连续高斯潜变量不同,VQ-VAE 通过可学习的码本(Codebook)对编码器特征进行量化。
典型过程为:
随后寻找码本中距离最近的向量:
其中:
表示由
离散化后的潜在表示再输入解码器进行重建。
VQ-VAE 在图像生成、语音建模和离散视觉表征学习等领域具有广泛应用。
12.4 Hierarchical VAE
层次化 VAE 引入多个层级的潜在变量:
不同层级可以学习不同尺度的特征信息。
例如:
- 高层潜变量学习整体语义结构。
- 低层潜变量学习局部纹理和细节。
这种层次结构能够提升复杂数据分布的建模能力。
13. VAE 在现代生成模型中的应用
13.1 潜在扩散模型(Latent Diffusion Models)
VAE 在现代图像生成系统中的一个重要应用,是将高维图像映射到低维潜在空间。
以经典 Latent Diffusion Models(LDM)为例,整体流程可以表示为:
1 | Training / Generation |
这里的示意图省略了训练与采样时的具体噪声调度,以及文本条件等其他输入。
LDM 的核心思想是:
不必直接在原始高分辨率图像空间中执行扩散过程,而是将扩散过程放到低维潜在空间中完成。
假设原始图像为:
通过编码器映射为:
其中:
当
最终通过解码器恢复图像:
这种设计可以降低扩散模型处理高分辨率图像时的计算负担。
需要注意的是,具体采用的自动编码器及其训练目标取决于生成模型架构,并非所有现代扩散模型都必须使用标准 VAE。
13.2 图像增强与图像复原
VAE 也可以用于图像去噪、图像修复以及低照度图像增强等任务。
例如,对于退化图像:
其中:
表示原始清晰图像。 表示退化过程。 表示噪声。 表示退化观测。
我们可以设计一个条件潜在生成模型:
以及:
通过潜在变量对恢复结果中的不确定性进行建模。
这种概率建模方式适用于具有多解性质的图像恢复问题。
不过,在实际研究中,VAE 并不必然优于确定性恢复网络,其效果取决于具体退化模型、训练目标及网络结构。
13.3 异常检测
VAE 还可以用于异常检测(Anomaly Detection)。
其基本思想是:
使用正常样本训练 VAE,使模型学习正常数据的潜在分布与重建规律。
对于一个测试样本
通常情况下,正常样本更容易被模型准确重建,而异常样本可能出现较大的重建误差。
但重建误差并不是始终可靠的异常度量:某些异常样本也可能被模型较好地重建。因此,实际应用中通常还需要验证异常评分的有效性,或引入潜在空间统计信息、概率评分及其他约束。
14. VAE 的常见问题
Q1:VAE 是监督学习还是无监督学习?
经典 VAE 通常属于无监督生成模型。
其训练只需要输入数据:
不需要人工提供类别标签。
但 CVAE 等条件模型可以引入类别、属性或其他监督信息。
Q2:为什么编码器输出 logvar,而不是直接输出 variance?
主要有两个原因。
首先,方差必须满足:
直接预测方差可能产生不符合要求的数值。
通过预测:
再计算:
可以保证计算得到的方差为正。
其次,KL 散度中包含 logvar 便于计算。
Q3:VAE 的潜在变量维度越大越好吗?
不是。
潜在维度过小可能导致信息瓶颈过强,模型无法保留足够的输入信息。
潜在维度过大则可能增加模型复杂度,并出现部分潜在维度未被充分使用的情况。
因此,潜在维度需要根据任务复杂度、数据规模以及模型容量进行选择。
Q4:什么是 Posterior Collapse?
Posterior Collapse(后验坍塌)是 VAE 中常见的问题之一。
当近似后验退化为与先验几乎一致时:
潜在变量可能无法有效携带输入信息。
此时:
尤其当解码器本身具有很强的生成能力时,模型可能倾向于忽略潜在变量。
常见的缓解方法包括:
- KL Annealing:逐渐增加 KL 项的权重。
- Free Bits:允许潜在维度保留一定的信息容量。
- 调整编码器和解码器的模型容量。
- 改进潜在变量结构和训练策略。
需要注意,KL 散度较小不一定意味着模型已经发生严重后验坍塌,需要结合潜在变量利用情况与生成效果进行判断。
Q5:VAE 与普通 AE 最大的区别是什么?
二者最核心的区别不是网络层数,而是潜在表示的建模方式与训练目标。
传统 AE:
主要学习确定性编码和重建映射。
VAE:
通过变分推断优化一个概率生成模型,并对潜在空间施加先验分布约束。
因此,VAE 在表示学习的基础上,提供了更明确的概率生成机制。
15. 总结
本文从传统自编码器出发,系统介绍了变分自编码器的核心思想、概率建模方法、数学推导及 PyTorch 实现。
VAE 可以归纳为三个关键思想:
第一,概率化潜在表示。
传统 AE 学习确定性映射:
而 VAE 通过编码器学习近似后验:
第二,使用 ELBO 训练概率生成模型。
VAE 的核心目标为:
其中,重建项负责解释观测数据,KL 项负责约束近似后验与潜在先验之间的差异。
第三,通过重参数化实现端到端训练。
这一技巧将随机变量与可学习参数分离,使模型能够使用梯度下降进行优化。
虽然经典 VAE 在生成清晰度以及潜在变量利用效率方面仍存在一定局限,但其提出的变分推断、潜在概率建模和可微采样思想,对后续深度生成模型的发展具有深远影响。
从 VAE 到 VQ-VAE,再到潜在扩散模型,低维潜在表示始终是生成式人工智能领域的重要研究方向。
参考文献
[1] Kingma, D. P., & Welling, M. (2014). Auto-Encoding Variational Bayes. ICLR 2014. https://arxiv.org/abs/1312.6114
[2] Rezende, D. J., Mohamed, S., & Wierstra, D. (2014). Stochastic Backpropagation and Approximate Inference in Deep Generative Models. ICML 2014. https://arxiv.org/abs/1401.4082
[3] Higgins, I., et al. (2017). beta-VAE: Learning Basic Visual Concepts with a Constrained Variational Framework. ICLR 2017. https://openreview.net/forum?id=Sy2fzU9gl
[4] Sohn, K., Lee, H., & Yan, X. (2015). Learning Structured Output Representation using Deep Conditional Generative Models. NeurIPS 2015. https://arxiv.org/abs/1506.05517
[5] van den Oord, A., Vinyals, O., & Kavukcuoglu, K. (2017). Neural Discrete Representation Learning. NeurIPS 2017. https://arxiv.org/abs/1711.00937
[6] Rombach, R., Blattmann, A., Lorenz, D., Esser, P., & Ommer, B. (2022). High-Resolution Image Synthesis with Latent Diffusion Models. CVPR 2022. https://arxiv.org/abs/2112.10752
写在最后
VAE 的真正价值并不仅在于生成图像,更在于它建立了一座连接深度神经网络与概率推断的桥梁。
理解了 VAE,也就理解了深度生成模型中几个非常重要的概念:潜变量、概率分布、变分推断、KL 散度以及可微随机采样。
这些思想不仅适用于图像生成,也广泛应用于表征学习、异常检测、图像复原及现代生成模型的潜在空间建模。





