VAE

普通自动编码器

目标：将高维度数据压缩成较小的表示

截屏2024-12-30 19.27.19.png

截屏2024-12-30 19.28.31.png

截屏2024-12-30 19.29.08.png

应用：

截屏2024-12-30 19.29.47.png

去噪自动编码器

截屏2024-12-30 19.35.42.png

截屏2024-12-30 19.36.58.png

截屏2024-12-30 19.37.09.png

变分自动编码器

截屏2024-12-30 19.39.12.png

  • 损失函数

    截屏2024-12-30 19.40.36.png

Reparameterization Trick(重参数化)

如何实现反向传播？

截屏2024-12-30 19.42.30.png

截屏2024-12-30 19.44.43.png

  • 核心代码

    截屏2024-12-30 19.45.33.png

    截屏2024-12-30 19.45.42.png

    截屏2024-12-30 19.46.02.png

解耦变分自编码器

目的：确保潜在分布中的不同神经元互不相干，都在尝试学习输入数据中的不同内容。

  • 解决方式：增加超参数$\beta$，衡量损失函数中的KL散度。

    截屏2024-12-30 22.11.49.png

截屏2024-12-30 22.18.10.png

$\beta$过小：过拟合

$\beta$过大：失去输入中的大量细节

在强化学习中的作用：使Agent可以在压缩后的输入T空间上运行。