重参数化技巧 - AI术语词典

Definition

重参数化技巧是变分自编码器及其他概率模型中使用的一种基本方法。它通过将随机变量表示为确定性函数和独立噪声变量的组合，使得梯度能够流经随机节点，从而允许使用反向传播算法进行优化。

Summary

一种将随机变量与可学习参数分离的技术，旨在变分推断中实现基于梯度的优化。

Key Concepts

变分推断
梯度估计
随机节点
可微模拟

Use Cases

训练变分自编码器 (VAE)
贝叶斯神经网络
概率图模型

Code Example

1
2
3
4
5
import torch
epsilon = torch.randn(100, 10)
mu = torch.zeros(100, 10)
sigma = torch.ones(100, 10)
z = mu + sigma * epsilon  # Reparameterized sampling