再パラメータ化トリック

Definition

再パラメータ化トリックは、変分オートエンコーダーや他の確率的モデルで使用される基本的な手法です。これは、確率変数を外部のパラメータ（通常は正規分布からのサンプリング）と決定論的な関数の組み合わせとして表現することで、確率的ノードを通って勾配を流すことを可能にします。これにより、逆伝播アルゴリズムを用いてモデルのパラメータを効率的に最適化できます。

Summary

確率変数と学習可能なパラメータを分離し、変分推論における勾配ベースの最適化を可能にする手法。

Key Concepts

変分推論
勾配推定
確率的ノード
微分可能シミュレーション

Use Cases

変分オートエンコーダー（VAE）の学習
ベイズニューラルネットワーク
確率的グラフィカルモデル

Code Example

1
2
3
4
5
import torch
epsilon = torch.randn(100, 10)
mu = torch.zeros(100, 10)
sigma = torch.ones(100, 10)
z = mu + sigma * epsilon  # Reparameterized sampling

Definition

Summary

Key Concepts

Use Cases

Code Example

Related Terms