残差接続 - AI用語辞典

Definition

スキップ接続とも呼ばれる残差接続は、入力を後の層の出力に直接加えることで、ネットワーク内を勾配が流れることを可能にします。このアーキテクチャは、深いネットワークにおける勾配消失問題を解決します。

Summary

勾配の伝播を促進するため、層の入力を直接出力に追加するメカニズム。

Key Concepts

スキップ接続
勾配消失問題
深層残差学習
勾配フロー

Use Cases

深層畳み込みニューラルネットワークのトレーニング
トランスフォーマーアーキテクチャ
画像分類モデル

Code Example

1
2
3
4
5
6
7
import torch.nn as nn
class ResidualBlock(nn.Module):
    def __init__(self, channels):
        super().__init__()
        self.conv = nn.Conv2d(channels, channels, 3, padding=1)
    def forward(self, x):
        return x + self.conv(x)