Definition
ReLUは、計算効率が高く、勾配消失問題を緩和できるため、ディープラーニングニューラルネットワークで広く使用されています。数学的には f(x) = max(0, x) と定義され、非線形性を導入しながらも計算コストを抑えることができます。
Summary
ReLU（Rectified Linear Unit）は、入力が正の場合は入力をそのまま出力し、負の場合はゼロを出力する活性化関数です。
Key Concepts
- 非線形性
- 活性化関数
- 勾配消失問題
- 区間線形関数
Use Cases
- CNNの隠れ層
- ディープ順伝播ネットワーク
- 画像認識モデル
Code Example
| |