Definition
Adam（Adaptive Moment Estimation）は、ディープニューラルネットワークのトレーニングに使用される人気のある一階勾配ベースの最適化アルゴリズムです。これは、確率的勾配降下法のもう2つの拡張機能の利点を組み合わせています。
Summary
各パラメータに対して適応的な学習率を計算する最適化アルゴリズム。
Key Concepts
- 勾配降下法
- 学習率
- モーメンタム
- 分散推定
Use Cases
- ディープラーニングのトレーニング
- コンピュータビジョンモデル
- 自然言語処理
Code Example
| |