Adam - AI术语词典

Definition

Adam（自适应矩估计）是一种流行的基于一阶梯度的优化算法，用于训练深度神经网络。它结合了两种其他随机梯度下降扩展的优势。

Summary

一种为每个参数计算自适应学习率的优化算法。

Key Concepts

梯度下降
学习率
动量
方差估计

Use Cases

深度学习训练
计算机视觉模型
自然语言处理

Code Example

1
2
import torch.optim as optim
optimizer = optim.Adam(model.parameters(), lr=0.001)