学习率 - AI术语词典

Definition

学习率决定了在每次训练迭代中，模型权重相对于计算出的梯度更新了多少。如果学习率过高，可能导致模型在优化过程中越过最优解；如果过低，则可能导致训练收敛缓慢。

Summary

控制模型优化过程中步长的超参数，旨在最小化损失函数。

Key Concepts

梯度下降
超参数调优
收敛
优化器

Use Cases

神经网络训练
深度学习模型优化
强化学习策略更新

Code Example

1
2
3
import torch.optim as optim
model = MyModel()
optimizer = optim.SGD(model.parameters(), lr=0.01)