学習率 - AI用語辞典

Definition

学習率は、各トレーニング反復中に計算された勾配に対してモデルの重みがどの程度更新されるかを決定します。学習率が大きすぎるとモデルが最適解を見逃す可能性があり、小さすぎると学習収束に時間がかかりすぎます。

Summary

損失関数を最小化するためのモデル最適化過程におけるステップサイズを制御するハイパーパラメータ。

Key Concepts

勾配降下法
ハイパーパラメータチューニング
収束
オプティマイザ

Use Cases

ニューラルネットワークのトレーニング
ディープラーニングモデルの最適化
強化学習のポリシー更新

Code Example

1
2
3
import torch.optim as optim
model = MyModel()
optimizer = optim.SGD(model.parameters(), lr=0.01)