混合精度学習 - AI用語辞典

Definition

混合精度学習（MPT）は、ニューラルネットワークの学習中に半精度（FP16）と全精度（FP32）のデータ型を組み合わせた手法です。ほとんどの演算にFP16を使用することで、メモリフットプリントを削減し、計算速度を向上させます。

Summary

16ビットと32ビットの浮動小数点数を併用して計算を加速し、メモリ使用量を削減する学習手法。

Key Concepts

FP16（半精度浮動小数点数）
FP32（全精度浮動小数点数）
Tensor Cores（テンソルコア）
数値的安定性

Use Cases

大規模モデルの学習
GPUのアクセラレーション
メモリ制約のある環境

Code Example

1
2
3
4
5
6
7
import torch
import torch.cuda.amp as amp

# Example snippet showing automatic mixed precision context
with amp.autocast():
    output = model(input)
    loss = criterion(output, target)