混合精度训练 - AI术语词典

Definition

混合精度训练（MPT）在神经网络训练过程中结合使用半精度（FP16）和全精度（FP32）数据类型。通过使用FP16处理大多数操作，MPT减少了内存占用并提

Summary

一种使用16位和32位浮点数进行训练的技術，旨在加速计算并减少内存使用。

Key Concepts

FP16
FP32
张量核心
数值稳定性

Use Cases

大模型训练
GPU加速
内存受限环境

Code Example

1
2
3
4
5
6
7
import torch
import torch.cuda.amp as amp

# Example snippet showing automatic mixed precision context
with amp.autocast():
    output = model(input)
    loss = criterion(output, target)