Definition
“预训练”一词描述了一个神经网络模型，该模型已在海量且通常通用的数据集（如ImageNet或Wikipedia）上进行了初始训练。这一过程使模型能够学习丰富的通用特征表示，随后可以通过微调适应特定的下游任务。
Summary
指在针对特定任务进行调整之前，已在大规模数据集上完成训练的模型。
Key Concepts
- 迁移学习
- 特征提取
- 基础模型
- 微调
Use Cases
- 初始化BERT或GPT模型
- 使用ResNet进行图像分类
- 特定领域自然语言处理任务的起点
A comprehensive multilingual AI terminology dictionary
“预训练”一词描述了一个神经网络模型，该模型已在海量且通常通用的数据集（如ImageNet或Wikipedia）上进行了初始训练。这一过程使模型能够学习丰富的通用特征表示，随后可以通过微调适应特定的下游任务。
指在针对特定任务进行调整之前，已在大规模数据集上完成训练的模型。