AI术语词典

Definition

预训练是深度学习中的一种基础技术，模型从海量数据中学习广泛的特征和模式，通常无需标签。这一过程使模型能够发展出通用的知识表示，从而在后续针对特定下游任务进行微调时，仅需少量数据即可达到高性能。

Summary

在大型未标记数据集上训练机器学习模型的初始阶段，以便在针对特定任务进行微调之前学习通用表示。

Key Concepts

• 迁移学习
• 特征提取
• 大规模数据
• 微调

Use Cases

• 训练BERT或GPT等语言模型
• 使用ImageNet权重初始化卷积神经网络（CNN）
• 构建多模态AI的基础模型

Code Example

1
2
3

from transformers import BertModel
model = BertModel.from_pretrained('bert-base-uncased')
# Model is now pre-trained and ready for fine-tuning

Related Terms

• Fine-tuning (微调)
• Foundation Model (基础模型)
• Unsupervised Learning (无监督学习)
• Transfer Learning (迁移学习)