AI用語辞典

Definition

事前学習は、深層学習における基礎的な技法であり、モデルがラベルのない大量のデータから広範な特徴やパターンを学習するプロセスです。これにより、モデルは汎用的な表現を獲得し、後続の特定のタスクに対してより効率的かつ高精度に微調整（ファインチューニング）することが可能になります。

Summary

特定のタスクにファインチューニングする前に、大規模なラベルなしデータセット上で機械学習モデルを初期段階から訓練すること。

Key Concepts

• 転移学習
• 特徴抽出
• 大規模データ
• ファインチューニング

Use Cases

• BERTやGPTなどの言語モデルの訓練
• ImageNetの重みを用いたCNNの初期化
• マルチモーダルAI用のファウンデーションモデルの構築

Code Example

1
2
3

from transformers import BertModel
model = BertModel.from_pretrained('bert-base-uncased')
# Model is now pre-trained and ready for fine-tuning

Related Terms

• Fine-tuning (ファインチューニング)
• Foundation Model (ファウンデーションモデル)
• Unsupervised Learning (教師なし学習)
• Transfer Learning (転移学習)