ファインチューニング - AI用語辞典

Definition

ファインチューニングとは、大規模な一般データセットで既に訓練されたモデルを取り出し、専門的なデータセットでさらに訓練を行うことを指します。これにより、モデルは一般的な知識を維持しつつ、特定のタスクに必要な能力を獲得します。

Summary

事前学習済みモデルを、より小さなデータセットを使用して特定のダウンストリームタスクに適応させるプロセス。

Key Concepts

転移学習
事前学習済みモデル
タスク固有の適応
学習率

Use Cases

カスタマーサービスチャットボット向けのLLMの適応
医療診断用の画像分類器の専門化
特定のアクセントに対応した音声認識のカスタマイズ

Code Example

1
2
3
4
5
6
from transformers import AutoModelForSequenceClassification
model = AutoModelForSequenceClassification.from_pretrained('bert-base-uncased')
# Freeze base layers
for param in model.bert.parameters():
    param.requires_grad = False
# Train only classification head