WordPiece - AI用語辞典

Definition

WordPieceは、BERTやALBERTなどの自然言語処理モデルで広く使用されているトークン化手法です。形態的な豊かさを扱い、語彙サイズを削減するために、単語をより小さなサブワード単位に分解します。

Summary

未登録語（OOV）を処理するため、最も頻繁な文字ペアを再帰的に結合するサブワードトークン化アルゴリズム。

Key Concepts

サブワードトークン化
語彙拡張
未登録語（OOV）処理
形態素解析

Use Cases

BERTモデル向けのテキスト前処理
低資源言語の処理
埋め込み行列サイズの削減

Code Example

1
2
3
4
from transformers import BertTokenizer
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
tokens = tokenizer.tokenize('unhappiness')
print(tokens)