AI用語辞典

Definition

バイトペアエンコーディング（BPE）は、未登録語（Out-of-Vocabulary）への対応など、自然言語処理のために適応されたデータ圧縮技術です。これは個別の文字からなる語彙で始まり、反復的

Summary

バイトペアエンコーディングは、最も頻繁に出現する文字のペアを反復的に結合して語彙を構築するサブワードトークン化に用いられるアルゴリズムです。

Key Concepts

• サブワードトークン化
• 語彙のマージ
• 頻度解析
• 未登録語への対応

Use Cases

• 大規模言語モデルの前処理
• 形態論的に豊かな言語の処理
• ニューラルネットワークにおける語彙サイズ削減

Code Example

1
2
3
4

import tiktoken
enc = tiktoken.get_encoding("cl100k_base")
tokens = enc.encode("unhappiness")
print(tokens)

Related Terms

• WordPiece（単語ピース）
• SentencePiece（センテンスピース）
• Tokenization（トークン化）
• Subword Units（サブワードユニット）