WordPiece - AI术语词典

Definition

WordPiece 是一种广泛应用于 BERT 和 ALBERT 等自然语言处理模型的分词方法。它将单词分解为更小的子词单元，以应对形态学丰富性并减少词汇表大小，从而更好地处理未见过的单词。

Summary

一种子词分词算法，通过递归合并最频繁出现的字符对来处理未登录词（OOV）。

Key Concepts

子词分词
词汇扩展
未登录词处理
形态分析

Use Cases

为 BERT 模型预处理文本
处理低资源语言
减小嵌入矩阵大小

Code Example

1
2
3
4
from transformers import BertTokenizer
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
tokens = tokenizer.tokenize('unhappiness')
print(tokens)