Tokenization

Definition

WordPiece 是一种广泛应用于 BERT 和 ALBERT 等自然语言处理模型的分词方法。它将单词分解为更小的子词单元，以应对形态学丰富性并减少词汇表大小，从而更好地处理未 …

SentencePiece 是一个流行的开源文本归一化和分词库，广泛用于现代自然语言处理管道中。它执行联合词块和子词词汇表的无监督学习。

一种无监督文本分词器和去 …

字节对编码（BPE）是一种数据压缩技术，经过调整后应用于自然语言处理中，以处理未登录词（Out-of-Vocabulary）。它从单个字符的词汇表开始，并迭代地合并最频繁出现的字 …