Diccionario de Términos de IA

Definition

WordPiece es un método de tokenización ampliamente utilizado en modelos de procesamiento del lenguaje natural como BERT y ALBERT. Divide las palabras en unidades de subpalabras más pequeñas para gestionar la riqueza morfológica y reducir el tamaño del vocabulario, mejorando así el manejo de palabras desconocidas.

Summary

Un algoritmo de tokenización de subpalabras que fusiona recursivamente los pares de caracteres más frecuentes para manejar palabras fuera del vocabulario.

Key Concepts

• Tokenización de subpalabras
• Expansión del vocabulario
• Manejo de palabras fuera de vocabulario (OOV)
• Análisis morfológico

Use Cases

• Preprocesamiento de texto para modelos BERT
• Manejo de idiomas con pocos recursos
• Reducción del tamaño de la matriz de incrustaciones (embeddings)

Code Example

1
2
3
4

from transformers import BertTokenizer
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
tokens = tokenizer.tokenize('unhappiness')
print(tokens)

Related Terms

• Codificación por par de bytes (Byte-Pair Encoding, otro algoritmo similar)
• SentencePiece (Librería que implementa WordPiece y otros métodos)
• Tokenización (Proceso de dividir texto en unidades)
• Preprocesamiento de PLN (Fase inicial en NLP)