XLM-RoBERTa
Definition
XLM-RoBERTa (Cross-lingual Language Model RoBERTa) es un modelo multilingüe a gran escala …
Transformers
Ajuste por prefijo
Definition
El ajuste por prefijo es una técnica de adaptación eficiente en parámetros para …
Contexto largo
Definition
El contexto largo se refiere a la capacidad de los modelos basados en transformadores …
Rellenar máscara
Definition
Rellenar máscara es un objetivo fundamental de preentrenamiento utilizado en modelos …
ExBERT
Definition
ExBERT proporciona interpretabilidad al modelo transformador BERT analizando la …
Codificación Posicional
Definition
Dado que los transformadores procesan todos los tokens en paralelo en lugar de …
Codificador
Definition
Los codificadores procesan secuencias de entrada crudas o estructuras de datos y las …
Adaptador
Definition
Los adaptadores son una técnica de ajuste fino eficiente en parámetros utilizada …
Atención
Definition
Los mecanismos de atención permiten a los modelos centrarse en la información relevante …
Autoatención
Definition
La autoatención permite a los modelos capturar dependencias entre todas las posiciones de …