Definition
La autoatención permite a los modelos capturar dependencias entre todas las posiciones de una secuencia simultáneamente, independientemente de la distancia. Al calcular puntuaciones de atención entre cada par de tokens, permite una representación contextual rica y paralela.
Summary
Un mecanismo que permite a una red neuronal ponderar la importancia de las diferentes partes de la secuencia de entrada en relación entre sí.
Key Concepts
- Consulta-Clave-Valor
- Puntuaciones de Atención
- Ponderación Contextual
- Procesamiento Paralelo
Use Cases
- Traducción automática
- Resumen de textos
- Clasificación de imágenes mediante Transformers Visuales
Code Example
| |