Definition
Introducido en el artículo ‘Attention Is All You Need’, la arquitectura Transformador revolucionó el procesamiento del lenguaje natural y más allá. Utiliza autoatención de múltiples cabezas para ponderar la importancia de
Summary
Una arquitectura de aprendizaje profundo basada en mecanismos de autoatención que procesa datos secuenciales en paralelo en lugar de secuencialmente.
Key Concepts
- Autoatención
- Atención de Múltiples Cabezas
- Codificación Posicional
- Estructura Codificador-Decodificador
Use Cases
- Traducción automática
- Generación de texto
- Reconocimiento de imágenes (ViT)
Code Example
| |