Definition
Los mecanismos de atención permiten a los modelos centrarse en la información relevante al procesar entradas, particularmente en datos secuenciales como el texto. Al calcular puntuaciones de atención, el modelo determina qué elementos de la entrada tienen mayor influencia en la generación de la salida actual, mejorando la captura de dependencias a largo plazo.
Summary
Un mecanismo que permite a las redes neuronales ponderar dinámicamente la importancia de diferentes partes de la secuencia de entrada.
Key Concepts
- Autoatención
- Ponderación Contextual
- Dependencias a Largo Plazo
- Arquitectura Transformadora
Use Cases
- Traducción automática entre idiomas
- Resumen de documentos extensos
- Generación de descripciones de imágenes y respuesta a preguntas visuales