Definition
La normalización por capa estabiliza el entrenamiento reduciendo el desplazamiento de covarianza interno, siendo particularmente efectiva en arquitecturas recurrentes y transformadoras. A diferencia de la normalización por lotes, que depende de las estadísticas del lote, esta funciona independientemente del tamaño del mismo.
Summary
Una técnica que normaliza las activaciones de una capa de red neuronal a lo largo de la dimensión de características para cada muestra individual.
Key Concepts
- Normalización
- Desplazamiento de covarianza interno
- Modelos transformadores
- RNNs
Use Cases
- Entrenamiento de modelos Transformadores como BERT
- Estabilización del entrenamiento de RNN/LSTM
- Aprendizaje profundo con tamaños de lote pequeños
Code Example
| |