Diccionario de Términos de IA

Definition

Este método ajusta y escala las activaciones para tener media cero y varianza unidad dentro de cada mini-lote durante el entrenamiento. Reduce el desplazamiento de covarianza interna, permitiendo tasas de aprendizaje más altas y un entrenamiento más rápido.

Summary

La normalización por lotes es una técnica que normaliza las entradas de una capa a lo largo de un mini-lote para estabilizar y acelerar el entrenamiento de redes neuronales.

Key Concepts

• Desplazamiento de covarianza interno
• Estadísticas de mini-lote
• Estabilización de gradientes
• Efecto de regularización

Use Cases

• Redes neuronales profundas
• Redes neuronales convolucionales
• Optimización del entrenamiento

Code Example

1
2
3
4
5
6

import torch.nn as nn
layer = nn.Sequential(
    nn.Linear(10, 20),
    nn.BatchNorm1d(20),
    nn.ReLU()
)

Related Terms

• Layer Normalization (Normalización por capa)
• Gradient Descent (Descenso de gradiente)
• Overfitting (Sobreajuste)