Definition
En el contexto de la optimización, la divergencia ocurre cuando los parámetros de un modelo se actualizan de tal manera que causan que la pérdida aumente en lugar de disminuir, lo que a menudo conduce a valores NaN (no es un número) o gradientes infinitos.
Summary
La divergencia se refiere al fallo de la función de pérdida de un algoritmo de aprendizaje automático para disminuir durante el entrenamiento, lo que resulta en un rendimiento inestable o empeorado.
Key Concepts
- Explosión de la Pérdida
- Sensibilidad de la Tasa de Aprendizaje
- Inestabilidad del Gradiente
- Precisión Numérica
Use Cases
- Depurar bucles de entrenamiento en marcos de aprendizaje profundo
- Ajustar hiperparámetros para lograr una convergencia estable
- Implementar estrategias de recorte de gradientes (gradient clipping)