Definition
Este proceso implica transferir el conocimiento de una red neuronal ‘maestra’ compleja y de alto rendimiento a una red ’estudiante’ más simple y eficiente. El estudiante aprende no solo a partir de etiquetas duras, sino también de las probabilidades suavizadas (soft targets) proporcionadas por el maestro.
Summary
La destilación de conocimientos es una técnica de compresión de modelos en la que un modelo estudiante más pequeño aprende a imitar el comportamiento de un modelo maestro más grande.
Key Concepts
- Arquitectura Maestro-Estudiante
- Objetivos Suavizados (Soft Targets)
- Compresión de Modelos
- Eficiencia en la Inferencia
Use Cases
- Implementar grandes modelos de lenguaje en dispositivos móviles
- Reducir la latencia en aplicaciones de visión por computadora en tiempo real
- Optimizar modelos de aprendizaje profundo para entornos de computación perimetral (edge computing)