Definition
El término ‘preentrenado’ describe un modelo de red neuronal que ha pasado por un entrenamiento inicial en un conjunto de datos masivo, a menudo genérico, como ImageNet o Wikipedia. Este proceso permite al modelo aprender características fundamentales y representaciones ricas de los datos, lo que facilita su adaptación posterior a tareas específicas mediante técnicas como el ajuste fino, mejorando significativamente el rendimiento y reduciendo la necesidad de grandes cantidades de datos etiquetados para la tarea final.
Summary
Se refiere a un modelo que ya ha sido entrenado en un conjunto de datos grande antes de ser adaptado para una tarea específica.
Key Concepts
- Aprendizaje por transferencia
- Extracción de características
- Modelos base
- Ajuste fino
Use Cases
- Inicialización de modelos BERT o GPT
- Uso de ResNet para clasificación de imágenes
- Punto de partida para tareas de PLN específicas de dominio