Definition
El aprendizaje auto-supervisado es un subconjunto del aprendizaje automático donde la señal de supervisión se deriva automáticamente de los propios datos, eliminando la necesidad de etiquetado manual. El modelo típicamente resuelve tareas pretext (como predecir palabras faltantes o rotaciones de imagen) para aprender representaciones útiles que luego pueden transferirse a otras tareas.
Summary
El aprendizaje auto-supervisado es una técnica en la que el modelo genera sus propias etiquetas a partir de los datos de entrada para aprender representaciones sin anotación humana.
Key Concepts
- Tareas pretext
- Modelado enmascarado
- Datos no etiquetados
- Aprendizaje de representaciones
Use Cases
- Entrenar BERT mediante modelado de lenguaje enmascarado
- Aprendizaje contrastivo para incrustaciones de imágenes
- Predicción de los siguientes tokens en grandes modelos de lenguaje