Definition
El aprendizaje por preferencia se centra en enseñar a los modelos a distinguir entre salidas buenas y malas basándose en juicios humanos en lugar de etiquetas absolutas. Típicamente implica recopilar pares de respuestas donde un humano indica cuál es preferible, permitiendo que el modelo aprenda una función de recompensa implícita que refleja los matices y valores subjetivos difíciles de codificar mediante reglas explícitas.
Summary
Una técnica que entrena modelos para alinear sus salidas con las preferencias humanas utilizando retroalimentación comparativa.
Key Concepts
- Retroalimentación humana
- Comparación por pares
- Modelado de recompensa
- Alineamiento
Use Cases
- RLHF para grandes modelos de lenguaje
- Sistemas de recomendación
- Filtrado de moderación de contenido