Definition
El Aprendizaje por Refuerzo a partir de Retroalimentación Humana (RLHF) es un método utilizado para ajustar modelos de lenguaje grandes para que sus salidas se alineen mejor con los valores y expectativas humanos. Típicamente implica tres pasos:
Summary
RLHF es una técnica que alinea los modelos de IA con las preferencias humanas utilizando la retroalimentación humana para entrenar un modelo de recompensa para el aprendizaje por refuerzo.
Key Concepts
- Datos de Preferencia
- Modelo de Recompensa
- Alineamiento
- PPO (Optimización de Política Proxima)
Use Cases
- Refinamiento de chatbots
- Moderación de contenido
- Mejora del seguimiento de instrucciones