Definition
Helpsteer2 es un conjunto de datos curado publicado por NVIDIA que contiene comparaciones por pares de respuestas generadas por modelos de lenguaje grandes. Se centra en las preferencias humanas multidimensionales, como la utilidad…
Summary
Un conjunto de datos de alta calidad de preferencias humanas diseñado específicamente para entrenar modelos de recompensa en el aprendizaje por refuerzo a partir de comentarios humanos.
Key Concepts
- RLHF
- Modelado de Recompensas
- Preferencias Humanas
- Alineación
Use Cases
- Entrenamiento de modelos de recompensa para la alineación de LLM
- Evaluación de la utilidad y seguridad del modelo
- Ajuste fino de modelos base con datos de preferencia