Definition
LLM-as-a-Judge es un paradigma de evaluación donde un Modelo de Lenguaje Grande actúa como evaluador automatizado de la calidad de las salidas de otros modelos. En lugar de depender únicamente de anotadores humanos o métricas rígidas, se utiliza un modelo de referencia (el ‘juez’) para analizar las respuestas generadas y asignarles una puntuación o clasificación basada en instrucciones específicas, lo que permite escalar la evaluación de manera más eficiente y consistente.
Summary
Un método para evaluar las salidas de Modelos de Lenguaje Grande utilizando otro LLM para puntuar o clasificar respuestas según criterios establecidos.
Key Concepts
- Evaluación automatizada
- Ingeniería de prompts
- Alineación de modelos
- Métricas de calidad
Use Cases
- Benchmarking de modelos RLHF
- Evaluación de escritura creativa
- Detección de seguridad y sesgos