Definition
The Stack Dedup es un subconjunto especializado de The Stack, un vasto repositorio de código de código abierto. Aplica técnicas rigurosas de deduplicación para eliminar fragmentos de código redundantes que podrían sesgar el entrenamiento de grandes modelos de lenguaje.
Summary
Una versión deduplicada del conjunto de datos The Stack, curada por BigCode para eliminar fragmentos de código casi duplicados y obtener datos de entrenamiento más limpios.
Key Concepts
- Deduplicación
- LLMs de código
- Calidad de datos
- The Stack
Use Cases
- Entrenamiento de modelos de generación de código
- Evaluación de capacidades de codificación
- Reducción de redundancia en el entrenamiento