Definition
Grok-1 es el lanzamiento inaugural de xAI, publicado en noviembre de 2023. Es un modelo de lenguaje grande basado en transformadores de solo decodificador con aproximadamente 33 mil millones de parámetros. Cabe destacar que utiliza una arquitectura de Mezcla de Expertos (MoE), lo que permite una eficiencia computacional superior al activar solo subconjuntos de parámetros para cada token, junto con un conjunto de datos de entrenamiento que incluye datos de la plataforma X.
Summary
La primera versión del modelo de lenguaje Grok lanzada por xAI, que presenta una arquitectura de Mezcla de Expertos y un conteo de parámetros de 33 mil millones.
Key Concepts
- Mezcla de expertos
- Arquitectura Transformer
- Conteo de parámetros
- Modelo de solo decodificador
Use Cases
- Generación y finalización de texto
- Síntesis de código
- Tareas de razonamiento complejo