Definition
El ajuste por prefijo es una técnica de adaptación eficiente en parámetros para transformadores preentrenados. En lugar de actualizar todos los pesos del modelo, se antepone una secuencia de vectores continuos entrenables (el prefijo) a las entradas de las capas del transformador. Esto permite adaptar el comportamiento del modelo a nuevas tareas con una fracción mínima de parámetros adicionales, manteniendo congelada la arquitectura base.
Summary
Un método de ajuste fino eficiente en parámetros que añade vectores continuos entrenables a la entrada de las capas del transformador.
Key Concepts
- Ajuste fino eficiente en parámetros
- Indicadores suaves (soft prompts)
- Capas del transformador
- Columna vertebral congelada
Use Cases
- Adaptación para aprendizaje con pocos ejemplos
- Aprendizaje multitarea con recursos limitados
- Personalización de grandes modelos de lenguaje para dominios específicos