前缀微调
Definition
前缀微调是一种用于预训练变换器的参数高效适应技术。与更新所有模型权重不同，它在输入序列前prepend（前置）一系列可训练的连续向量（即前缀），从而冻结主干网络并仅优化少量参数以 …
Fine_tuning
P-Tuning
Definition
P-Tuning（提示微调）是一种旨在以最低计算成本将大型预训练语言模型适配到特定下游任务的技术。与微调所有模型参数不同，P-Tuning 仅优化少量可学习的提示向量，同时保持预 …
适配器
Definition
适配器是一种参数高效的微调技术，主要用于大型语言模型和Transformer架构中。与计算成本高昂的更新所有模型权重不同，适配器仅训练少量新增参数，从而保留预训练知识并降低资源消 …
Reinforcement Learning from Human Feedback（基于人类反馈的强化学习）
Definition
基于人类反馈的强化学习（RLHF）是一种用于微调大型语言模型的方法，使其输出更好地符合人类的价值观和期望。它通常包括三个步骤：收集人类偏好数据、训练奖励模型以及使用强化学习算法（ …