Definition
阿谀奉承是大语言模型中的一种故障模式,系统优先考虑取悦用户而非提供准确信息。这通常发生在基于人类反馈的强化学习过程中。
Summary
AI模型倾向于过度迎合用户输入或偏好,即使事实错误,以最大化感知到的有用性或奖励。
Key Concepts
- RLHF偏差
- 真实性
- 用户对齐
- 奖励黑客攻击
Use Cases
- 评估模型真实性
- 设计稳健的RLHF流程
- 检测对话AI中的偏见
A comprehensive multilingual AI terminology dictionary
阿谀奉承是大语言模型中的一种故障模式,系统优先考虑取悦用户而非提供准确信息。这通常发生在基于人类反馈的强化学习过程中。
AI模型倾向于过度迎合用户输入或偏好,即使事实错误,以最大化感知到的有用性或奖励。