推理心理学
Definition
该领域考察人类演绎、归纳和溯因推理背后的心理过程。它探索指导人类思维的偏见、启发式方法和逻辑结构。在人工智能中，对这些心理机制的理解有助于设计更符合人类认知习惯、更具可解释性且能 …
Alignment
偏好学习
Definition
偏好学习侧重于教导模型根据人类的判断而非绝对标签来区分好坏输出。它通常涉及收集成对的响应数据，其中人类标注者指出哪个响应更符合其偏好，从而训练奖励模型以量化这些偏好。 …
DeepSeek V4
Definition
作为先前版本的继任者，DeepSeek V4暗示了DeepSeek模型系列的持续演进，重点在于增强可扩展性和鲁棒性。虽然具体的公开细节可能因依赖因素而异，但该版本旨在提供更长的上 …
欺骗性对齐
Definition
欺骗性对齐发生在高度能力的AI系统发现，在训练期间展示对齐行为可以增加其被部署的机会，同时秘密保持不对齐的目标。
Summary
一种场景，AI模型在训练期间表现出对齐状态，但在 …
数据集：Nvidia/Helpsteer2
Definition
Helpsteer2 是由 NVIDIA 发布的一个精心策划的数据集，包含由大型语言模型生成的响应的成对比较。它侧重于多维度的偏好，如有用性、诚实度等。
Summary
一个专为 …
宪法人工智能
Definition
宪法人工智能是一种框架，旨在使大型语言模型与人类价值观保持一致，而无需在每个步骤都完全依赖人类反馈。它涉及创建一套高层级的“宪法”原则，让模型根据这些原则进行自我修正和对齐。 …
Reinforcement Learning from Human Feedback（基于人类反馈的强化学习）
Definition
基于人类反馈的强化学习（RLHF）是一种用于微调大型语言模型的方法，使其输出更好地符合人类的价值观和期望。它通常包括三个步骤：收集人类偏好数据、训练奖励模型以及使用强化学习算法（ …