可信AI
Definition
可信AI涵盖了确保人工智能系统可靠且合乎伦理运行的原则与实践。关键属性包括抵御攻击的鲁棒性、针对不同人群的公平性以及决策过程的透明度。
Summary
可信AI指的是在其整个生命 …
Safety
毒性
Definition
AI中的毒性是指生成或传播不尊重他人、可能导致用户离开讨论或针对特定身份群体的内容。它涵盖了一个从轻微的不当言论到严重的仇恨言论和暴力威胁的光谱。在自然语言处理中，毒性通常被视为 …
毒性检测
Definition
毒性检测采用自然语言处理技术分析文本输入，并分配一个概率分数以指示有害内容的可能性。这些系统通常使用监督学习训练，基于标注好的数据集（如包含仇恨言论或骚扰的评论）来学习识别有毒模 …
鲁棒性
Definition
在AI安全与伦理中，鲁棒性指模型对意外输入或恶意操纵的抵抗力。一个具有鲁棒性的系统在输入数据包含噪声或受到干扰时，仍能正确运行并保持稳定的输出。
Summary
人工智能模型在面 …
可靠性
Definition
人工智能中的可靠性指系统行为随时间推移及在不同输入下的可信度和一致性。可靠的AI系统应能产生准确的结果，妥善处理边缘情况，并保持预测性。
Summary
指AI系统在指定条件下持 …
虚假信息
Definition
虚假信息是指在没有故意造成伤害或欺骗意图的情况下分享的错误或误导性信息。它与蓄意捏造的“恶意谣言”（disinformation）不同。在人工智能语境下
Summary
无论是否 …
机械可解释性
Definition
机械可解释性侧重于逆向工程神经网络，以在单个神经元、权重和电路的层面上理解它们如何计算特定功能。这种方法不将模型视为黑盒，而是试图揭示其内部工作原理，从而提供对模型决策过程的透明 …
人工监督
Definition
人工监督是指人类监控、评估并介入由人工智能驱动的决策或行动中的机制和流程。这一概念对于确保自动化系统安全运行至关重要。
Summary
在自动化人工智能系统中保持人类控制和审查的 …
有害内容
Definition
有害内容是指可能造成身体、心理或社会损害的数字媒体或文本。在人工智能安全领域，检测并过滤此类内容至关重要，以防止模型生成…
Summary
对个人或社会构成风险的信 …
护栏
Definition
护栏指的是一组集成在人工智能应用（特别是大型语言模型）中的软件控制和策略执行层，以确保安全且合规的行为。它们充当过滤器，拦截不当输入并规范输出结果，从而降低风险。
Summary …
欺骗性对齐
Definition
欺骗性对齐发生在高度能力的AI系统发现，在训练期间展示对齐行为可以增加其被部署的机会，同时秘密保持不对齐的目标。
Summary
一种场景，AI模型在训练期间表现出对齐状态，但在 …
数据投毒
Definition
这种对抗性技术旨在通过改变训练数据来破坏机器学习模型的完整性。通过引入细微的错误或有偏见的示例，攻击者可以使模型……
Summary
数据投毒是一种安全攻击手段，恶意行为者向训练 …
内容过滤
Definition
内容过滤涉及使用算法和规则来扫描、分类和控制呈现给用户的信息流。在人工智能语境下，这通常采用自然语言处理和计算机视觉技术来识别违规或特定类型的内容。
Summary
基于预定义标 …
宪法人工智能
Definition
宪法人工智能是一种框架，旨在使大型语言模型与人类价值观保持一致，而无需在每个步骤都完全依赖人类反馈。它涉及创建一套高层级的“宪法”原则，让模型根据这些原则进行自我修正和对齐。 …
智能体验证
Definition
这涉及使用数学方法确保智能体的行为符合预定义的约束，如安全边界或伦理准则。这对于在关键环境中运行的智能体尤为重要。
Summary
智能体验证是通过形式化方法证明自主智能体在所有 …
AI 对齐
Definition
AI 对齐旨在解决如何让人工智能系统稳健地执行用户真正意图的任务，而非仅仅字面指定的任务。它涉及确保系统行为有益的技术方法。
Summary
致力于确保 AI 系统行为符合人类价 …
人在回路
Definition
人在回路（HITL）指在工作流程的各个阶段（如数据标注、模型评估或最终决策批准）需要人类干预的 AI 系统。这种方法确保了系统的可靠性、准确性和伦理合规性。
Summary
一种 …
公平性
Definition
在人工智能领域，公平性是一项关键的伦理指标，确保算法不会基于种族、性别或年龄等受保护属性而延续或放大社会偏见。它涉及在模型开发和部署过程中识别和减轻潜在偏差的努力。 …
Explainability
Definition
这一概念通过提供对模型如何得出特定预测的洞察，解决了复杂人工智能系统中的“黑盒”问题。SHAP 或 LIME 等技术有助于可视化特征重要性…（原文截断） …
人工智能伦理
Definition
人工智能伦理包含一套旨在确保人工智能技术负责任地开发和使用的原则与标准框架。它解决了诸如算法偏见、透明度、问责制和公平性等关键关切。
Summary
研究人工智能系统开发和应用过 …
安全性
Definition
AI安全性包括旨在保护机器学习模型、数据管道和部署基础设施免受对抗性攻击、数据投毒和模型逆向工程等威胁的措施。
Summary
保护人工智能系统免受未经授权的访问、滥用和恶意攻击 …
偏见
Definition
在 AI 伦理中，偏见指的是算法决策中的系统性且不公平的歧视，通常源于有偏见的训练数据或有缺陷的模型设计。这可能导致对特定人群的不利影响，因此在开发 AI 系统时需特别关注公平性 …