玩具问题
Definition
在人工智能和计算机科学中，玩具问题是一个高度简化的场景，旨在说明某个概念或测试新算法。例如八皇后问题或旅行商问题的简化版。这类问题通常具有明确的规则和较小的搜索空间，使得研究人员 …
Theory
终极算法
Definition
该术语由佩德罗·多明戈斯在其同名著作中提出，“终极算法”描述了一个理论上的机器学习统一框架，能够复制所有人类的学习过程。它设想了一种能够整合各种学习范式的通用智能。 …
结构风险最小化
Definition
结构风险最小化（SRM）是一种通过控制模型复杂度来防止过拟合、从而最小化期望风险的方法。它在经验风险最小化的基础上增加了正则化项，以惩罚过于复杂的模型。
Summary
统计学习 …
统计学习理论
Definition
统计学习理论（SLT）是统计学和计算机科学的一个分支，研究特定算法如何从有限的训练样本泛化到未见过的数据。它侧重于对泛化误差进行界限分析，以确保模型在未知数据上的表现。 …
稳定性
Definition
在机器学习中，稳定性（Stability）指模型的性能和参数在面对训练数据的微小扰动时保持稳健的程度。一个稳定的算法即使输入数据略有不同，也能生成相似的模型或预测结果。稳定性是评 …
所罗门诺夫的归纳推理理论
Definition
由雷·所罗门诺夫开发，该理论通过根据序列的复杂性为其分配概率，提供了一种通用的归纳模型。它主张更简单的解释（即较短的程序）具有更高的先验概率，从而为机器学习和人工智能中的模式识别 …
样本复杂度
Definition
在计算学习理论中，样本复杂度量化了有效训练模型所需的数据量。它平衡了模型容量与数据可用性之间的权衡，确保
Summary
样本复杂度是指机器学习算法以高概率达到特定性能水平所需的 …
递归自我改进
Definition
递归自我改进是指人工智能系统理论上能够重写自身的源代码或架构，从而变得更聪明、更高效或具备更强能力的特性。
Summary
一种AI系统通过自我修改迭代增强自身智能或能力的过程。 …
Rademacher 复杂度
Definition
Rademacher 复杂度评估假设类与随机标签（噪声）的相关程度。它作为模型容量或灵活性的代理指标。较低的复杂度通常意味着更好的泛化能力。
Summary
学习理论中用于量化函 …
理性原则
Definition
该原则主张，给定感知输入和先验知识，智能体的行动选择应使其预期绩效度量最大化。它是决策理论的基石，指导智能体在不确定性环境下做出最优选择。
Summary
智能体基于可用信息采取 …
模式理论
Definition
模式理论为理解如何通过模式来描述复杂对象和现象提供了严谨的数学基础。它认为任何对象都可以通过其
Summary
一种通过分析数据空间中的模式来描述复杂结构的数学框架。
Key …
奇偶校验学习
Definition
奇偶校验学习是机器学习理论中的一个基准问题，目标是预测一组二进制输入变量的奇偶性（即异或和）。对于标准的浅层前馈神经网络来说，这个问题 notoriously …
神经建模场
Definition
神经建模场涉及研究神经群体如何在高维空间中组织自身以表征信息。这一概念通常与拓扑映射（topological mappings）和场论（field theory）相关。 …
数学
Definition
在人工智能的背景下，数学为算法设计和分析提供了理论框架。关键分支包括用于数据表示的线性代数、用于优化的微积分、用于不确定性建模的概率论以及用于数据分析的统计学。
Summary
…
流形假设
Definition
这一假说解释了尽管存在维度灾难，深度学习为何能高效工作。它表明，尽管图像等数据存在于数百万维的空间中，但它们受到内在结构的约束…
Summary
假设高维现实世界数 …
M理论
Definition
虽然主要是一个理论物理概念而非计算机科学概念，但M理论偶尔被引用到高级计算模拟和量子计算研究中。它表明
Summary
M理论是物理学中的一个理论框架，统一了五种不同版本的弦理 …
彩票假设
Definition
彩票假设指出，在一个大型随机初始化的神经网络中，存在一个稀疏的子网络（即“中奖彩票”），其初始化状态非常适合训练。通过剪枝掉不重要的权重，仅保留并训练这个子网络，可以在不损失性能 …
线性可分性
Definition
线性可分性是指不同类别的数据点可以通过线性边界（如二维空间中的直线或高维空间中的超平面）完全分离的几何条件。
Summary
数据集的一种属性，指两个类别可以被一条直线或超平面完 …
可学习函数类
Definition
在统计学习理论中，可学习函数类代表了算法可用的假设空间。它定义了模型潜在能够捕捉的模式或映射的范围，决定了模型的表达能力和泛化潜力。
Summary
可学习函数类是由特定模型架构 …
语言/行动视角
Definition
植根于言语行为理论和语用学，这一视角强调话语如何执行请求、承诺或命令等功能。在自然语言处理中，它指导了意图理解和对话生成的设计。
Summary
一种理论框架，主要将语言视为一种 …
分布的核嵌入
Definition
分布的核嵌入允许将概率对象视为再生核希尔伯特空间（RKHS）中的点。通过将分布映射到高维特征空间，可以将复杂的概率比较问题转化为简单的向量代数运算，如计算均值嵌入之间的距离，从而 …
各向同性位置
Definition
在凸几何和高维概率中，如果一组点或凸体的质心位于原点，且其协方差矩阵是标量乘以
Summary
凸体的一种几何变换，使其惯性矩阵与单位矩阵成比例，从而简化分析。
Key …
学习的推断理论
Definition
该理论认为，学习本质上是一个概率推断的过程。学习者不是通过死记硬背来记忆数据，而是维护一个关于可能模型或假设的概率分布。
Summary
一种将学习视为贝叶斯推断的框架，即根据观 …
Inductive Bias
Definition
归纳偏置代表了内置于机器学习模型中的固有偏好或约束，使其能够从训练数据泛化到未见过的数据。如果没有这些偏置，模型将无法…
Summary
学习算法用于预测训练期间未 …
思想学
Definition
该领域研究想法形成、组合和演变的背后过程。它应用结构化技术来增强创造力和解决问题的能力。在人工智能背景下，思想学可用于构建自动化创意生成系统。
Summary
思想学是研究创意生 …
哥德尔机
Definition
哥德尔机是由于尔根·施密德胡伯提出的假设性通用问题求解器，基于形式逻辑和可计算性理论。它通过持续分析自身的源代码来寻找更高效的算法实现方式，并在证明新代码能带来更高效用时进行自我 …
顿悟学习
Definition
顿悟学习（Grokking）是指深度学习中观察到的一种反直觉行为：模型在训练数据上长时间过拟合，表现出较差的泛化能力，但在经过漫长的训练周期后，突然在测试集上实现近乎完美的泛化。 …
粒计算
Definition
这种方法通过将数据分组为更高层级的实体或“粒”，而不是处理单个元素，从而模仿人类的认知过程。它涵盖了粗糙集、模糊逻辑等技术。
Summary
粒计算是一种在不同抽象层次上处理信息 …
语法系统理论
Definition
该领域起源于理论计算机科学和语言学，将经典的乔姆斯基层级概念扩展到多组件系统。它研究了多个语法或组件如何相互作用以产生复杂的计算行为。
Summary
语法系统理论是形式语言理论 …
加贝分离定理
Definition
加贝分离定理是数学逻辑中的一个基本概念，特别是在时序逻辑和模态逻辑的研究中。它提供了在何种条件下逻辑系统可以被分解或分离的条件。
Summary
非经典逻辑中的一个结果，指出某些 …
基础原理 (Foundational Principles)
Definition
在AI术语的语境中，“基础原理”通常用于描述定义AI模型如何解释输入并生成输出的核心功能本体或基础逻辑结构。它构成了AI系统运作的基石，确保了系统行为的可预测性和一致性。 …
可进化性
Definition
在计算语境中，可进化性指算法或神经网络架构在代际或训练步骤中提高其适应度的难易程度。高可进化性意味着微小的变化就能导致显著的适应性改进，这对于进化算法和神经架构搜索至关重要。 …
经验风险最小化
Definition
经验风险最小化（ERM）是训练监督学习模型的标准目标函数。它涉及从一组函数中选择假设，以最小化训练数据上的平均误差（即经验风险）。其核心思想是通过优化训练集上的表现来逼近真实的风 …
具身认知科学
Definition
该领域挑战了将心智视为处理抽象符号的计算机的传统观点。相反，它认为认知过程深深植根于身体的物理特性之中，强调身体、心智和环境之间的紧密联系。
Summary
具身认知科学是一个理 …
双重下降
Definition
双重下降挑战了传统的偏差-方差权衡理论，表明高度过参数化的模型即使插值了训练数据，也能实现较低的测试误差。起初，随着模型复杂度的增加，误差会上升，但在越过插值阈值后，误差会再次下 …
维度灾难
Definition
维度灾难是指在高维空间中分析数据时出现的各种现象，这些现象在低维设置中不会出现。随着特征数量的增加，数据点在空间中的分布变得极其稀疏，使得基于距离的算法（如K近邻）难以找到有意义 …
混沌
Definition
混沌理论研究起始参数的微小变化如何导致复杂系统中截然不同的结果。在人工智能领域，理解混沌行为对于模型稳定性分析和复杂系统模拟至关重要。
Summary
在人工智能中，混沌指的是复 …
核正则化的贝叶斯解释
Definition
这一概念确立了：使用特定核函数最小化正则化风险泛函，等价于在贝叶斯框架中寻找最大后验概率（MAP）估计。具体来说，它揭示了确定性核方法与概率性高斯过程之间的深层联系。 …
归因演算
Definition
归因演算是模态逻辑的一个分支，专注于对认知状态进行推理。它为建模诸如“智能体A知道P”或“智能体B相信Q”这样的陈述提供了框架。该系统常用于多智能体系统中，以形式化方式描述不同实 …
通用人工智能
Definition
通用人工智能（AGI）指的是一种能够执行人类所能完成的任何智力任务的AI类型。与擅长特定任务（如国际象棋或图像识别）的狭义AI不同，AGI具有广泛的适应能力。
Summary
假 …
困境/悖论
Definition
在哲学和AI理论中，aporia描述了一种悖论情况，即两个同样有效的论点导致相互矛盾的结果。在机器学习中，这可能表现为模型性能在两种合理但冲突的目标之间难以权衡。
Summary …
算法概率
Definition
算法概率根植于柯尔莫哥洛夫复杂性和所罗门诺夫归纳法，它为由较短程序生成的输出分配更高的概率。它假设更简单的解释更有可能为真。
Summary
一种理论度量，用于评估随机程序生成特 …
AIXI
Definition
AIXI 是由马库斯·胡特（Marcus Hutter）提出的理论框架，定义了一个理想化的智能体。它将用于预测环境的索洛莫夫归纳法与用于决策的强化学习相结合，旨在从理论上描述最优 …
AI完备问题
Definition
AI完备问题是那些如果得以解决，就暗示了人工通用智能（AGI）存在的任务。这些问题需要类似人类的深刻理解、推理能力和适应性。
Summary
极其复杂的问题，解决它需要类似人类的 …
神经活动中固有的思想逻辑演算
Definition
这篇基础性论文提出了神经网络的一个数学模型，证明了简单的人工神经元可以实现布尔逻辑门。通过展示这些单元的网络能够执行复杂的逻辑功能，它为计算理论奠定了基石。
Summary
这是 …
理解
Definition
AI的理解超越了统计相关性，旨在解释数据背后的潜在含义。对于语言模型而言，这涉及掌握句法、语义和语用学，以生成连贯且合乎逻辑的输出。
Summary
在人工智能中，指模型能够理解 …
自我
Definition
尽管当前的人工智能缺乏意识，但“自我”一词通常描述元认知能力，即模型分析其自身输出、置信度或内部状态的能力。它出现在相关语境中。
Summary
在AI中，“自我”指代理的身份或 …
潜在
Definition
在机器学习中，潜在变量是影响观测数据的未观察因素。在神经网络中，特别是自编码器和扩散模型中，潜在空间代表压缩的、抽象的
Summary
指模型内部空间中捕获数据关键特征的隐藏变量 …
信息
Definition
在人工智能和计算机科学的语境中，信息与原始数据有所区别。它代表经过组织、结构化或解释以具有意义和实用性的数据。信息（注：原文截断，此处补全语义）通常被视为数据经过处理后产生的价值 …
群
Definition
在数学和理论计算机科学中，群是一个集合G连同满足四个公理的二元运算：封闭性、结合律、单位元和逆元。在AI中，群论被用于…
Summary
一种基本的数学结构，由一个 …
全局
Definition
在人工智能中，“全局”一词通常与“局部”相对，指涵盖整个系统的方面。在优化领域，全局最小值代表在整个损失景观中可能的最佳解决方案。
Summary
描述适用于整个模型或数据集而非 …
能量
Definition
能量在人工智能中有两个主要含义。首先，它指运行硬件所需的电力，随着模型规模的扩大，这已成为可持续发展的一个日益关注的问题。其次，在受统计力学启发的模型（如玻尔兹曼机）中，能量是一 …