动作选择中的赢家通吃机制
Definition
赢家通吃 (WTA) 是一种用于神经网络和强化学习中的竞争过程，用于解决多个竞争动作或假设之间的冲突。在此方案中，激活值最高的单元获胜并执行动作，同时抑制其他竞争者。 …
Neural_networks
层归一化
Definition
层归一化通过减少内部协变量偏移来稳定训练过程，尤其在循环神经网络和Transformer架构中非常有效。与依赖于批次统计信息的批归一化不同，层归一化不依赖于批次大小。 …
高速公路网络
Definition
高速公路网络旨在通过引入自适应门控来控制信息流，从而解决深度学习中的梯度消失问题。类似于LSTM单元，这些门允许网络决定保留多少原始输入信息以及多少经过变换的信息。这使得训练非常 …
隐藏层
Definition
隐藏层由神经元组成，这些神经元接收来自前一层层的输入，应用权重和偏置，并通过激活函数将转换后的数据传递到下一层。这些层使神经网络能够…
Summary
神经网络中输 …
轮次 (Epoch)
Definition
在机器学习中，一个轮次代表对整个训练数据集的一次单遍迭代。在每个轮次中，模型处理所有训练样本，通过反向传播更新其权重，并评估损失函数。增加轮次数通常可以提高模型性能，但过多轮次可 …
稠密层
Definition
在神经网络中，“稠密”指的是全连接层，其中每个神经元都接收来自前一层所有神经元的输入。这与卷积层或稀疏连接中常见的稀疏连接形成对比。
Summary
一种层或张量，其中每个元素都 …
持续学习
Definition
持续学习，也称为终身学习，使神经网络能够随着时间的推移获得新技能或信息，同时保留以前学到的能力。这解决了“灾难性”（遗忘）问题。
Summary
一种机器学习范式，模型从新数据中 …
演员-评论家算法
Definition
演员-评论家算法包含两个组件：演员负责更新策略以选择动作，评论家则通过估计价值函数来评估这些动作的质量。两者协同工作，以提高强化学习的稳定性和效率。
Summary
一种结合基于 …
神经活动中固有的思想逻辑演算
Definition
这篇基础性论文提出了神经网络的一个数学模型，证明了简单的人工神经元可以实现布尔逻辑门。通过展示这些单元的网络能够执行复杂的逻辑功能，它为计算理论奠定了基石。
Summary
这是 …
解码器
Definition
在序列到序列（Seq2Seq）模型中，解码器接收由编码器生成的上下文向量，并逐步生成目标输出。它利用注意力机制来关注输入序列的相关部分，从而准确预测下一个输出元素。 …
激活函数
Definition
激活函数为神经网络引入非线性，使其能够学习数据中的复杂模式和关系。如果没有这些函数，多层网络的行为将退化为线性变换，无法处理复杂任务。
Summary
根据输入信号确定神经网络节 …
卷积神经网络
Definition
卷积神经网络（CNN）旨在从视觉输入中自动且自适应地学习特征的空间层次结构。它们利用卷积层应用滤波器来检测局部模式，并通过池化等操作逐步提取高层语义特征。
Summary
一类专 …
深度学习
Definition
深度学习算法试图模拟人脑的分析和学习过程。通过堆叠多个互连节点的层级，这些模型能够从原始数据中学习分层特征，从而在图像识别、语音处理等任务中表现出色。
Summary
机器学习的 …
反向传播
Definition
反向传播（Backpropagation），即误差反向传播，是一种用于人工神经网络的方法，旨在计算损失函数关于权重的梯度。它通过将误差信号从输出层向输入层反向传播，并利用链式法则 …