S型函数
Definition
S型函数定义为 σ(z) = 1 / (1 + e^-z)，广泛用于机器学习中对概率进行建模。它将输入值压缩到 (0, 1) 范围内，使其适用于二分类问题的输出层。 …
Neural-Networks
奇偶校验学习
Definition
奇偶校验学习是机器学习理论中的一个基准问题，目标是预测一组二进制输入变量的奇偶性（即异或和）。对于标准的浅层前馈神经网络来说，这个问题 notoriously …
神经计算
Definition
神经计算是指人工神经元执行数学运算，将输入信号转化为输出响应的过程。它涉及加权求和、激活函数以及反向传播（backpropagation）。
Summary
受生物神经元启发的神 …
门控循环单元
Definition
门控循环单元（GRU）是一种专门的循环神经网络（RNN）单元，旨在捕捉序列数据中的长期依赖关系。它简化了长短期记忆（LSTM）架构。
Summary
一种使用门控机制控制信息流动 …
前馈网络
Definition
前馈网络（FFN），也称为多层感知机（MLP），通过从输入层到输出层的神经元层顺序处理数据，没有反馈回路。每个神经元接收输入信号的加权总和，并通过激活函数进行处理，将结果传递给下 …
批归一化
Definition
该方法在训练期间调整并缩放激活值，使其在每个小批量中具有零均值和单位方差。它减少了内部协变量偏移，允许使用更高的学习率和更快的收敛速度。
Summary
批归一化是一种技术，通过 …
Softmax
Definition
Softmax 广泛用于多分类任务中神经网络的输出层。它接收原始对数几率（logits）向量并对其进行归一化，使每个元素代表一个概率值。
Summary
一种数学函数，将任意实数 …
ReLU
Definition
由于其计算效率高且能缓解梯度消失问题，ReLU 被广泛应用于深度学习的神经网络中。其数学定义为 f(x) = max(0, x)，它引入了非线性特性（原文截断， …
循环神经网络
Definition
RNN 旨在识别数据序列中的模式，例如文本、基因组、手写体或语音。与前馈网络不同，它们具有内部记忆，能够捕获关于先前输入的信息（原文截断，意为 captures …
线性
Definition
线性运算涉及乘法和加法，不包含非线性激活。在神经网络中，线性层（或密集层）对输入向量应用权重矩阵变换。虽然线
Summary
描述输出与输入成正比的操作或关系，构成神经层仿射变换 …