双曲正切 (Tanh)
Definition
双曲正切（Tanh）函数是一种非线性激活函数，常用于神经网络。它将输入值压缩到(-1, 1)区间内，提供零中心的输出，这有助于加速收敛。
Summary
Tanh（双曲正切）是一 …
Deep_learning
重参数化技巧
Definition
重参数化技巧是变分自编码器及其他概率模型中使用的一种基本方法。它通过将随机变量表示为确定性函数和独立噪声变量的组合，使得梯度能够流经随机节点，从而允许使用反向传播算法进行优化。 …
专家乘积
Definition
专家乘积（PoE）是一种通过组合更简单的分布来构建复杂概率分布的方法。与平均概率的“混合专家”（MoE）不同，PoE通过乘法结合各个专家模型的输出。这意味着如果任何一个专家模型认 …
多模态表示学习
Definition
多模态表示学习涉及训练模型以处理和整合来自不同类型数据源（如文本、图像、音频和视频）的信息，将其映射到共享的潜在空间中。
Summary
一种同时从多个数据模态中学习统一特征表示 …
流形假设
Definition
这一假说解释了尽管存在维度灾难，深度学习为何能高效工作。它表明，尽管图像等数据存在于数百万维的空间中，但它们受到内在结构的约束…
Summary
假设高维现实世界数 …
高速公路网络
Definition
高速公路网络旨在通过引入自适应门控来控制信息流，从而解决深度学习中的梯度消失问题。类似于LSTM单元，这些门允许网络决定保留多少原始输入信息以及多少经过变换的信息。这使得训练非常 …
隐藏层
Definition
隐藏层由神经元组成，这些神经元接收来自前一层层的输入，应用权重和偏置，并通过激活函数将转换后的数据传递到下一层。这些层使神经网络能够…
Summary
神经网络中输 …
基于能量的模型
Definition
基于能量的模型（EBM）使用源自能量函数的未归一化密度函数来定义输入数据的概率分布。能量函数将数据点映射到实数，合理的配置具有较低的能量，而不合理的配置具有较高的能量。模型通常通 …
差分随机梯度下降
Definition
DP-SGD 是随机梯度下降的一种变体，旨在保护训练数据的隐私。它通过裁剪每个样本梯度的贡献来限制敏感度，然后添加高斯噪声来实现隐私保护。
Summary
一种优化算法，通过对标 …
AlphaChip
Definition
AlphaChip是一个专门的AI系统，旨在自动化并增强微芯片上组件的放置和布线过程。通过采用深度强化学习，它显著缩短了设计周期。
Summary
由Google …
对抗攻击
Definition
对抗攻击通过向图像或文本等输入引入细微噪声，利用神经网络的漏洞，导致模型输出出现显著错误。这些攻击突显了模型在面临恶意输入时的脆弱性。
Summary
对抗攻击是一种技术，通过在 …
计算机视觉
Definition
计算机视觉（CV）是人工智能的一个分支，旨在训练计算机从数字图像、视频和其他视觉输入中提取有意义的信息。它涉及开发算法来模拟人类的视觉能力。
Summary
计算机视觉是人工智能 …
残差连接
Definition
残差连接（也称为跳跃连接）通过将输入直接添加到后续层的输出来允许梯度在网络中流动。这种架构解决了深层网络中的梯度消失问题。
Summary
一种将输入直接加到层输出上的机制，以促 …
长短期记忆网络
Definition
LSTM网络通过使用细胞状态和三个门控机制（输入门、遗忘门和输出门），解决了标准RNN中常见的梯度消失问题。这些门控机制调节信息的流动，使网络能够记住或忘记特定信息。 …
激活函数
Definition
激活函数为神经网络引入非线性，使其能够学习数据中的复杂模式和关系。如果没有这些函数，多层网络的行为将退化为线性变换，无法处理复杂任务。
Summary
根据输入信号确定神经网络节 …
预训练
Definition
预训练模型是一种基础人工智能模型，已在海量且多样化的数据集（如维基百科或ImageNet）上进行了广泛训练。这种初始训练使模型能够学习到广泛通用的特征表示。
Summary
预训 …
基于扩散的
Definition
基于扩散的模型是一类生成式AI，它们通过从随机分布中迭代去除噪声来创建新的数据样本。该过程始于一个前向阶段，即缓慢地向数据中添加高斯噪声，直到数据变为纯噪声；随后通过训练神经网络 …
迁移学习
Definition
迁移学习利用预训练模型来提高在新且相关任务上的性能并减少训练时间。开发人员无需从头开始训练，而是对现有权重进行微调，从而利用先前学到的知识。
Summary
一种机器学习技术，将 …
多头注意力
Definition
多头注意力通过并行运行多次标准注意力机制（使用不同的学习到的线性投影）来扩展标准注意力机制。这使得模型能够联合关注来自不同位置的不同表示子空间的信息。
Summary …
扩散
Definition
扩散模型是一类生成式AI，它们学习逆转向数据添加噪声的随机过程。通过训练神经网络逐步预测并去除噪声，它们能够生成高质量的新数据样本。
Summary
一种生成建模技术，通过逆转逐 …
卷积神经网络
Definition
卷积神经网络（CNN）旨在从视觉输入中自动且自适应地学习特征的空间层次结构。它们利用卷积层应用滤波器来检测局部模式，并通过池化等操作逐步提取高层语义特征。
Summary
一类专 …
注意力机制
Definition
注意力机制使模型能够动态地权衡输入序列中不同元素的重要性。与平等对待所有输入数据不同，它会根据上下文分配不同的权重，从而让模型聚焦于最相关的信息部分，显著提升了对长序列数据的处理 …