相似度学习
Definition
相似度学习专注于训练模型，将输入映射到向量空间，其中相似的项目彼此靠近，不相似的项目相距较远。常用的技术包括孪生网络和三元组损失函数。
Summary
一种机器学习方法，通过学习 …
Deep Learning
句子变换器
Definition
句子变换器是传统变换器模型（如BERT）的扩展，经过微调以产生整个句子的有意义稠密向量表示。与标准的基于标记的模型不同，它们直接输出句子级别的嵌入。
Summary
专门设计用于 …
Pyannote Audio
Definition
Pyannote Audio 是一个综合性的工具包，旨在促进说话人日志系统的开发和部署。它提供了一系列预训练的神经网络模型，用于执行各
Summary
Pyannote …
模式崩溃
Definition
在 GAN 中，当生成器学会利用判别器的弱点，仅产生少量看似合理的样本，而忽略数据分布的其他模式时，就会发生模式崩溃。这种现象会导致生成多样性严重不足。
Summary
模式崩溃 …
人工智能硬件
Definition
人工智能硬件指的是针对机器学习工作负载所需的巨大并行处理能力进行优化的专用计算设备。这包括用于通用并行计算的图形处理器（GPU），以及专门针对张量运算定制的张量处理单元（TPU） …
梯度累积
Definition
这种优化策略允许深度学习模型使用超出 GPU 显存容量的有效批量大小进行训练。通过从多个小批量中累积梯度并执行权重更新，可以实现这一目标。
Summary
梯度累积是一种通过在前 …
门控循环单元
Definition
门控循环单元（GRU）是一种专门的循环神经网络（RNN）单元，旨在捕捉序列数据中的长期依赖关系。它简化了长短期记忆（LSTM）架构。
Summary
一种使用门控机制控制信息流动 …
特征学习
Definition
特征学习通常与深度学习相关联，使模型能够直接从原始输入数据中学习分层表示，而不是依赖人工特征工程。通过多层网络结构，模型可以自动提取从低级到高级的抽象特征，从而减少对领域专家手动 …
领域自适应
Definition
领域自适应解决了训练数据和测试数据来自不同分布的挑战。通过对齐有标签的源领域和无标签或稀疏标签的目标领域之间的特征表示，该方法能够提升模型的泛化能力。
Summary
一种通过利 …
双重下降
Definition
双重下降挑战了传统的偏差-方差权衡理论，表明高度过参数化的模型即使插值了训练数据，也能实现较低的测试误差。起初，随着模型复杂度的增加，误差会上升，但在越过插值阈值后，误差会再次下 …
BERT
Definition
BERT（Bidirectional Encoder Representations from Transformers）是由Google开发的一种基于Transformer的机 …
批归一化
Definition
该方法在训练期间调整并缩放激活值，使其在每个小批量中具有零均值和单位方差。它减少了内部协变量偏移，允许使用更高的学习率和更快的收敛速度。
Summary
批归一化是一种技术，通过 …
ReLU
Definition
由于其计算效率高且能缓解梯度消失问题，ReLU 被广泛应用于深度学习的神经网络中。其数学定义为 f(x) = max(0, x)，它引入了非线性特性（原文截断， …
循环神经网络
Definition
RNN 旨在识别数据序列中的模式，例如文本、基因组、手写体或语音。与前馈网络不同，它们具有内部记忆，能够捕获关于先前输入的信息（原文截断，意为 captures …
Dropout
Definition
在神经网络中，Dropout 通过在每次训练步骤中临时移除随机子集的神经元来防止过拟合。这迫使网络学习在联合使用时有用的鲁棒特征。
Summary
Dropout 是一种正则化技 …
预训练
Definition
预训练是深度学习中的一种基础技术，模型从海量数据中学习广泛的特征和模式，通常无需标签。这一过程使模型能够发展出通用的知识表示，从而在后续针对特定下游任务进行微调时，仅需少量数据即 …
神经网络
Definition
神经网络是一系列算法，通过模拟人类大脑运作的方式，试图识别一组数据中的潜在关系。它由层组成
Summary
一种受生物大脑启发的计算系统，由组织成层的互连节点或神经元组成。 …
大语言模型
Definition
大语言模型（LLM）是基于Transformer架构的高级人工智能系统，在包含大量文本和代码的数据集上进行训练。它们学习语言中的统计模式，
Summary
一种在海量文本语料库上 …
Adam
Definition
Adam（自适应矩估计）是一种流行的基于一阶梯度的优化算法，用于训练深度神经网络。它结合了两种其他随机梯度下降扩展的优势。
Summary
一种为每个参数计算自适应学习率的优化算 …
微调
Definition
微调涉及在一个已在大而通用数据集上训练好的模型基础上，继续在专业化数据集上进行训练。这使得模型在保留通用知识的同时，能够习得特定任务的技能。
Summary
使用较小的数据集将预 …