课程学习
Definition
课程学习模仿人类教育过程，以结构化的顺序呈现训练数据，通常从简单样本开始，并逐渐增加复杂度。这种方法有助于神经网络更好地收敛并提高泛化能力。
Summary
一种训练策略，模型先 …
Optimization
语音活动检测
Definition
VAD 算法实时分析音频流，以区分活跃语音时段和非语音间隔（如背景噪声或停顿）。这对于优化带宽至关重要。
Summary
语音活动检测（VAD）是一种信号处理技术，用于识别包含人 …
Unsloth
Definition
Unsloth 是一款专为优化大语言模型（LLM）的微调和部署而设计的工具。它通过替换标准的 PyTorch 操作，实现了显著的速度提升和内存占用减少。
Summary …
Vllm
Definition
vLLM（Virtual Large Language Model）是一个旨在加速 LLM 服务的开源库。它引入了 PagedAttention， …
Token最大化
Definition
Token最大化涉及精心构造输入内容，以充分利用模型的上下文窗口容量，或通过优化Token的语义密度来提升性能。实践者可能会填充无关文本以占满上下文空间（Padding），或者极 …
三因子学习
Definition
三因子学习是强化学习中的一种特定方法，它将学习过程分解为三个不同的组成部分：奖励信号、价值函数和策略。奖励信号提供即时反馈，价值函数评估长期预期收益，而策略则决定智能体的行动选 …
TensorFlow Lite
Definition
TensorFlow Lite 是一个开源框架，旨在将机器学习模型部署到智能手机、微控制器和物联网设备等资源受限的设备上。它通过优化模型推理过程来实现这一目标。
Summary …
文本生成推理
Definition
文本生成推理（TGI）是一个专用的软件框架，旨在以低延迟和高吞吐量服务大型语言模型（LLM）。它针对文本生成的推理过程进行了深度优化，包括连续批处理和张量并行等技术，从而显著提升 …
符号回归
Definition
符号回归是一种回归分析类型，旨在找到通常表示为树结构的数学表达式，以最优地拟合观测数据。与传统回归不同，它不预设函数形式。
Summary
符号回归是一种搜索最佳拟合数据集的数学 …
代理模型
Definition
在机器学习和优化中，代理模型作为难以直接评估的目标函数的代理。它通过原始模型的输入-输出对进行训练，以预测目标函数的行为。
Summary
一种简化的数学模型，用于近似更复杂、计 …
结构风险最小化
Definition
结构风险最小化（SRM）是一种通过控制模型复杂度来防止过拟合、从而最小化期望风险的方法。它在经验风险最小化的基础上增加了正则化项，以惩罚过于复杂的模型。
Summary
统计学习 …
结构化稀疏正则化
Definition
结构化稀疏正则化扩展了标准的L1正则化，鼓励在特定模式中产生零值，而不是独立地对待各个系数。它融入了关于特征之间潜在结构或分组的先验知识。
Summary
一种正则化技术，基于对 …
语义折叠
Definition
语义折叠是指将复杂的高维向量嵌入压缩为更易管理的低维表示的过程，且不会造成语义意义的显著丢失。
Summary
一种将高维语义表示映射到低维空间同时保留关系结构的技术。
Key …
重参数化技巧
Definition
重参数化技巧是变分自编码器及其他概率模型中使用的一种基本方法。它通过将随机变量表示为确定性函数和独立噪声变量的组合，使得梯度能够流经随机节点，从而允许使用反向传播算法进行优化。 …
正则化
Definition
正则化是机器学习中一个关键概念，旨在不显著增加训练误差的情况下减少泛化误差。它通过阻止模型学习过于复杂的模式来发挥作用。
Summary
一组在训练过程中使用的技术，通过对损失函 …
随机特征
Definition
随机特征映射将输入转换到新空间，使线性模型能够近似非线性核函数。这种方法通常与 Nyström 方法或傅里叶特征相关联，允许在保持计算效率的同时处理复杂的非线性关系。 …
量化后的
Definition
量化是一种模型优化技术，它降低了机器学习模型参数的数值精度，通常将 32 位浮点数转换为 8 位整数。这种方法可以在保持模型性能基本不变的情况下，显著减少内存占用并加速推理速度。 …
提示微调
Definition
提示微调涉及在预训练语言模型的输入层添加可训练的软提示（连续向量），同时保持底层模型参数冻结。这种方法允许在几乎不增加计算成本的情况下，使模型适应特定任务或领域，特别适用于资源受 …
用于学习的近端梯度方法
Definition
近端梯度方法是一种迭代优化技术，当损失函数包含可微分的平滑项和不可微分的正则项（如L1范数）时使用。该算法通过将平滑部分的梯度下降步骤与非平滑部分的近端算子（proximal …
PagedAttention
Definition
PagedAttention 是由 vLLM 项目引入的一项技术，旨在提高大语言模型推理的效率。它解决了管理 KV 缓存时的碎片化和开销问题，通过将 KV 缓存视为非连续的内存块 …
OpenVINO
Definition
由英特尔开发，OpenVINO（开放视觉推理和神经网络优化）允许开发人员将经过训练的深度学习模型高效地部署到英特尔硬件上。它包含一个推理引擎和优化模型的工具链。
Summary …
Mxfp4
Definition
MXFP4（混合扩展浮点 4 位）是一种专门的数据类型格式，旨在优化 AI 工作负载的性能并减少内存带宽使用。通过允许混合精度操作，它在保持精度的同时显著降低了计算资源消耗。 …
乘法权重更新法
Definition
乘法权重更新法是一种基础的在线学习算法，用于在不确定环境中做出决策。它为不同的策略或专家维护一组权重，并根据其表现动态调整这些权重，从而优化长期决策效果。
Summary
一种迭 …
多任务学习
Definition
该技术利用相关任务之间共享的归纳偏置来提高学习效率 and 性能。通过训练单个模型同时执行多项任务，模型能够学习到更具通用性的特征表示，从而提升整体表现。
Summary
多任务 …
MobileNet
Definition
与标准卷积相比，MobileNet 利用深度可分离卷积大幅降低了计算成本和模型体积。这种架构使得在资源受限设备上高效提取特征成为可能。
Summary
MobileNet 是一系 …
模型压缩
Definition
该类别包括剪枝、量化和知识蒸馏等方法，旨在缩小模型规模的同时保持性能。这对于部署复杂的人工智能模型至关重要，尤其是在资源受限的环境中。
Summary
模型压缩是指减少机器学习模 …
混合精度训练
Definition
混合精度训练（MPT）在神经网络训练过程中结合使用半精度（FP16）和全精度（FP32）数据类型。通过使用FP16处理大多数操作，MPT减少了内存占用并提
Summary
一种使 …
元学习
Definition
元学习专注于设计能够从先前任务中学习以改善在新颖、未见任务上表现的算法。它不是针对每个问题从头开始训练模型，而是优化模型的学习机制，使其具备快速适应新环境的能力。
Summary …
矩阵正则化
Definition
矩阵正则化将标量正则化的概念扩展到矩阵，常用于多任务学习或推荐系统。它对权重矩阵的范数施加约束，例如弗罗贝尼乌斯范数或核范数，以鼓励低秩近似或稀疏解，从而提高模型的泛化能力。 …
彩票假设
Definition
彩票假设指出，在一个大型随机初始化的神经网络中，存在一个稀疏的子网络（即“中奖彩票”），其初始化状态非常适合训练。通过剪枝掉不重要的权重，仅保留并训练这个子网络，可以在不损失性能 …
局部病例对照采样
Definition
局部病例对照采样是一种主要用于训练对比学习模型或推荐系统的策略。它不是随机选择负样本，而是识别出与正例在嵌入空间中距离较近、难以区分的“困难负例”，从而提升模型的判别能力。 …
学习自动机
Definition
这一概念源于强化学习，涉及智能体与未知环境的交互。自动机从有限集合中选择动作，并接收表示成功或失败的惩罚或奖励信号，从而调整其策略。
Summary
学习自动机是一种简单的随机决 …
层归一化
Definition
层归一化通过减少内部协变量偏移来稳定训练过程，尤其在循环神经网络和Transformer架构中非常有效。与依赖于批次统计信息的批归一化不同，层归一化不依赖于批次大小。 …
知识编译
Definition
知识编译是指人工智能中的一类技术，它将知识库或逻辑理论转换为不同的表示形式，从而促进更快的操作，如可满足性检查。
Summary
知识编译是将知识表示转换为更高效形式的过程，以便 …
知识蒸馏
Definition
知识蒸馏是一种机器学习方法，用于将庞大复杂的神经网络（教师模型）压缩为更小、更高效的网络（学生模型）。学生模型经过训练以模仿教师模型的行为。
Summary
知识蒸馏是一种模型压 …
实例选择
Definition
实例选择旨在通过移除冗余或噪声数据点来提高计算效率和模型性能。与特征选择不同，它作用于数据集的行。其目标。
Summary
一种预处理技术，通过选择代表性实例的子集来减小数据集的 …
Incremental Heuristic Search
Definition
增量启发式搜索指的是通过启发式算法引导，逐步细化候选解的算法，这些启发式算法估计到达目标所需的成本。与穷举搜索不同，这些方法…
Summary
一种搜索策略，利用启 …
Imatrix
Definition
Imatrix（Importance Matrix，重要性矩阵）是一种主要与基于GGML的大语言模型（LLM）训练和量化相关的技术。它计算损失函数关于模型参数的二阶导数（即海森矩 …
超参数调优
Definition
超参数调优涉及评估不同的超参数集，以找到能产生最高模型准确率或最低错误率的配置。常见的策略包括网格搜索、随机搜索以及基于贝叶斯优化的方法，旨在通过迭代改进来寻找最优解。 …
超参数优化
Definition
超参数优化（HPO）指的是自动化选择超参数的更广泛领域。虽然“调优”是一个通用术语，但“优化”通常暗示使用复杂的算法（如贝叶斯优化）来高效地探索超参数空间，从而在有限的计算资源下 …
分层风险平价
Definition
分层风险平价（HRP）是一种投资组合构建方法，通过纳入相关性结构来解决传统均值-方差优化的局限性。它利用层次聚类算法对资产进行分组，并基于聚类树状图在层级结构中分配风险，从而避免 …
梯度累积
Definition
这种优化策略允许深度学习模型使用超出 GPU 显存容量的有效批量大小进行训练。通过从多个小批量中累积梯度并执行权重更新，可以实现这一目标。
Summary
梯度累积是一种通过在前 …
GLM MoE DSA
Definition
不存在单一的标准术语“GLM MoE DSA”。然而，它很可能结合了 GLM（一种特定的大型语言模型架构）、MoE（混合专家，一种通过仅激活部分专家来高效扩展模型规模的技术） …
GGUF
Definition
GGUF（GPT-Generated Unified Format，GPT生成统一格式）是一种专为在消费级硬件上运行大型语言模型而设计的二进制文件格式。它支持各种量化技术，允许模 …
FP8
Definition
8位浮点数（FP8）是一种数值数据类型，在现代AI硬件上进行了专门优化，以在计算效率和准确性之间取得平衡。它减少了内存带宽需求并提高了吞吐量，特别适用于大规模语言模型训练和边缘设 …
适应度近似
Definition
当评估真实适应度函数在计算上昂贵或耗时较长时，适应度近似被用于进化计算中。与其计算精确值，不如使用代理模型来估算适应度，从而加速搜索过程并减少资源消耗。
Summary
进化算法 …
微调过的
Definition
微调是指采用已在大型通用数据集上训练好的模型，并在较小、特定领域的数据集上继续训练的技术。这使得模型能够保留通用知识的同时，针对特定任务进行优化和适配。
Summary
在特定数 …
特征哈希
Definition
特征哈希，也称为哈希技巧（hashing trick），允许机器学习模型处理大型稀疏特征空间，而无需维护特征与索引之间的显式映射。通过应用哈希函数，模型可以直接将任意特征映射到固 …
特征缩放
Definition
特征缩放通过标准化输入变量的范围，防止量级较大的特征主导学习过程。常见方法包括归一化（最小-最大缩放）和标准化（Z-score标准化）。这一预处理步骤对于基于距离的算法和梯度下降 …
特征工程
Definition
特征工程是利用领域专业知识，将原始数据转换为更能代表底层模式的特征的艺术。该过程包括创建新变量、转换现有数据以及选择最具预测力的特征，从而提升算法效果。
Summary
利用领域 …
极值优化
Definition
与维持种群的遗传算法不同，EO作用于单个解。它识别对整体适应度贡献最小的组件，并用随机替代方案替换它。
Summary
极值优化是一种受自组织临界性启发的启发式搜索算法，旨在通过 …
探索-利用困境
Definition
在决策过程中，智能体面临权衡：它们可以利用当前知识获得最佳即时奖励，或者探索未知选项以潜在地找到更好的长期策略。
Summary
探索-利用困境是强化学习中的一个基本问题，智能体 …
可进化性
Definition
在计算语境中，可进化性指算法或神经网络架构在代际或训练步骤中提高其适应度的难易程度。高可进化性意味着微小的变化就能导致显著的适应性改进，这对于进化算法和神经架构搜索至关重要。 …
经验风险最小化
Definition
经验风险最小化（ERM）是训练监督学习模型的标准目标函数。它涉及从一组函数中选择假设，以最小化训练数据上的平均误差（即经验风险）。其核心思想是通过优化训练集上的表现来逼近真实的风 …
EfficientNet
Definition
由Google开发，EfficientNet使用复合缩放方法来平衡网络深度、宽度和输入图像分辨率。这种方法使模型能够在保持参数效率的同时达到最先进的准确率水平。
Summary …
边缘推理
Definition
这种做法涉及将训练好的AI模型直接部署到智能手机、物联网传感器或嵌入式系统等硬件上。通过在本地处理数据，边缘推理显著降低了延迟，并提高了响应速度。
Summary
边缘推理是指将 …
EM算法与高斯混合模型
Definition
该术语指期望最大化（EM）算法与高斯混合模型（GMM）之间的协同关系。GMM假设所有数据点都是由多个分布混合生成的，而EM算法则通过迭代方式优化这些混合成分的参数（如均值、协方差 …
早停法
Definition
早停法是一种主要用于梯度下降等迭代训练过程中的正则化形式。在训练期间，模型在训练数据上的表现通常会持续改善，但在验证集上的表现可能会在某个点后开始恶化（表明出现过拟合）。早停法通 …
Diffusers: LTX Pipeline
Definition
LTX 管道专为优先考虑生成任务速度和效率的模型量身定制，通常利用蒸馏或加速采样方法。它与 Diffusers 无缝集成。
Summary
Diffusers 中针对 LTX（闪 …
差分随机梯度下降
Definition
DP-SGD 是随机梯度下降的一种变体，旨在保护训练数据的隐私。它通过裁剪每个样本梯度的贡献来限制敏感度，然后添加高斯噪声来实现隐私保护。
Summary
一种优化算法，通过对标 …
决策树剪枝
Definition
剪枝是一种用于防止决策树模型过拟合的方法，通过移除具有弱预测能力的分支来实现。它可以以预剪枝（提前停止树的生长）或后剪枝的方式执行…
Summary
一种通过移除对 …
交叉熵法
Definition
交叉熵法（CEM）是一种强大的通用优化算法，用于解决离散和连续问题。它通过维护搜索空间上的概率分布来工作，并通过迭代更新该分布以聚焦于高性能样本，从而逐步优化解决方案。 …
代价敏感机器学习
Definition
代价敏感机器学习通过为不同类型的错误分配不同的惩罚来扩展传统的监督学习。在现实场景中，假阳性和假阴性往往具有不同的后果…
Summary
一种将误分类代价纳入训练过 …
对比学习
Definition
对比学习是一种不需要标记数据的表示学习方法。它通过对同一输入创建增强视图（正样本对）并将它们与不同的（负样本）进行对比来工作。
Summary
一种自监督学习技术，通过将正样本对 …
计算启发式智能
Definition
计算启发式智能涉及采用经验法则、近似值或合理猜测，在合理时间内找到令人满意的解决方案的算法。与穷举搜索不同，它侧重于效率而非绝对最优解。
Summary
当精确方法过于缓慢时，使 …
压缩张量
Definition
压缩张量是深度学习中使用的多维数组，其数值精度（例如从float32降至int8）或稀疏性已降低。这种技术被称为量化或剪枝。
Summary
通过降低数据精度或大小以优化存储和计 …
裁剪
Definition
在深度学习工程中，裁剪通常应用于梯度以缓解梯度爆炸问题，确保反向传播的稳定性。它也可以指在应用激活函数之前限制输出 logits 的范围。
Summary
裁剪是一种限制数值（如 …
缓存
Definition
在AI工程中，缓存通过将最近或频繁的查询结果、模型预测或中间计算保留在快速内存（如RAM）中来优化性能。这减少了昂贵的主数据存储访问需求，从而显著提升系统响应速度。 …
贝叶斯优化
Definition
贝叶斯优化使用概率代理模型（通常为高斯过程）来建模目标函数。它采用采集函数来平衡探索与利用，从而高效地找到最优参数配置。
Summary
一种用于全局优化昂贵评估黑盒函数的顺序设 …
批大小
Definition
批大小是一个关键的超参数，决定了在更新模型内部参数之前处理多少个样本。较大的批大小能提供更准确的梯度估计，但可能增加内存需求并影响收敛特性。
Summary
在随机梯度下降算法的 …
批归一化
Definition
该方法在训练期间调整并缩放激活值，使其在每个小批量中具有零均值和单位方差。它减少了内部协变量偏移，允许使用更高的学习率和更快的收敛速度。
Summary
批归一化是一种技术，通过 …
AlphaChip
Definition
AlphaChip是一个专门的AI系统，旨在自动化并增强微芯片上组件的放置和布线过程。通过采用深度强化学习，它显著缩短了设计周期。
Summary
由Google …
算法选择
Definition
算法选择涉及评估不同的计算方法，以确定哪一种能最高效地解决给定任务。此过程考虑的因素包括时间复杂度、空间复杂
Summary
算法选择是根据性能指标和约束条件，为特定问题选择最合 …
可容许启发式函数
Definition
在路径查找和搜索问题中，可容许启发式函数提供了到达目标节点实际成本的下界。通过保证估计成本始终小于或等于实际成本，它确保了搜索算法（如A*）能找到最优解。
Summary
搜索算 …
Accelerated Linear Algebra
Definition
该领域专注于加速基本的线性代数计算，这些计算是机器学习和科学模拟的核心。通过利用 GPU、TPU 和其他并行处理能力的优势，显著提高了大规模矩阵运算的速度和效率。
Summary …
A/B 测试
Definition
A/B 测试是一种随机对照实验，通过比较两个变体（A 和 B）来评估哪一个在特定指标上能产生更好的结果。在人工智能工程中，它对优化至关重要。
Summary
一种统计方法，通过比 …
残差连接
Definition
残差连接（也称为跳跃连接）通过将输入直接添加到后续层的输出来允许梯度在网络中流动。这种架构解决了深层网络中的梯度消失问题。
Summary
一种将输入直接加到层输出上的机制，以促 …
QLoRA
Definition
QLoRA 将低秩适应（LoRA）与 4 位量化相结合，显著减少了微调大规模模型所需的内存占用。通过将权重存储为 4 位格式并添加训练好的低秩适配器，该方法在保持性能的同时降低了 …
量化
Definition
量化将高精度浮点数（如 FP32）转换为低精度格式（如 INT8 或 FP16）。这种转换减少了模型的内存使用和计算需求，从而加速推理过程并降低硬件要求。
Summary
一种模 …
学习率
Definition
学习率决定了在每次训练迭代中，模型权重相对于计算出的梯度更新了多少。如果学习率过高，可能导致模型在优化过程中越过最优解；如果过低，则可能导致训练收敛缓慢。
Summary
控制模 …
梯度下降
Definition
梯度下降是一种用于寻找可微函数局部最小值的一阶迭代优化算法。在机器学习中，它沿梯度的反方向更新模型权重，以逐步降低损失。
Summary
一种迭代优化算法，通过调整模型参数来最小 …
分布式训练
Definition
分布式训练通过在多个 GPU 或节点上并行化计算来加速模型收敛。主要技术包括数据并行（每个工作进程处理数据子集）和模型并行（将模型的不同部分分布在不同设备上），以处理大规模数据集 …
适配器
Definition
适配器是一种参数高效的微调技术，主要用于大型语言模型和Transformer架构中。与计算成本高昂的更新所有模型权重不同，适配器仅训练少量新增参数，从而保留预训练知识并降低资源消 …
任务特定
Definition
任务特定指的是专为在狭窄的目标集合上表现出色而定制的AI模型或组件，例如检测图像中的物体或翻译语言。与通用基础模型不同，它们在特定领域往往具有更高的效率和精度。
Summary
…
一步法
Definition
在机器学习和优化领域，一步法直接解决问题，不需要多次迭代或更新即可收敛。与需要多步才能最小化
Summary
指在单次迭代中完成任务或决策过程，无需进行迭代优化的算法或流程。 …
一阶
Definition
在人工智能和数学中，“一阶”通常描述不涉及高阶交互的直接、线性关系系统或操作。在优化领域，它指的是仅利用目标函数的一阶导数（梯度）信息来寻找极值的方法，例如梯度下降法。与二阶方法 …
微调后的
Definition
微调涉及使用较小且针对特定任务的数据集，继续训练已在大型通用数据集上训练好的模型。该技术利用了预训练模型中习得的通用特征表示，使其能够以较低的计算成本和较少的数据量，高效地适配到 …
调优
Definition
调优涉及改进机器学习模型以实现更好的准确性或效率。它可以指超参数调优，即优化学习率或批次大小等设置；也可以指模型权重的微调。
Summary
调整超参数或模型权重以优化特定数据集 …
迁移学习
Definition
迁移学习利用预训练模型来提高在新且相关任务上的性能并减少训练时间。开发人员无需从头开始训练，而是对现有权重进行微调，从而利用先前学到的知识。
Summary
一种机器学习技术，将 …
趋向
Definition
在AI开发中，“趋向”通常描述优化过程的轨迹，例如梯度下降使权重向最小损失值移动。它还表示研究方向，即研究重点逐渐集中在提高效率或对齐人类价值观上。
Summary
“趋向” …
扩展
Definition
扩展是扩展AI系统的主动方法论，通过增加更多层、神经元或训练样本来实现。它包括分布式训练等技术，以处理增加的计算需求
Summary
扩展是通过调整模型大小或数据量来增强学习能力 …
率
Definition
在AI中，“率”最常指学习率，这是一个超参数，控制每次更新模型权重时，根据估计误差对模型进行调整的幅度。一个适……
Summary
频率或速度的度量，通常指优化中的学习率或令牌生 …
最优
Definition
在人工智能和优化理论中，最优解是指达到最高可能性能指标的解决方案，例如强化学习中的最大奖励或回归分析中的最小误差。寻找最优解通常涉及在复杂的目标函数空间中进行搜索。 …
损失
Definition
损失函数（也称为成本函数）衡量机器学习模型的预测结果与真实标签在训练期间的匹配程度。优化算法的目标是最小化这个损失值，从而提高模型的准确性。
Summary
一个数值，用于量化模 …
低秩自适应 (LoRA)
Definition
LoRA冻结预训练模型的权重，并在Transformer架构的每一层中插入可训练的分解矩阵。通过仅优化这些低秩矩阵，LoRA显著减少
Summary
低秩自适应是一种参数高效的微 …
全局
Definition
在人工智能中，“全局”一词通常与“局部”相对，指涵盖整个系统的方面。在优化领域，全局最小值代表在整个损失景观中可能的最佳解决方案。
Summary
描述适用于整个模型或数据集而非 …
快速
Definition
“快速”一词描述了人工智能模型中的计算效率，强调快速的推理时间和高效的数据处理能力。这对于实时应用至关重要。
Summary
在人工智能领域，“快速”指为低延迟和高吞吐量处理任务 …
高效
Definition
效率是人工智能中的一项关键指标，用于衡量模型或算法利用可用资源的程度。它包括计算效率（推理和训练的速度）以及资源利用率。高效的AI系统能够在保持高精度的同时，显著降低硬件需求和能 …
发散
Definition
在优化的背景下，当模型参数的更新方式导致损失增加而不是减少时，就会发生发散，这通常会导致NaN值或无限梯度。这通常是由于学习率过高或数值不稳定性引起的。
Summary
发散是指 …
知识蒸馏
Definition
这一过程涉及将知识从复杂的高性能“教师”神经网络转移到更简单、高效的“学生”网络中。学生不仅从硬标签中学习，还从软标签（即教师模型的输出概率分布）中学习，从而捕捉更丰富的信息。 …
组合
Definition
这一概念包括集成学习方法，其中聚合多个模型的预测结果以减少方差或偏差。它还涵盖多模态融合，即结合不同类型的数据（如文本和图像）以提供更丰富的上下文信息。
Summary
AI中的 …
Adam
Definition
Adam（自适应矩估计）是一种流行的基于一阶梯度的优化算法，用于训练深度神经网络。它结合了两种其他随机梯度下降扩展的优势。
Summary
一种为每个参数计算自适应学习率的优化算 …
微调
Definition
微调涉及在一个已在大而通用数据集上训练好的模型基础上，继续在专业化数据集上进行训练。这使得模型在保留通用知识的同时，能够习得特定任务的技能。
Summary
使用较小的数据集将预 …
提示工程
Definition
提示工程涉及制作特定的输入（即提示），以从生成式 AI 模型中获取准确、相关且高质量的响应。它要求理解模型如何解释指令、上下文及约束条件，从而通过调整提示词的结构和措辞来最大化模 …