结构风险最小化
Definition
结构风险最小化（SRM）是一种通过控制模型复杂度来防止过拟合、从而最小化期望风险的方法。它在经验风险最小化的基础上增加了正则化项，以惩罚过于复杂的模型。
Summary
统计学习 …
Regularization
结构化稀疏正则化
Definition
结构化稀疏正则化扩展了标准的L1正则化，鼓励在特定模式中产生零值，而不是独立地对待各个系数。它融入了关于特征之间潜在结构或分组的先验知识。
Summary
一种正则化技术，基于对 …
矩阵正则化
Definition
矩阵正则化将标量正则化的概念扩展到矩阵，常用于多任务学习或推荐系统。它对权重矩阵的范数施加约束，例如弗罗贝尼乌斯范数或核范数，以鼓励低秩近似或稀疏解，从而提高模型的泛化能力。 …
流形正则化
Definition
流形正则化通过结合数据分布的内在几何结构，扩展了传统的正则化方法。它基于以下假设：高维数据点实际上分布在低维流形上，因此模型应遵循该流形的几何特性以保持平滑性。
Summary
…
早停法
Definition
早停法是一种主要用于梯度下降等迭代训练过程中的正则化形式。在训练期间，模型在训练数据上的表现通常会持续改善，但在验证集上的表现可能会在某个点后开始恶化（表明出现过拟合）。早停法通 …
Dropout
Definition
在神经网络中，Dropout 通过在每次训练步骤中临时移除随机子集的神经元来防止过拟合。这迫使网络学习在联合使用时有用的鲁棒特征。
Summary
Dropout 是一种正则化技 …