Definition
双重下降挑战了传统的偏差-方差权衡理论,表明高度过参数化的模型即使插值了训练数据,也能实现较低的测试误差。起初,随着模型复杂度的增加,误差会上升,但在越过插值阈值后,误差会再次下降。
Summary
随着模型复杂度超过插值阈值,测试误差先下降、后上升、再次下降的现象。
Key Concepts
- 插值阈值
- 过参数化
- 偏差-方差权衡
- 测试误差
Use Cases
- 分析神经网络缩放定律
- 理解深度学习中的泛化能力
- 大规模AI系统中的模型选择
A comprehensive multilingual AI terminology dictionary
双重下降挑战了传统的偏差-方差权衡理论,表明高度过参数化的模型即使插值了训练数据,也能实现较低的测试误差。起初,随着模型复杂度的增加,误差会上升,但在越过插值阈值后,误差会再次下降。
随着模型复杂度超过插值阈值,测试误差先下降、后上升、再次下降的现象。