Training_dynamics

Definition

当神经网络（特别是在自监督对比学习框架中）将所有输入数据点映射到同一个固定的输出向量时，就会发生表征坍塌。这种平凡解虽然最小化了损失函数，但未能学习到有用的特征表示。 …

当模型对训练数据学习得过于完美，包括其随机噪声和异常值时，就会发生过拟合。这导致模型在训练数据上表现优异，但在新的、未见过的测试数据上表现糟糕。

一种建模误差，机 …