Self_supervised

Definition

当神经网络（特别是在自监督对比学习框架中）将所有输入数据点映射到同一个固定的输出向量时，就会发生表征坍塌。这种平凡解虽然最小化了损失函数，但未能学习到有用的特征表示。 …

预测学习涉及训练神经网络，使其能够从观测到的输入中推断未观测到的数据点，而无需显式的人工标签。通过解决诸如语言中的下一个词元预测或图像中的掩码建模等任务，模型能够学习到强大的数据 …

对比学习是一种不需要标记数据的表示学习方法。它通过对同一输入创建增强视图（正样本对）并将它们与不同的（负样本）进行对比来工作。

一种自监督学习技术，通过将正样本对 …