Definition
当神经网络(特别是在自监督对比学习框架中)将所有输入数据点映射到同一个固定的输出向量时,就会发生表征坍塌。这种平凡解虽然最小化了损失函数,但未能学习到有用的特征表示。
Summary
自监督学习中的一种失效模式,模型对所有输入输出相同的表征,导致判别能力丧失。
Key Concepts
- 自监督学习
- 对比损失
- 平凡解
- 特征学习
Use Cases
- 调试 SimCLR 或 MoCo 模型
- 改进对比损失函数
- 分析模型收敛性
A comprehensive multilingual AI terminology dictionary
当神经网络(特别是在自监督对比学习框架中)将所有输入数据点映射到同一个固定的输出向量时,就会发生表征坍塌。这种平凡解虽然最小化了损失函数,但未能学习到有用的特征表示。
自监督学习中的一种失效模式,模型对所有输入输出相同的表征,导致判别能力丧失。