裁剪Definition在深度学习工程中，裁剪通常应用于梯度以缓解梯度爆炸问题，确保反向传播的稳定性。它也可以指在应用激活函数之前限制输出 logits 的范围。Summary裁剪是一种限制数值（如 …engineering_practice ★3/5
发散Definition在优化的背景下，当模型参数的更新方式导致损失增加而不是减少时，就会发生发散，这通常会导致NaN值或无限梯度。这通常是由于学习率过高或数值不稳定性引起的。Summary发散是指 …basic_concepts ★2/5
