Compression

Definition

剪枝涉及识别并消除神经网络中对输出准确率贡献最小的神经元、连接或滤波器。通过移除这些冗余元素，模型变得更加紧凑，从而降低存储需求和计算开销，同时尽量保持原有的模型性能。 …

知识蒸馏是一种机器学习方法，用于将庞大复杂的神经网络（教师模型）压缩为更小、更高效的网络（学生模型）。学生模型经过训练以模仿教师模型的行为。

知识蒸馏是一种模型压 …

这一过程涉及将知识从复杂的高性能“教师”神经网络转移到更简单、高效的“学生”网络中。学生不仅从硬标签中学习，还从软标签（即教师模型的输出概率分布）中学习，从而捕捉更丰富的信息。 …