模型蒸馏

定义

模型蒸馏是利用教师模型的输出或行为训练学生模型，使学生学习教师的部分能力。

使用场景与易混概念

它可以用于模型压缩或能力迁移。未经授权收集输出与凭据盗用是不同问题；不能仅因发生盗刷就认定完成了蒸馏。日常所说的“蒸馏经验”则是比喻。