概念知识蒸馏把一个大的模型(教师模型)里面的知识萃取蒸馏出来,并浓缩到一个小的(学生)模型中。是一种用于模型压缩和迁移学习的技术,其主要思想是通过将一个大型模型的知识传递给一个小型模型来提高小型模型的性能。
软标签和硬标签
硬标签
软
2024-05-02