reverse distillation

引用\[1\]:在这个引用中，作者提到了一个名为"Anomaly Detection via Reverse Distillation from One-Class Embedding"的论文的非官方实现。引用\[2\]:在这个引用中，作者解释了反向蒸馏范式的工作原理。在反向蒸馏中，教师编码器的目标是提取全面的表示。为了避免T-S模型收敛到平凡解，教师编码器的所有参数在知识蒸馏过程中都被冻结。引用\[3\]:在这个引用中，作者详细介绍了他们提出的反向蒸馏方法。反向蒸馏使用了一个异质结构的T-S模型，由教师编码器和学生解码器组成。学生解码器不直接将原始数据输入T-S模型，而是使用低维嵌入作为输入，目标是通过恢复教师模型在不同尺度上的表示来模仿教师的行为。反向蒸馏的优点包括非相似性结构和紧凑性嵌入，这些优点有助于提高T-S模型对异常现象的表示差异。

所以，反向蒸馏是一种用于异常检测的知识蒸馏范式，其中教师编码器和学生解码器组成了一个异质结构的T-S模型，通过恢复教师模型在不同尺度上的表示来模仿教师的行为。这种方法具有非相似性结构和紧凑性嵌入的优点，可以提高T-S模型对异常现象的表示差异。
#### 引用[.reference_title]
- *1* *2* *3* [[2022CVPR]Anomaly Detection via Reverse Distillation from One-Class Embedding翻译](https://blog.csdn.net/Vincent_Tong_/article/details/130439663)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item]
[ .reference_list ]