Transformer-based VulExplainer: Hierarchical Distillation for Ba...

VulExplainer是一个创新的深度学习解决方案，特别针对软件漏洞类型解释的问题。它采用Transformer架构，结合了层次化知识蒸馏的概念，旨在解决现有漏洞识别方法中由于数据不平衡（尤其是CWE-ID分布不均）导致的性能问题。该方法的核心思想是通过将CWE-ID按相似性划分为五个组（base、category、class、variant和deprecated），将复杂的标签分布转化为更均衡的子分布，这样可以让教师模型如TextCNN在各自的子集中发挥优势。 首先，作者认识到在漏洞分类过程中提供CWE-ID的重要性，这对于安全工程师理解漏洞本质和优先级至关重要。然而，现有的自动识别方法由于数据收集和不平衡问题，效果并不理想。为了改进这一状况，他们借鉴了深度学习领域中的知识蒸馏概念，通过从多个教师模型（在这里是TextCNN，针对不同CWE子集）中抽取知识，传授给一个Transformer学生模型。 VulExplainer方法分为两个阶段：数据预处理和知识蒸馏。在数据预处理阶段，通过新颖的标签划分策略，确保每个子分布的CWE-ID类别更加均衡。接着，在知识蒸馏阶段，Transformer模型利用其自注意力机制，从TextCNN教师模型处提取并整合来自不同层次的信息，从而提高模型对不平衡数据的处理能力。 研究者通过对比实验，将VulExplainer与七种竞争性基线方法进行了广泛的评估，结果显示，VulExplainer在8,636个真实世界漏洞数据上表现出色，相比于这些基线，提升幅度达到了5%至29%。这表明VulExplainer不仅在性能上有所提升，而且适用于基于Transformer的模型，如CodeBERT、GraphCodeBERT和CodeGPT，无需对模型架构进行改动，仅需在输入中加入特殊的蒸馏标记即可实现。 VulExplainer的提出对于提升软件漏洞类型的解释精度和解决深度学习模型在不平衡数据上的挑战具有重要意义，为网络安全领域的自动漏洞分析提供了一种有效且灵活的方法。