恶意网络爬虫检测与对抗技术研究：基于Session的方法与实现

本篇硕士学位论文《恶意网络爬虫检测与对抗技术的研究及实现》由张浩凌撰写，其专业领域为网络空间安全，受到李舟军教授和何跃鹰高工的指导。该研究主要围绕在对抗样本下的session分类方法以及基于session的恶意网络爬虫检测展开。 1. **研究背景与意义** 在信息化社会中，恶意网络爬虫（Malicious Web Crawler）对网络安全和隐私构成了严重威胁。随着大数据和互联网的发展，爬虫技术被广泛应用，但其中隐藏的恶意行为也日益显现。因此，研究针对恶意爬虫的检测与对抗技术具有重要的现实意义，能够保护网站数据安全，维护网络秩序。 2. **国内外研究现状** 当前，国内外对于恶意爬虫的研究主要集中在爬虫行为分析、特征提取、行为模型构建以及检测算法设计等方面。然而，面对对抗样本的攻击，即爬虫通过改变行为模式以逃避检测，现有技术仍存在挑战。论文旨在填补这一空白，探索有效的应对策略。 3. **研究目标与内容** - **对抗样本下session分类方法的研究**：论文将重点研究如何在对抗样本的干扰下，通过session（用户会话）信息准确识别和分类爬虫行为，提高检测的鲁棒性和准确性。 - **基于session的恶意爬虫检测**：另一方面，论文还将探讨如何利用session的连续性和关联性，构建更精细的爬虫行为模型，以便实时有效地检测潜在的恶意爬虫活动。 4. **论文结构与时间线** 论文从2017年9月至2020年1月，在北京航空航天大学计算机学院进行为期近三年的研究，包含了文献调研、理论建模、实验设计和结果验证等阶段。最后，作者需提交论文并进行答辩，以获得工学硕士学位。 5. **原创性声明** 作者确保论文是其独立完成的创新成果，未包含他人已发表或未公开的研究成果，并尊重学术诚信，明确了导师和合作者的贡献。若论文存在不实，作者愿意承担相应的法律责任。 通过这篇论文，作者希望能够提出新颖的检测和防御策略，为网络爬虫的安全管控提供有价值的理论支持和技术解决方案。同时，这也是网络空间安全领域的重要研究进展，有助于提升整个行业的防护能力。