航空电商恶意行为防控系统的演进与实时分析

该资源是李锋在2015年ArchSummit全球架构师峰会上的演讲，主题为“航空电商大规模实时日志分析”，主要探讨了如何应对和防控电商系统中的恶意行为。 在航空电商领域，面对大规模的实时日志数据，存在多种安全威胁，包括恶意爬虫、恶意注册、刷验证码、刷单占位、恶意秒杀、恶意扫描以及SQL注入等。这些行为不仅影响业务安全，还可能对运维安全构成威胁，例如通过DDOS或CC攻击。恶意行为背后的盈利模式通常涉及加价和利用系统漏洞。 演讲分为两个主要阶段来介绍恶意行为防控系统的演进： 第一阶段，系统面临的问题包括日峰值航班查询量高达30,000,000次，月峰值非正常停机达30分钟，日志未得到有效利用，日峰值注册用户1,000,000，月支出费用1,200,000元，以及日峰值航班占座10,000个。为解决这些问题，采用了防火墙(iptables)、perl脚本收集Web应用日志，内部布防web应用，通过系统级流量控制(tc)进行防御，并构建了基于Kafka、Java、MySQL和Hadoop的初步系统架构，包括简单的规则引擎和白名单机制。这一阶段虽然有效降低了95%的恶意行为，但仍存在占座问题和入侵式架构的遗留问题，监控不完整，以及事后处理模型的局限性。 第二阶段，为了更有效地防控恶意行为，引入了入口级监控和多级时间窗口监控，实现更加灵活全面的实时和准实时监控。同时，通过应用级流量控制（如针对IP、cookie和user_agent）以及机器学习技术（如逻辑回归和神经网络）来提升识别能力。系统架构升级，加入了Nginx、Samza Job进行流处理，数据缓存如Aerospike，以及Hadoop与Mahout用于模型训练和算法开发。此外，Python自学习模型和防控Lua模块也得以应用，配合ip风险库辅助决策，形成实时在线和离线模式的综合防控体系。此阶段系统的特点包括更强大的监控能力、非侵入式架构以及实时反馈机制。 这个演讲深入探讨了航空电商在处理大规模实时日志时如何构建和优化恶意行为防控系统，涵盖了从基础的日志收集到高级的机器学习应用，以及从单一防护策略到全面的监控和决策支持系统的发展过程。