安全分析：规避大数据，聚焦威胁情报与异常检测

"在安全分析中如何规避‘大’数据分析" 周涛，启明星辰的资深研究员，探讨了如何在安全分析中避免被"大"数据的复杂性所困扰。他指出，随着企业面临的安全威胁从传统的恶意代码演变为高级持续性威胁（APT），安全分析必须从被动响应转向主动发现威胁。这种转变要求我们更深入地挖掘基础数据，而这就涉及到处理大量、高速、多样且价值密度低的安全大数据。 安全大数据的主要特点包括其庞大的规模，如某些大型机构每年产生的安全数据可达PB级别；数据的高速生成，例如每天处理上亿条事件；数据的多样性，涵盖事件日志、数据流、原始报文、样本文件、威胁情报等；以及价值密度低，即关键的攻击行为信息可能隐藏在大量的背景噪音中。 这些特点带来了诸多挑战，尤其是数据量的增大和维度的增多，使得问题变得难以解决。因此，周涛提出了两种解决方案来应对这些问题： 1. 利用内部威胁情报实现数据浓缩：内部威胁情报能够帮助识别出具有潜在威胁的数据，从而减少需要分析的数据量。他提醒大家要正确认识威胁情报，避免一些常见误区，并提供了从企业安全数据中提取威胁情报的建议。 2. 利用异常检测技术减量和降维：异常检测技术的发展和现状是解决大数据挑战的关键。通过优化技术路线，可以提高异常检测的准确性。分享的实际案例进一步证明了这种方法的有效性。 异常检测技术通过识别网络中的不寻常行为，可以过滤掉大部分无害的数据，专注于可能隐藏威胁的异常部分，从而降低数据处理的复杂度。这不仅可以减轻分析负担，也有助于更快地发现并响应潜在的安全威胁。 总结起来，周涛的报告为企业安全分析提供了一种新的视角，强调了威胁情报和异常检测在应对大数据挑战中的重要作用，同时也提醒了我们应当如何正确理解和利用这两种工具，以实现从海量数据中有效地提取有价值的安全信息。