视频监控落地四要素:预测、检测、报警及定位视频监控落地四要素:预测、检测、报警及定位
背景介绍该分享是阿里妈妈Goldeneye业务监控平台的智能监控解决方案。这个分享主要包括智能监控的技术实
现,以及大规模日志监测数据的自动化接入两部分。我先介绍一下智能监控部分,下一期分享中我的两位同事
将给大家着重介绍日志分析处理的计算。智能监控现在其他一些公司也有在做,希望通过这次分享能够给大家
带来一些新的启发,也欢迎大家能够提出问题和建议,互相切磋交流经验。——马小鹏相关厂商内容分享内容
的提纲如下:Goldeneye智能监控的业务背景、技术思想、技术实现细节、难点和今后的优化方向。嘉宾介绍马
小鹏,阿里妈妈全景业务监控平台技术负责人。2013 起在阿里从事大规模系统日志分析及应用的研发,曾经
背景介绍背景介绍
该分享是阿里妈妈Goldeneye业务监控平台的智能监控解决方案。
这个分享主要包括智能监控的技术实现,以及大规模日志监测数据的自动化接入两部分。我先介绍一下智能监控部分,下
一期分享中我的两位同事将给大家着重介绍日志分析处理的计算。智能监控现在其他一些公司也有在做,希望通过这次分享能
够给大家带来一些新的启发,也欢迎大家能够提出问题和建议,互相切磋交流经验。——马小鹏
相关厂商内容
分享内容的提纲如下:Goldeneye智能监控的业务背景、技术思想、技术实现细节、难点和今后的优化方向。
嘉宾介绍嘉宾介绍
马小鹏,阿里妈妈全景业务监控平台技术负责人。2013 起在阿里从事大规模系统日志分析及应用的研发,曾经主导了直
通车广告主报表平台和实时报表存储选型。在加入阿里之前,曾负责网易电商 App 数据统计平台的研发。
一、一、Goldeneye智能监控的背景智能监控的背景
Goldeneye作为阿里妈妈业务监控平台,主要在业务日志、数据的实时统计分析基础上做监控报警以及辅助定位。阿里集
团内部也有很多的监控平台,它们在开放性上做的很好,接入成本也不高,但是监控阈值也是开放给用户自己设定。这种情况
下,对于业务监控人工维护阈值就比较复杂,需要有丰富的经验来拍定阈值,需要人工持续的维护不同监控项的监控阈值。所
以,在业务快速发展的前提下,传统的静态阈值监控很容易出现了误报、漏报的问题,而且人工维护成本高,监控视野局限。
Goldeneye就是在这种基础上,我们试着从大数据应用的角度,去解决业务监控中的问题,由此诞生的。
1.. 业务背景:业务背景:
(1)体量大:Goldeneye现在接入的业务线覆盖了阿里妈妈主体的90%业务,每天处理的日志量在100T以上,业务监控
需要对各业务线的流量分层级实时监控,数据以1分钟为周期,一般监测数据以5分钟或1小时为周期,监控目标非常多,按人
工维护这些监控的阈值、启停、生效实效等几乎是达不到的。
(2)变化多:业务监控的监测数据大都是业务指标,不同于系统运维指标,比如RT/QPS/TPS等一般是比较稳定的,
业务指标具有周期性变化的特点,比如工作日和节假日的区别、业务营销策略调整的影响等,在这种情况下人工设定的静态报
警阈值准确性就很难保障了。
(3)迭代快:随着阿里妈妈资源整合和业务的快速发展,监控目标也经常发生变化,比如流量监控资源位的调整、效果
监控的产品类型划分等,曾经出现过新流量上线后的监控盲点。
2.. 技术背景:技术背景: