建设建设DevOps统一运维监控平台,全面的系统监控你做好了统一运维监控平台,全面的系统监控你做好了
吗?吗?
前言
随着Devops、云计算、微服务、容器等理念的逐步落地和大力发展,机器越来越多,应用越来越多,服务越来越微,应用运
行基础环境越来多样化,容器、虚拟机、物理机不一而足。面对动辄几百上千个虚拟机、容器,数十种要监控的对象,现有的
监控系统还能否支撑的住?来自于容器、虚拟机、物理机、网络设备、中间件的指标数据如何采用同一套方案快速、完整的收
集和分析告警?怎样的架构、技术方案才更适合如此庞大繁杂的监控需求呢?
上篇文章《建设DevOps统一运维监控平台,先从日志监控说起》主要从日志监控的方面进行了分享,本篇文章则是重点在系
统监控层面进行分享。
目录:
一、统一监控平台架构解析
二、系统监控的技术栈
三、开源系统监控软件 Zabbix VS Nagios VS Open-Falcon
四、基于k8s容器云背景下的系统监控实践:cAdvisor+Heapster+Influxdb
五、容器时代的监控利器: Prometheus
一、统一监控平台架构解析
先做一下回顾,统一监控平台由七大角色构成:监控源、数据采集、数据存储、数据分析、数据展现、预警中心、CMDB(企
业软硬件资产管理)。
监控源:
从层次上来分,大致可以分为三层,业务应用层、中间件层、基础设施层。业务应用层主要包括应用软件、企业消息总线等,
中间件层包括数据库、缓存、配置中心、等各种系统软件,基础设施层主要有物理机、虚拟机、容器、网络设备、存储设备等
等。
数据采集:
数据源如此多样,数据采集的任务自然轻松不了。数据采集从指标上划分可以分为业务指标、应用指标、系统软件监控指标、
系统指标。应用监控指标如:可用性、异常、吞吐量、响应时间、当前等待笔数、资源占用率、请求量、日志大小、性能、队
列深度、线程数、服务调用次数、访问量、服务可用性等,业务监控指标如大额流水、流水区域、流水明细、请求笔数、响应
时间、响应笔数等,系统监控指标如:CPU负载、内存负载、磁盘负载、网络IO、磁盘IO、tcp连接数、进程数等。
从采集方式来说通常可以分为接口采集、客户端agent采集、通过网络协议主动抓取(http、snmp等)
数据存储:
采集到的数据一般都会存储到文件系统(如HDFS)、索引系统(如elasticsearch)、指标库(如influxdb)、消息队列(如
kafka,做消息临时存储或者缓冲)、数据库(如mysql)
数据分析: