平台搭建过程
日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了
解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解
服务器的负荷,性能安全性,从而及时采取措施纠正错误。
通常,日志被分散的储存不同的设备上。如果你管理数十上百台服务器,你还在使用依次
登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使
用集中化的日志管理,例如:开源的 ,将所有服务器上的日志收集汇总。
集中化管理日志后,日志的统计和检索又成为一件比较麻烦的事情,一般我们使用
、 和 等 命令能实现检索和统计,但是对于要求更高的查询、排序和统计
等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。
以上,摘自博文 中的介绍。
是 !四个组件的组合。本文基于 "
讲解一个基于日志文件的 平台的搭建过程。
! 为日志文件收集系统。
# 是消息队列工具,作为消息队列解耦了处理过程,同时提高了可扩展性。具有峰值
处理能力,使用消息队列能够使关键组件顶住突发的访问压力,而不会因为突发的超负荷
的请求而完全崩溃。
是一个完全开源的工具,他可以对你的日志进行收集、过滤,并将其存储供以后
使用(如,搜索)
是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引
自动分片,索引副本机制,# 风格接口,多数据源,自动搜索负载等
为此系统提供可视化的 $ 界面。该系统各模块的关系图如下:
评论0