没有合适的资源?快使用搜索试试~ 我知道了~
首页ELK+KAFKA+FILEBEAT
ELKF是 Elastic + Logstash + Kibana + FileBeat 四个组件的组合。本文基于elastic 6.1.1讲解一个基于日志文件的ELKF平台的搭建过程。 在这个系统中,Elastic充当一个搜索引擎,Logstash为日志分析上报系统,FileBeat为日志文件收集系统,Kibana为此系统提供可视化的Web界面
资源详情
资源评论
资源推荐
ELKF
平台搭建过程
日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了
解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解
服务器的负荷,性能安全性,从而及时采取措施纠正错误。
通常,日志被分散的储存不同的设备上。如果你管理数十上百台服务器,你还在使用依次
登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使
用集中化的日志管理,例如:开源的 ,将所有服务器上的日志收集汇总。
集中化管理日志后,日志的统计和检索又成为一件比较麻烦的事情,一般我们使用
、 和 等 命令能实现检索和统计,但是对于要求更高的查询、排序和统计
等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。
以上,摘自博文 中的介绍。
是 !四个组件的组合。本文基于 "
讲解一个基于日志文件的 平台的搭建过程。
! 为日志文件收集系统。
# 是消息队列工具,作为消息队列解耦了处理过程,同时提高了可扩展性。具有峰值
处理能力,使用消息队列能够使关键组件顶住突发的访问压力,而不会因为突发的超负荷
的请求而完全崩溃。
是一个完全开源的工具,他可以对你的日志进行收集、过滤,并将其存储供以后
使用(如,搜索)
是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引
自动分片,索引副本机制,# 风格接口,多数据源,自动搜索负载等
为此系统提供可视化的 $ 界面。该系统各模块的关系图如下:
一、环境准备
%&'(&&")*
&"*
&"*
&"&&'"+")*
#+(&,,(*
*&-),*
#&"&&'"+")*
、 需要依赖 ./0,下载并安装, 至少需要 %1'。具体来说,
在本文中,建议使用 2.3 版本 ',+-; 必须使用 %1'暂时还不支持 4
1.安装 JDK
#解压安装
tar –xf jdk-8u171-linux-x64.tar.gz –C /usr/java
#设置环境变量
vim /etc/pro(le
export JAVA_HOME=/usr/local/ /usr/java/jdk1.8.0_171
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:
$CLASSPATHsource
#使环境变量生效
source /etc/pro(le
2.系统设置
修改文件句柄数
将 max file descriptors 调整到至少 65536,否则将会报错
# 5),4"6 # 7
5"-"6
修改 系统参数。添加
# # "-"
# "-"
修改以后保存,注销当前用户,重新登录,执行 &787参数生效了
备注:##和 # 需要分开配置
修改最大线程数
非 用户允许的最大线程数默认为 ,()
vim /etc/security/limits.conf
# 添加如 2 行配置
es hard nproc 4096
es soft nproc 4096
修改虚拟内存
将 max virtual memory areas vm.max_map_count 调整到至少 262144,否则将会报错
11++5"-,67
5("())6
1++:定义了一个进程能拥有的最多的内存区域,默认为 "-"
查看 1++
永久修改:将 1++9("()) 配置到# 中7然后执行 & 生
效,重启 后也会持久。
3.创建用户
不能以 身份运行,否则将会报错:
:
groupadd es
useradd es -g es
之后的所有操作均在 用户下执行
二、各模块安装配置
1. elastic
下载 #并解压
解压
cd /opt/elkf/src
tar -xf elasticsearch-6.1.1.tar.gz -C /opt/elkf/
修改配置./config/elasticsearch.yml
重点关注以下几项
# 服务端口
http.port: 9200
# 服务绑定网卡地址
network.host: 10.0.209.69
#解决 system call filters failed to install; check the logs and fix
your configuration or disable system call filters at your own risk
bootstrap.system_call_filter: false
运行 elastic
./bin/elasticsearch -d
2. kibana
下载 #并解压
解压
cd /opt/elkf/src
tar -xf kibana-6.1.1-linux-x86_64.tar.gz -C /opt/elkf/
修改配置./config/kibana.yml
重点关注以下几项
剩余16页未读,继续阅读
qq_41837828
- 粉丝: 0
- 资源: 3
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- ExcelVBA中的Range和Cells用法说明.pdf
- 基于单片机的电梯控制模型设计.doc
- 主成分分析和因子分析.pptx
- 共享笔记服务系统论文.doc
- 基于数据治理体系的数据中台实践分享.pptx
- 变压器的铭牌和额定值.pptx
- 计算机网络课程设计报告--用winsock设计Ping应用程序.doc
- 高电压技术课件:第03章 液体和固体介质的电气特性.pdf
- Oracle商务智能精华介绍.pptx
- 基于单片机的输液滴速控制系统设计文档.doc
- dw考试题 5套.pdf
- 学生档案管理系统详细设计说明书.doc
- 操作系统PPT课件.pptx
- 智慧路边停车管理系统方案.pptx
- 【企业内控系列】企业内部控制之人力资源管理控制(17页).doc
- 温度传感器分类与特点.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论0