没有合适的资源?快使用搜索试试~ 我知道了~
首页ElasticSearch写入原理及优化.docx
ElasticSearch写入原理及优化.docx
需积分: 0 11 下载量 56 浏览量
更新于2023-05-11
评论
收藏 25KB DOCX 举报
ElasticSearch写入原理及优化案例,此文章深入刨析了ElasticSearch在put和get时的原理。并且对于批量数据写入时进行优化给出最佳的方案和示例
资源详情
资源评论
资源推荐
ElasticSearch 读写底层原理及性
能调优
ES 写入/查询底层原理
1. Elasticsearch 写入数据流程
1. 客户端随机选择一个 集群中的节点,发送 请求,被选择的
节点为协调节点()
2. 协调节点查询集群状态信息并计算路由,将请求发送到真正处理请求的节
点( 所在的节点)
3. 包含 的节点处理写入请求,并将数据同步到包含
的节点
4. 收到包含 的节点的相应信息,将最终
结果返回给 端
2. Elasticsearch 读取数据流程
1. 客户端随机选择一个 集群中的节点,发送 请求,被选择的节点为
协调节点()
2. 协调节点查询集群状态信息并使用 随机轮询算法计算出去此
次请求的节点,将请求发送到真正处理请求的节点(主分片节点和副本节
点随机分配)
3. 处理读请求的节点将数据返回给协调节点
4. 协调节点会把文档信息返回给
3. Elasticsearch 检索数据流程
1. 客户端发送请求到一个协调节点
2. 协 调 节 点 将 搜索 请 求 转 发 到 所 有 的 对 应 的 或
也可以
3. 每个 将自己的搜索结果(其实就是一些 ),返回给协调节点,
由协调节点进行数据的合并、排序、分页等操作,产出最终结果
4. 接着由协调节点,根据 去各个节点上拉取实际的 数据,
最终返回给客户端
这里需要注意,分页查询,当 特别大时会造成大量无用数
据返回到协调节点,谨慎使用。
4. 数据索引底层原理
1. 先写入 ,在 里的时候数据是搜索不到的;同时将数据写入
日志文件。
2. 如 果 到 达 阈 值 , 或 者 到 一 定 时 间 , 会 将 中 的 数 据
到 一 个 新 的 中 , 但 是 此 时 数 据 不 是 直 接 进 入
的磁盘文件的,而是先进入 的。这个过程就是
。
每隔 ! 秒钟, 就会将 中的数据写入到一个新的 ,因此
每秒钟产生一个新的磁盘文件( ),这个 中就存
储最近 ! 秒内 中写入的数据。如果 里面此时没有数据,就不会
执行 操作;如果 里面有数据,默认 ! 秒钟执行一次 操
作,刷入一个新的 中。
操作系统里面存在操作系统缓存(),数据写入磁盘文件之前会先进
入 ,先进入操作系统级别的一个内存缓存中。只要 中的数据
被 到 中,数据就可以被检索到了。
可以通过 的 或者 "#,手动执行一次 操作,就是
手动将 中的数据刷入 中,让数据立马就可以被搜索到。只要
数据被输入 中, 就会被清空了,因为不需要保留 了,
数据在 里面已经持久化到磁盘去一份了
性能调优
系统层面
系统层面的调优主要是内存的设定与避免交换内存。安装后默认设置的堆内
存是 !$,这很明显是不够的,那么接下来就会有一个问题出现:我们要设置
多少内存给 呢?其实这是要看我们集群节点的内存大小,还取决于我们是
否在服务器节点上还是否要部署其他服务。如果内存相对很大,如 %&及以
上,并且不在 集群上部署其他服务,那么建议 内存可以设置为 '!
剩余10页未读,继续阅读
数据小二
- 粉丝: 347
- 资源: 2
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论0