没有合适的资源?快使用搜索试试~ 我知道了~
首页ES vs ClickHouse:日志搜索的新选择
ES vs ClickHouse:日志搜索的新选择
需积分: 0 0 下载量 12 浏览量
更新于2024-06-18
收藏 807KB PDF 举报
本文主要探讨了在2023年4月12日,尽管Elasticsearch(ES)作为一款广泛应用于大数据日志搜索和分析的热门工具,但为何仍有一些公司如携程和快手等选择转向ClickHouse。文章首先对比了ES和ClickHouse在架构和设计上的关键差异。 ES基于Lucene,专注于搜索和分析,其底层技术包括倒排索引和布隆过滤器,以实现分布式环境下的高性能搜索和高可用性。它由ClientNode、DataNode和MasterNode组成,具有良好的扩展性和角色分工。然而,近年来ES在大数据处理场景中面临着挑战,尤其是在处理复杂分析和实时查询方面。 相比之下,ClickHouse是Yandex开发的列式存储的分布式分析引擎,采用MPP(Massively Parallel Processing)架构,每个节点拥有相同的数据处理责任,这使得它在数据并行处理和列式存储上表现出色。列式存储的优势在于减少了数据扫描范围和传输量,从而显著提升查询速度。此外,ClickHouse还利用了日志结构合并等优化技术来进一步优化性能。 总结部分指出,虽然ES在搜索方面表现出色,但ClickHouse凭借其在列式存储、高效查询处理以及对OLAP(在线分析处理)需求的契合,逐渐吸引了那些寻求更快速、灵活和成本效益高的数据处理公司的注意。因此,即使ES仍然是主流选择,ClickHouse的崛起也显示出市场对于多样化解决方案的需求和对其性能的认可。在决定是否继续使用ES时,企业需根据自身业务特点和性能需求进行深入评估。
资源详情
资源推荐
![](https://csdnimg.cn/release/download_crawler_static/88619445/bg4.jpg)
,最简单且有效的方法是减少数据扫描范围和数据传输时的大小,而列式存储和数据
压缩就可以帮助实现上述两点。Clickhouse同时使用了日志合并树,稀疏索引和CPU功
能(如SIMD单指令多数据)充分发挥了硬件优势,可实现高效的计算。Clickhouse
使用Zookeeper进行分布式节点之间的协调。
为了支持搜索,Clickhouse同样支持布隆过滤器。
查询对比实战
为了对比ES和Clickhouse的基本查询能力的差异,我写了一些代码(https://github.co
m/gangtao/esvsch)来验证。
这个测试的架构如下:
剩余16页未读,继续阅读
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/6b2ea2d510824682ac2af676104b9caf_abackcab.jpg!1)
毕业小助手
- 粉丝: 2737
- 资源: 5598
上传资源 快速赚钱
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
最新资源
- AirKiss技术详解:无线传递信息与智能家居连接
- Hibernate主键生成策略详解
- 操作系统实验:位示图法管理磁盘空闲空间
- JSON详解:数据交换的主流格式
- Win7安装Ubuntu双系统详细指南
- FPGA内部结构与工作原理探索
- 信用评分模型解析:WOE、IV与ROC
- 使用LVS+Keepalived构建高可用负载均衡集群
- 微信小程序驱动餐饮与服装业创新转型:便捷管理与低成本优势
- 机器学习入门指南:从基础到进阶
- 解决Win7 IIS配置错误500.22与0x80070032
- SQL-DFS:优化HDFS小文件存储的解决方案
- Hadoop、Hbase、Spark环境部署与主机配置详解
- Kisso:加密会话Cookie实现的单点登录SSO
- OpenCV读取与拼接多幅图像教程
- QT实战:轻松生成与解析JSON数据
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)