千万级数据查询:CK、ES、RediSearch性能对比与优化方案
本文档探讨了在千万级数据查询场景下,如何选择最合适的解决方案来满足特定的业务需求。业务需求涉及在大规模数据库中筛选出大约10万条数据,并按配置的权重规则进行排序,同时避免同一类别数据连续出现超过三次的情况。以下是几种可能的技术路线: 1. **多线程+CK(ClickHouse)翻页方案**:利用ClickHouse的高效性能,通过多线程分页策略,将数据集划分为较小的块,逐块查询并存储筛选结果。这个方案强调实时性和并发处理能力。 2. **ES(Elasticsearch)scrollscan深翻页方案**:Elasticsearch 的 scrollscan 功能允许高效地遍历大型索引,通过递归或深度扫描获取目标数据,适合对实时性要求较高的场景。 3. **ES+Hbase组合方案**:结合Elasticsearch的搜索能力和Hbase的存储,可能是在Hbase中存储原始数据,而使用ES进行高级查询,这可以优化查询性能,但可能涉及到数据同步和维护的复杂性。 4. **RediSearch+RedisJSON组合方案**:Redis 的 RediSearch 是一个强大的全文搜索引擎,配合Redis的JSON支持,可以在内存中处理大量数据,提供快速查询。这个方案可能依赖于Redis的高可用性和缓存性能。 初版设计方案首先通过配置的筛选和排序规则对原始数据进行预处理,然后分别执行以下步骤: - 每天将Hive表中的数据导出到ClickHouse中,利用其高效查询特性。 - 构建SelectionQueryCondition对象,封装筛选和排序规则。 - 使用多线程并行处理分页查询,将目标数据添加到结果列表中。 每种方案都有其优缺点,如ClickHouse在实时性上表现优异,而Redis由于内存操作速度快,适用于对速度敏感的场景。选择哪种方案取决于业务的具体需求,包括数据量、实时性要求、系统资源限制以及对数据一致性或持久性的偏好。开发者需要权衡各种因素,选择最适合当前业务场景的解决方案。
![](https://csdnimg.cn/release/download_crawler_static/88619355/bg3.jpg)
剩余12页未读,继续阅读
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/6b2ea2d510824682ac2af676104b9caf_abackcab.jpg!1)
- 粉丝: 2737
- 资源: 5598
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
最新资源
- 解决本地连接丢失无法上网的问题
- BIOS报警声音解析:故障原因与解决方法
- 广义均值移动跟踪算法在视频目标跟踪中的应用研究
- C++Builder快捷键大全:高效编程的秘密武器
- 网页制作入门:常用代码详解
- TX2440A开发板网络远程监控系统移植教程:易搭建与通用解决方案
- WebLogic10虚拟内存配置详解与优化技巧
- C#网络编程深度解析:Socket基础与应用
- 掌握Struts1:Java MVC轻量级框架详解
- 20个必备CSS代码段提升Web开发效率
- CSS样式大全:字体、文本、列表样式详解
- Proteus元件库大全:从基础到高级组件
- 74HC08芯片:高速CMOS四输入与门详细资料
- C#获取当前路径的多种方法详解
- 修复MySQL乱码问题:设置字符集为GB2312
- C语言的诞生与演进:从汇编到系统编程的革命
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)