听云公司TokuDB存储引擎实践经验与比较
"周金可在全球运维大会分享了TokuDB存储引擎在听云平台的实践,探讨了为何选择TokuDB,对比了InnoDB与TokuDB的差异,并介绍了迁移过程、结果、遇到的问题及解决方案。" 文章内容详细展开: 周金可,作为听云的数据库管理员(DBA),负责维护MySQL、PostgreSQL和GPDB集群,他推动了TokuDB存储引擎的调研和迁移工作,以及单表百亿级数据实时查询项目的设计和一个MySQL集群自动巡检平台的开发。 选择TokuDB的原因主要有三个方面。首先,TokuDB的目标是减少人工干预,降低运维风险,通过日常化的拆分扩容操作,避免频繁操作生产环境可能带来的错误。其次,面对数据倾斜问题,某些分片的数据量过大,甚至超过1TB,TokuDB被期望能解决这个问题,即使在单用户分片情况下也能保持数据量的可控。最后,TokuDB的压缩功能有助于节省存储成本,同样的磁盘空间可以存储更多的数据。 在TokuDB与InnoDB的对比中,TokuDB的压缩率明显优于InnoDB,对听云的数据结构,压缩率接近7:1,这意味着TokuDB可以更有效地利用存储空间。此外,TokuDB在插入性能方面也展现出优势,其插入吞吐量(Transactions Per Second, TPS)在数据量增加时保持相对稳定,而InnoDB的插入性能会随着数据量的增长迅速下降,最终趋于平缓。这表明在处理大量数据时,TokuDB能提供更一致的性能。 迁移过程中,周金可可能面临了如何平滑过渡、保证服务不中断、数据一致性等问题。在迁移后,他们观察到了实际效果,包括性能提升、存储成本的降低等。然而,任何技术的引入都会伴随着问题,比如可能的兼容性问题、新的运维挑战等,周金可在分享中也提到了这些问题以及他们是如何找到解决方案的。 TokuDB存储引擎在听云的实践中展示了其在大数据量场景下的高效压缩和稳定性能,这对于处理高增长和大规模数据的业务来说是一大优势。同时,通过自动化运维工具的开发,他们进一步提升了运维效率,降低了风险。
![](https://csdnimg.cn/release/download_crawler_static/9923165/bg5.jpg)
剩余21页未读,继续阅读
![gz](https://img-home.csdnimg.cn/images/20210720083447.png)
![gz](https://img-home.csdnimg.cn/images/20210720083447.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![doc](https://img-home.csdnimg.cn/images/20210720083327.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![docx](https://img-home.csdnimg.cn/images/20210720083331.png)
![](https://profile-avatar.csdnimg.cn/b74b2cc136fc48559ee93e831d3664e2_allance.jpg!1)
- 粉丝: 0
- 资源: 12
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
最新资源
- 计算机人脸表情动画技术发展综述
- 关系数据库的关键字搜索技术综述:模型、架构与未来趋势
- 迭代自适应逆滤波在语音情感识别中的应用
- 概念知识树在旅游领域智能分析中的应用
- 构建is-a层次与OWL本体集成:理论与算法
- 基于语义元的相似度计算方法研究:改进与有效性验证
- 网格梯度多密度聚类算法:去噪与高效聚类
- 网格服务工作流动态调度算法PGSWA研究
- 突发事件连锁反应网络模型与应急预警分析
- BA网络上的病毒营销与网站推广仿真研究
- 离散HSMM故障预测模型:有效提升系统状态预测
- 煤矿安全评价:信息融合与可拓理论的应用
- 多维度Petri网工作流模型MD_WFN:统一建模与应用研究
- 面向过程追踪的知识安全描述方法
- 基于收益的软件过程资源调度优化策略
- 多核环境下基于数据流Java的Web服务器优化实现提升性能
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)