携程MySQL源码改造实践:异步复制与 flashback 功能
需积分: 9 154 浏览量
更新于2024-07-18
收藏 1.55MB PDF 举报
“携程 姜宇祥-MySQL源码开发实践”
在本次分享中,姜宇祥基于他在携程任职期间的MySQL源码开发经验,详细讲述了他对MySQL 5.6和5.7版本的改造实践,包括实现异步复制、flashback功能、审计插件的开发、Slowlog功能增强以及Showprocesslist功能的改进,还提到了一个探索性的时间序列存储引擎。
首先,姜宇祥介绍了他在5.6.12版本中进行的改造,主要集中在异步复制和flashback功能上。异步复制是为了解决携程监控场景下主从复制分发的延迟问题。由于部分表的更新和插入操作高度集中且SQL间相关性较弱,他们通过在从节点对特定表的DML SQL进行事务拆分,将原本的单线程处理转换为多线程并行执行,从而显著提高了从节点的写入效率。他分享了异步复制改造的原理,并展示了对比测试的结果。
接着,姜宇祥提到在5.6.21版本中,除了继续优化flashback功能外,他还新增了审计插件。审计插件设计用于线上操作监控,具备用户级审计设定、语句级或关键词审计、动态配置、Json格式输出以及缓存加速等功能,以满足更细致的监控需求。同时,他还增强了Slowlog功能,加入了对上锁时间的记录,以便更准确地评估查询的执行时间。此外,Showprocesslist功能的增强使得与 pstree 等工具配合使用时,能更好地判断各个连接的状态。
在5.7版本的探索中,姜宇祥提出了一种时间序列存储引擎的概念,其设计初衷是利用MySQL现有的网络框架和高可用架构,通过SQL语句简化时间序列数据的操作。这个引擎提供了运维视图和运行视图,显示了数据的存储结构,包括表对象、插入缓冲区池、行数据等。他还展示了不同线程数下的插入性能对比,突显了多线程环境下引擎的优越性。
姜宇祥的分享深入探讨了MySQL源码级别的改造和优化,涵盖了复制性能提升、审计、慢查询日志、进程状态监控以及时间序列数据存储等多个方面,对于从事MySQL数据库管理和开发的专业人士来说,具有很高的学习价值。这些实践不仅展示了MySQL的可扩展性和灵活性,也为其他大型在线服务提供了参考和借鉴。
2022-08-08 上传
2021-10-11 上传
2021-10-06 上传
2024-11-18 上传
2024-11-18 上传
boyboyman
- 粉丝: 0
- 资源: 2
最新资源
- 深入浅出:自定义 Grunt 任务的实践指南
- 网络物理突变工具的多点路径规划实现与分析
- multifeed: 实现多作者间的超核心共享与同步技术
- C++商品交易系统实习项目详细要求
- macOS系统Python模块whl包安装教程
- 掌握fullstackJS:构建React框架与快速开发应用
- React-Purify: 实现React组件纯净方法的工具介绍
- deck.js:构建现代HTML演示的JavaScript库
- nunn:现代C++17实现的机器学习库开源项目
- Python安装包 Acquisition-4.12-cp35-cp35m-win_amd64.whl.zip 使用说明
- Amaranthus-tuberculatus基因组分析脚本集
- Ubuntu 12.04下Realtek RTL8821AE驱动的向后移植指南
- 掌握Jest环境下的最新jsdom功能
- CAGI Toolkit:开源Asterisk PBX的AGI应用开发
- MyDropDemo: 体验QGraphicsView的拖放功能
- 远程FPGA平台上的Quartus II17.1 LCD色块闪烁现象解析