携程MySQL源码改造实践:异步复制与 flashback 功能

需积分: 9 4 下载量 154 浏览量 更新于2024-07-18 收藏 1.55MB PDF 举报
“携程 姜宇祥-MySQL源码开发实践” 在本次分享中,姜宇祥基于他在携程任职期间的MySQL源码开发经验,详细讲述了他对MySQL 5.6和5.7版本的改造实践,包括实现异步复制、flashback功能、审计插件的开发、Slowlog功能增强以及Showprocesslist功能的改进,还提到了一个探索性的时间序列存储引擎。 首先,姜宇祥介绍了他在5.6.12版本中进行的改造,主要集中在异步复制和flashback功能上。异步复制是为了解决携程监控场景下主从复制分发的延迟问题。由于部分表的更新和插入操作高度集中且SQL间相关性较弱,他们通过在从节点对特定表的DML SQL进行事务拆分,将原本的单线程处理转换为多线程并行执行,从而显著提高了从节点的写入效率。他分享了异步复制改造的原理,并展示了对比测试的结果。 接着,姜宇祥提到在5.6.21版本中,除了继续优化flashback功能外,他还新增了审计插件。审计插件设计用于线上操作监控,具备用户级审计设定、语句级或关键词审计、动态配置、Json格式输出以及缓存加速等功能,以满足更细致的监控需求。同时,他还增强了Slowlog功能,加入了对上锁时间的记录,以便更准确地评估查询的执行时间。此外,Showprocesslist功能的增强使得与 pstree 等工具配合使用时,能更好地判断各个连接的状态。 在5.7版本的探索中,姜宇祥提出了一种时间序列存储引擎的概念,其设计初衷是利用MySQL现有的网络框架和高可用架构,通过SQL语句简化时间序列数据的操作。这个引擎提供了运维视图和运行视图,显示了数据的存储结构,包括表对象、插入缓冲区池、行数据等。他还展示了不同线程数下的插入性能对比,突显了多线程环境下引擎的优越性。 姜宇祥的分享深入探讨了MySQL源码级别的改造和优化,涵盖了复制性能提升、审计、慢查询日志、进程状态监控以及时间序列数据存储等多个方面,对于从事MySQL数据库管理和开发的专业人士来说,具有很高的学习价值。这些实践不仅展示了MySQL的可扩展性和灵活性,也为其他大型在线服务提供了参考和借鉴。