innodb_flush_method

时间: 2023-05-02 17:02:23 浏览: 167

MySQL性能优化InnoDB buffer pool flush策略

MySQL 性能优化 InnoDB buffer pool flush 策略 MySQL 中 InnoDB 存储引擎使用 buffer pool 来缓存从磁盘读取到内存的数据页。Buffer pool 通常由数个内存块加上一组控制结构体对象组成。内存块的个数取决于 buffer pool instance 的个数，但是在 5.7 版本中开始默认以 128M（可配置）的 chunk 单位分配内存块，这样做的目的是为了支持 buffer pool 的在线动态调整大小。 Buffer pool 的每个内存块通过 mmap 的方式分配内存，因此你会发现，在实例启动时虚存很高，而物理内存很低。这些大片的内存块又按照 16KB 划分为多个 frame，用于存储数据页。虽然大多数情况下 buffer pool 是以 16KB 来存储数据页，但有一种例外：使用压缩表时，需要在内存中同时存储压缩页和解压页，对于压缩页，使用 Binary buddy allocator 算法来分配内存空间。为了管理 buffer pool，每个 buffer pool instance 使用如下几个链表来管理： * LRU 链表包含所有读入内存的数据页； * Flush_list 包含被修改过的脏页； * unzip_LRU 包含所有解压页； * Free list 上存放当前空闲的 block。另外为了避免查询数据页时扫描 LRU，还为每个 buffer pool instance 维护了一个 page hash，通过 space id 和 page no 可以直接找到对应的 page。一般情况下，当我们需要读入一个 Page 时，首先根据 space id 和 page no 找到对应的 buffer pool instance。然后查询 page hash，如果 page hash 中没有，则表示需要从磁盘读取。在读盘前首先我们需要为即将读入内存的数据页分配一个空闲的 block。当 free list 上存在空闲的 block 时，可以直接从 free list 上摘取；如果没有，就需要从 unzip_lru 或者 lru 上驱逐 page。这里需要遵循一定的原则（参考函数 buf_LRU_scan_and_free_block , 5.7.5）： 1. 首先尝试从 unzip_lru 上驱逐解压页； 2. 如果没有，再尝试从 Lru 链表上驱逐 Page； 3. 如果还是无法从 Lru 上获取到空闲 block，用户线程就会参与刷脏，尝试做一次 SINGLEPAGE FLUSH，单独从 Lru 上刷掉一个脏页，然后再重试。 Buffer pool 中的 page 被修改后，不是立刻写入磁盘，而是由后台线程定时写入，和大多数数据库系统一样，脏页的写盘遵循日志先行 WAL 原则，因此在每个 block 上都记录了一个最近被修改时的 Lsn，写数据页时需要确保当前写入日志文件的 redo 不低于这个 Lsn。然而基于 WAL 原则的刷脏策略可能带来一个问题：当数据库的写入负载过高时，产生 redo log 的速度极快，redo log 可能很快到达同步 checkpoint 点。这时候需要进行刷脏来推进 Lsn。由于这种行为是由用户线程在检查到 redo log 空间不够时触发，大量用户线程将可能陷入到这段低效的逻辑中，产生一个明显的性能拐点。 Page Cleaner 线程在 MySQL5.6 中，开启了一个独立的 page cleaner 线程来进行刷 lru list 和 flush list。默认每隔一秒运行一次，5.6 版本里提供了一大堆的参数来控制 page cleaner 的 flush 行为，包括： * innodb_adaptive_flushing_lwm * innodb_max_dirty_pages_pct_lwmin * innodb_flushing_avg_loops * innodb_io_capacity_max * innodb_lru_scan_depth 这里我们不一一介绍，如果你发现 redo log 推进的非常快，为了避免用户线程陷入刷脏，可以通过调大 innodb_io_capacity_max 来解决，该参数限制了每秒刷新的脏页上限，调大该值可以增加 Page cleaner 线程每秒的工作量。如果你发现你的系统中 free list 不足，总是需要驱逐脏页来获取空闲的 block 时，可以适当调大 innodb_lru_scan_depth 参数，以增加 page cleaner 线程的扫描深度。 InnoDB buffer pool flush 策略是 MySQL 性能优化的重要部分。理解 buffer pool 的管理机制和刷脏策略，可以帮助我们更好地优化数据库性能。

b'innodb_flush_method'是MySQL InnoDB存储引擎的参数之一，用于控制数据持久化到磁盘时的刷新方式。该参数可以设置为不同的值，例如O_DIRECT、O_DSYNC、fsync等。不同的刷新方式会影响InnoDB的性能和数据安全性。选择适合自己部署环境的存储参数设置，有助于提高数据库的性能和可靠性。

阅读全文

innodb_flush_method

相关推荐

innodb_flush_method取值方法(实例讲解)

innodb_flush_method 参数为空

mysq-5.7 innodb_flush_method 分别有什么作用

MySQL Innodb_page_size性能对比：16K vs 8K

InnoDB性能调节提示

MySQL优化之InnoDB优化

MySQL InnoDB性能优化配置指南

MySQL与InnoDB IO深入解析

InnoDB性能优化关键参数解析

4GB内存MySQL优化：InnoDB配置详解

MySQL MyISAM与InnoDB存储引擎参数优化指南

InnoDB的跨实例事务

InnoDB的性能监控与调优

优化MySQL的InnoDB存储引擎性能

InnoDB的MVCC多版本并发控制

mysql InnoDB参数优化

mysql中关于innodb参数

mysql innodb full purge是什么

最新推荐

基于Java的家庭理财系统设计与开发-金融管理-家庭财产管理-实用性强

探索数据转换实验平台在设备装置中的应用

管理建模和仿真的文件

ggflags包的国际化问题：多语言标签处理与显示的权威指南

如何使用MATLAB实现电力系统潮流计算中的节点导纳矩阵构建和阻抗矩阵转换，并解释这两种矩阵在潮流计算中的作用和差异？

使用git-log-to-tikz.py将Git日志转换为TIKZ图形

"互动学习：行动中的多样性与论文攻读经历"

ggflags包的定制化主题与调色板：个性化数据可视化打造秘籍

如何使用Matlab进行风电场风速模拟，并结合Weibull分布和智能优化算法预测风速？

小栗子源码2.9.3版本发布