首页 > 数据库 > MySQL > 正文

mysqldump造成Buffer Pool污染的研究

2024-07-24 12:49:04
字体:
来源:转载
供稿:网友

前言:

最近Oracle MySQL在其官方Blog上贴出了 5.6中一些变量默认值的修改。其中innodb_old_blocks_time 的默认值从0替换成了1000(即1s)

关于该参数的作用摘录如下:

how long in milliseconds (ms) a block inserted into the old sublist must stay there after its first access before it can be moved to the new sublist. Increasing this value protects against the buffer pool being filled up by data that is referenced only for a brief period, such as during a full table scan.

其实作用就是:减小单次的大批量数据查询(类似于mysqldump的行为)对于BufferPool(下称BP)的污染。

说到这里就不得不提一下BP的midpoint insert 机制。

下文就将对于这个机制做一定分析和讨论。


一、 Buffer Pool 的insert 机制

BP可以被认为是一条长链表。被分成young 和 old两个部分,其中old默认占37%的大小(由innodb_old_blocks_pct 配置)。靠近顶端的Page表示最近被放问。靠近尾端的Page表示长时间未被访问。而这两个部分的交汇处成为midpoint。每当有新的Page需要加载到BP时,该page都会被插入到midpoint的位置,并声明为old-page。当old部分的page,被访问到时,该page会被提升到链表的顶端,标识为young。

由于table scan的操作是先load page,然后立即触发一次访问。所以当innodb_old_blocks_time =0 时,会导致table scan所需要的page不读的作为young page被添加到链表顶端。而一些使用较为不频繁的page就会被挤出BP,使得之后的SQL会产生磁盘IO,从而导致响应速度变慢。这也就是标题中所提到的BP污染。

 

二、 修改innodb_old_blocks_time 的效果

percona之前也做过相关测试,其结论是time=0时,正常访问的吞吐量下降为10%;当time=1000时,吞吐量和没有备份时的性能一致。

是否真是如此呢,我们来亲自测试一下。

下面是测试结果:

其中concurrency代表sysbench中 --num-threads的数值。

OPT代表该环境下,没有mysqldump时的sysbench QPS。

余下两列分别代表有mysqldump时的sysbench QPS。

ConcurrencyOPTold_time=0old_time=1000
11739418362141
22970336703981
34734756836540
发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表