MySQLBufferPoolLRU机制
LRU机制的隐患
LRU机制在实际运行过程中,是会存在巨大的隐患的:
MySQL的预读机制带来的隐患:所谓的预读机制,就是当你从磁盘加载一个数据页的时候,可能会连带着把这个数据页相邻的其它数据页也加载到缓存里去。
例如,现在有两个空闲的缓存页,然后在加载一个数据页的时候,连带着把他的一个相邻的数据页也加载到缓存里了,正好每个数据页放入一个空闲的缓存页。但是实际上只有一个缓存页被访问了,另外一个通过预读机制被加载进来的缓存页,其实并没有人访问,但是此时这两个缓存页都是放在LRU链表的前面。这个时候没有空闲的缓存页,如果要加载新的数据,就要把LRU链表队尾的缓存页刷入磁盘,而不是无人访问的那个缓存页。
会触发预读机制的场景:innodbreadaheadthreshold参数,默认值是56,意思是如果顺序地访问了一个区里的多个数据页,访问的数据页的数量超过了这个阈值,此时就会触发预读机制,把下一个相邻区中的所有数据页都加载到缓存里innodbrandomreadahead参数,默认是OFF,如果BufferPool里缓存了一个区里的13个连续的数据页,而且这些数据页都是比较频繁被访问的,此时就会触发预读机制,把这个区里的其它数据页也都加载到缓存里全表扫描MySQL是如何基于冷热数据分离的方案,来优化LRU算法的
为了解决简单的LRU链表的问题,MySQL在设计LRU链表的时候,实际上采取的是冷热数据分离的思想;之前的问题都是因为所有缓存页都混在了一个LRU链表中导致的。
真正的LRU链表,会被拆分成热数据和冷数据两个部分,冷热数据的比例是由innodboldblockspct参数控制的,默认是37,也就是说冷数据占比为37。这个时候,LRU链表实际上看起来是下面这个样子的:
数据页第一次被加载到缓存的时候,其实是被放在冷数据链表的头部,后面1秒之后,如果你再次访问这个缓存页,那这个缓存页会被移动到热数据链表的头部,这个时间是有innodboldblockstime这个参数控制的,默认1000ms。
也就是说,必须是一个数据页被加载到缓存页之后,在1s之后,你访问这个缓存页,他才会被挪动到热数据区域的链表头部去。
因为假设你加载了一个数据页到缓存去,然后过了1s之后你还访问了这个缓存页,说明你后续很可能会经常访问它,这个时间限制就是1s,因此只有1s后你访问了这个缓存页,他才会给你把缓存页放到热数据区域链表的头部去。基于冷热数据分离方案优化后的LRU链表,是如何解决之前的问题的1对于预读以及全表扫描加载进来的一大堆缓存页
预读机制以及全表扫描加载进来的一大堆缓存页,他们会放在哪里?肯定是放在LRU链表的冷数据区域的前面,假设这个时候热数据区域已经有很多被频繁访问的缓存页了,你会发现热数据区域还是存放被频繁访问的缓存页的,只要热数据区域有缓存页被访问,他还是会被移动到热数据区域的链表头部去。
所以此时预读机制和全表扫描加载进来的一大堆缓存页,此时都在冷数据区域里,跟热数据区域里的频繁访问的缓存页,没有关系。2预读机制和全表扫描加载进来的缓存页,能进热数据区域吗?
如果仅仅是全表扫描的查询,此时你肯定是在1s内就把一大堆缓存页加载进来,然后访问了这些缓存页一下,通常这些操作1s内就结束了,所以基于目前的一个机制,可以确定的是,那些缓存页是不会从冷数据区域转移到热数据区域的。
除非在冷数据区域的缓存页,在1s之后还被访问了,那么此时他们就会判定为未来可能会被频繁访问的缓存页,然后移动到热数据区域的链表头部去。3如果此时缓存页不够了,需要淘汰一些缓存,会怎么样?
假设此时缓存页不够用了,需要淘汰一些缓存页,此时会怎样?
直接就是可以找到LRU链表中的冷数据区域的尾部的缓存页,他们肯定是之前被加载进来的,而且加载进来1s过后都没人访问过,说明这个缓存页压根儿就没人愿意去访问他,他就是冷数据。所以此时就直接淘汰冷数据区域的尾部的缓存页,刷入磁盘就可以了。LRU链表热数据区域的优化
之前提到如果一个缓存页被访问了,就会把他移动到LRU链表的热数据区域首位,这么频繁的移动会导致性能不是很好。所以MySQL对LRU链表热数据区域的访问规则做了优化,只有在热数据区域的后34部分的缓存页被访问了,才会被移动到链表头部;链表前面14的缓冲页被访问,是不会被移动的。对于LRU链表中尾部的缓存页,是如何淘汰他们刷入磁盘的1定时把LRU尾部的缓存页刷入磁盘:
首先,并不是在缓存页满的时候,才会挑选LRU冷数据区域尾部的几个缓存页刷入磁盘,而是有一个后台线程,每隔一段时间就会把LRU链表的冷数据区域尾部的一些缓存页刷入磁盘,然后清空这几个缓存页,并把他们加入到free链表中。
所以大家会发现,只要有这个后台线程定时运行,可能你的缓存页都还没有用完呢,就给你把一批冷数据的缓存页刷入磁盘,清空出来一批缓存页,那么你就多了一批可以使用的空闲缓存页了。2把flush链表中的一些缓存页定时刷入磁盘
如果仅仅只是把LRU链表中的冷数据区域的缓存页刷入磁盘,明显是不够的;
LRU链表中的热数据区域里的很多缓存页可能会被频繁的修改,这些数据不可能永远放在内存中,后台线程会在MySQL不繁忙的时候,把flush链表中的缓存页都刷入磁盘中,这样,被修改过的数据就被刷入到磁盘文件中了。
只要flush链表中的一些缓存页被刷入磁盘,那这些缓存页也会从flush链表和lru链表中移除,然后加入到free链表中。
所以,一边不停的加载数据到缓存页中,不停的查询和修改缓存数据,然后free链表中的缓存页不停的在减少,flush链表中的缓存页不停的在增加,lru链表中的缓存页不停的在增加和移动。
另外一边,后台线程不停的把LRU链表的冷数据区域的缓存页及flush链表的缓存页刷入到磁盘,来清空缓存页,然后flush链表和LRU链表中的缓存页不停的在减少,free链表中的缓存页在不停的增加。
如果实在没有空闲的缓存页,那就会把LRU链表冷数据区域尾部的缓存页刷入磁盘,然后清空。
11月中国智能机市场苹果月度销量维持国内首位,小米环比增长4南方财经1月5日电,CINNOResearch报告显示,11月苹果2021年新品iPhone13系列销量依旧维持高位,带动苹果智能机销量维持国内市场No。1,环比增长3。7,同……
2022年大数据工程师薪资和工作趋势如果您对数字、数据和技术有浓厚的兴趣,那么数据工程师的职业就是您的最佳选择!Gartner2021年4月的一份报告预测,到2022年,全球超自动化经济将达到近6000亿美元,而……
我喜欢出发作文范文凡是已经到达的地方,都属于昨天。哪怕那山再青,那水再秀,那风再温柔。太深的流连便成了一种羁绊,羁绊住的不仅是我的双脚,还有我的未来。我能走多远?这话不是要问我的两脚,而是……
经观头条在线教育大潮退高途好未来字节教育等集体裁员,教培资本(图片来源:本报资料图)经济观察报记者任晓宁郑蘅夏去年有多火热,今年就有多冰冷。7月底到8月初,越来越多在线教育公司裁员消息出现。7月30日,高途发出公开信,创始人……
五年级发卷子作文500字随着这叠试卷一张张发下来,每位同学的表现都不一样,有的同学兴高采烈,有的同学却愁眉苦脸。接下来小编搜集了五年级发卷子作文500字,欢迎阅读查看,希望帮助到大家。篇一:五年级发卷……
华为未来五年的首要任务活下来,有质量地活下来华为,一度是全球登顶的智能手机制造商;华为,一度是全球登顶的5G合同签约商类似这样的头衔华为从来就不缺。但是天有不测风云,人有祸兮旦福,从2019年开始,华为开始频频受到外来非……
原材料价格继续上涨!盘点成长性高的4只钴行业龙头,未来可期今年要说哪个板块好,那就是有色冶炼了,无论是锂还是钴都还是围绕着该板块。受碳中和市场环境影响,目前混合动力汽车和新能源汽车都在以节能环保为目标而转变着。而钴是替代锂电池的最佳新……
5G三期集采落幕未来3至5年将是红利释放期本报记者谭伦北京报道随着四大电信运营商三期5G基站采购结果相继出炉,中国通信市场也迎来新一轮的变局。8月1日晚,中国电信和中国联通发布2021年5GSA建设工程无线……
开学趣事作文300在开学中,有许多有趣的事情,如下是小编给大家整理的开学趣事作文,希望对大家有所作用。开学趣事作文篇【一】上学第一天,我很早就来到了教室,想看看会发生什么趣事。我刚坐……
语言智能水平关乎国家语言能力语言智能本来指人类在运用语言文字过程中所蕴含的各种语言能力,比如,语言逻辑思维能力,语言形象思维能力,语言交际能力和语用能力。随着科学技术和信息化水平的飞跃发展,语言智能早已突……
读狼爱上羊有感《狼爱上羊》是我从品学网上看到的!它讲述的是一个凄美的爱情故事:在一片辽阔草原上,一只狼爱上了一只可爱的小羊羔,狼为了那只羊,与正准备吃那只小羊羔的豹子大战了一场;狼把豹子打死……
郑爽懒理被起诉风波,坚持为阿里事件发声我为什么不可以说话8月8日,电商巨头阿里巴巴某高管侵犯女员工事件仍在不断发酵。事发后,阿里巴巴CEO张勇愤怒发声,表示会彻查此事,如属实会严肃处理,绝不姑息。在受害女员工的自述文案中……
JMeter如何模拟不同的网络速度如何以不同的网络连接速度测试移动应用程序和网站?在大多数情况下,移动设备用户通过其蜂窝运营商网络访问互联网。覆盖范围将根据其位置而有所不同,这意味着连接速度将有所不同。确……
科技赋能助腾飞2022年快递业前路可期纵观中国发展大势,快递,作为物流行业竞争最为激烈的细分领域,将以怎样的状态迎接新的一年?是远离价格战,进入服务质量的竞争?还是布局黑科技,在时效上更上一层楼?牵手制造谋发……
美国邮政总局如果国会提供资金将购买更多电动汽车智通财经APP获悉,美国邮政总局(U。S。PostalService)近日表示,如果能获得更多资金资助,该机构将购买更多的电动汽车。此前,拜登政府批评美国邮政总局花费数十亿美元……
PK赛关于幸福的作文何为幸福E度网专稿未经允许不得转载何为幸福?我在心底一遍遍地问自己。幸福的微笑洋溢在曾维和同学们的脸上。曾维害怕开学,因为开学前一天晚上就是父母的难眠之夜,曾维的耳边时不时……
贬义词大全及分类敲诈敲诈勒索敲门砖敲骨吸髓勾结臭味相投朋比为奸裙带关系同流合污同恶相求同恶相济一唱一和一丘之貉一鼻孔出气引绳批根招降纳叛挑拨调嘴弄舌挑拨离间帮凶为……
故乡变了550字写景作文一别故乡20年,随着滚滚车轮向前奔驰,我的思乡之情也变得越来越强烈。当我打开车门,我惊呆了。这是我的故乡吗?这好像是一个大城市吧!是不是走错了,可我明明记得是这里啊。我下……
过年的五年级作文过年的时候,家家户户都会串门,营造一种喜庆的氛围。下面请欣赏小编为大家带来的过年的五年级作文,欢迎阅读!过年的五年级作文1噼哩啪啦一阵鞭炮声把我从美梦中吵醒,我一骨碌爬了……
作文题目生活中的快乐第1篇生活中的快乐作文500字自从西游记过后,唐三藏和他的三个徒弟取得了真经,在天上过着幸福快乐的日子可猪八戒却不高兴,因为嫦娥妹妹不理他嫦娥妹妹为什麽不理他呢?因为嫦娥……
弟弟的眼睛大家知道什么是ldquo;心灵之窗rdquo;吗?那就是人们的眼睛,从人们的眼睛里,可以透视他们的心灵世界。而我的弟弟就有一双美丽的ldquo;心灵之窗rdquo;。那双ldq……
我眼中的老师阳光透过玻璃照在了我的书桌上,留下斑驳的影子,却透着金色的光泽,目光凝聚在光芒中央,老师的影子便和这片光融合在我眼中,慢慢的接近她,感受到是无穷的温暖,我的思绪慢慢飘远我……
互联网医疗健康发展再提速轻松集团科技优势凸显日前,国务院发布《关于印发十四五数字经济发展规划的通知》,提出要加快互联网医院发展,推广健康咨询、在线问诊、远程会诊等互联网医疗服务,规范推广基于智能康养设备的家庭健康监护、慢……
我说爱情公寓1月21日星期二晴《爱情公寓》,是一部诙谐搞笑,带点爱情气氛的电视剧,他十分受我们年轻人的喜爱。自从去年,我偶然发现,这一部电视剧以后,便看上瘾了,以后只要有机会,我都会……