范文健康探索娱乐情感热点
投稿投诉
热点动态
科技财经
情感日志
励志美文
娱乐时尚
游戏搞笑
探索旅游
历史星座
健康养生
美丽育儿
范文作文
教案论文
国学影视

数据库读写分离如何保证主从一致性

  读写分离
  当我们的数据库压力主键变大的时候,我们会尝试增加一些从节点来分摊主节点的查询压力。而一般来说,我们是用一主多从的结构来作为读写分离的基本结构。
  而一般来说我们有两种常用的方法来实现读且分离架构:
  客户端直接分离
  这种方式是由客户端,或者我们的微服务直接进行数据库的读写选择。将读库选择路由到主库上进行,将查询路由到从主库上进行。
  这种方式的优点在于因为是直连所以性能比较高,但是需要由业务团队了解数据库的实例细节,当数据库做调整的时候就需要业务侧同步改造。
  使用数据中间件代理
  这种方式是由一层代理层对数据的读写做分发,业务层将所有的请求都通过代理来实现。
  这种方式的优点在于对于业务层不需要感知到数据库的存在,但问题在于数据中间件的性能要求较高,还需要专人来进行优化和维护,整体架构较为复杂。
  但是我们发现,尽管这两种方式各有优劣。但核心都是通过数据的写入、查询请求的路由而实现的,那么这就会引发标题的问题:
  主备同步存在延迟,所以在延迟时间内对插入的内容进行查询则无法查询到最新提交的事务。
  那么如何保证主从一致性的问题,其实就变成了如何处理主从延迟的问题。 低改造成本
  根据项目的大小,团队的规模以及主机的部署模式。我们处理问题的方法也有很多种。 强制读主库
  最简单强硬的就是强制读主库。
  一般情况下我们在不同的查询中会有不同程度的一致性要求。我们可以将需要保证数据一致性的请求配置强制查询主库,而对于无强依赖的查询请求仍然查询备库。
  尽管这个方案不是很优雅,但是是最简单实现的方法,并且在Spring等框架的支持下一般只需要加一个注解就能实现。但这个方法的问题也是显而易见的,如果存在大量的强一致性要求的查询语句,则相当于没有进行读写分离与扩展。那么这种方法就会导致系统在数据库层面没有有效的扩展手段了。 等待时间
  由于问题产生的来源是主从延迟,所以在下一次查询的时候进行一段时间的等待以弥补这种延迟即可。
  所以在进行主库的数据插入之后,让数据库数据连接或者对应的执行线程等待一段时间后返回。通过等待时间来消化掉主从备份的延迟时间。但是这个方法也有一些问题比如:这个等待时间一般是固定的,即便主从已经无延迟了也会继续等待到时间结束;如果在服务高峰时期,有可能数据在等待时间结束后仍然没有完成同步则仍然会存在一致性问题。
  但这种方法优雅的地方是可以配合业务来进行实现,举例来说当用户下单之后,通过下单送卷或者下单抽奖的方式从前端拖住用户,从而当用户在一次连续操作中再次查询自己订单的时候中间必然会间隔一定时间,也就让需要再次查询数据的时候保证了数据的一致性。 一主一备情况
  上述两种方案看起来可能不那么"技术",感觉有点投机取巧。那么下面咱们可以分两种情况来讨论用更高技术的方法如何实现一致性。 查询延迟方案
  对于主从复制来说,是当主库完成一个事务后,通知给从库,当从库接受到后,则主库完成返回客户端。所以当主库完成事务后,仅能确保从库已经接受到了,但是不能保证从库执行完成,也就是导致了主从备份延迟。
  但是从库执行数据是有进度的,而这个进度是可以通过show slave status语句中的seconds_behind_master来进行描述,这个参数描述从库落后了主库数据多少秒,当这个参数为0时,我们可以认为从库和主库已经基本上没有延迟了,那么这时候就可以查询请求。
  但seconds_behind_master是秒级的,所以只能大概地判断,由于精度较低,所以还是可能出现不一致的情况。
  如果要求精准执行的话,我们可以比较同步文件的执行记录,具体来说是: Master_Log_File和Read_Master_Log_Pos,表示的是读到的主库的最新位点; Relay_Master_Log_File和Exec_Master_Log_Pos,表示的是备库执行的最新位点。
  所以当Relay_Master_Log_File和Exec_Master_Log_Pos和其一致的时候,就说明从库的已执行数据已经追上主库了,那么这时就可以说保证了主从一致性了 半同步复制方案
  但是比较同步文件的执行记录方法的问题在于,如果当前的这个事务的binlog尚未传入到从库,即Master_Log_File和Read_Master_Log_Pos未更新,也就无法保证从库已经包含最新的主库事务了。
  而为了保证在一主一备的情况下,从库里一定接受到数据了,也就是Master_Log_File和Read_Master_Log_Pos中的数据是和主库一致的,我们可以开启semi-sync replication半同步复制。
  半同步复制的原理是在主库提交事务前先将binlog发送给从库,然后当从库接受后返回一个应答,主库只有在接受到这个应答之后才返回事务执行完成。这样就可以保证从库的Master_Log_File和Read_Master_Log_Pos与主库是一致的,从而解决了主从一致的问题。 一主多备情况
  半同步复制可以解决一主一备的情况,但是当一主多备的时候,只要主库接受到一个从库的应答,就会返回事务执行完成。而这时当请求打到未完成同步的从库上时就会发生主从延迟。 等主库记录方案
  所以针对一主多备的情况,我们可以将目光集中在执行查询的从库上,即确保 我们即将查询的备库已经执行了我们预期的事务。 那么我们的问题就变成两部分:1. 确认主库事务,2. 查询数据条件。
  确认主库事务
  当我们提交完一个事务后,可以通过执行show master status来得到主库中的数据事务文件(File)和位置记录(Position)。
  查询数据条件
  当我们要查询从库数据的时候,我们可以通过语句select master_pos_wait(File, Position, 1);来查询当前是否已经执行到了该记录(当返回值>=0的时候说明已经执行过了)。其中最后的数字1表示阻塞时长。
  通过先确认主库事务记录,再判确认备库是否已经执行了了主库对应的事务。
  但是可以发现,这种方法要求查询的时候知道主库的事务信息,对场景有很大的限制。 最后
  主从一致的问题源自主从延迟,所以我们就是从如何消除延迟来解决问题。简单点的方案我们可以不走备库、或者直接等待一段时间来忽略延迟的影响。在一主一备的情况下我们可以粗力度的用seconds_behind_master来判断或者用Relay_Master_Log_File和Exec_Master_Log_Pos来判断。而当一主多从的情况下我们则需要在查询前传入主库执行的事务记录才能保证数据一致性。
  可以看出,当数据规模和部署方式变更的时候,好的解决方案将会越来越多。我认为根据实际业务情况选择最合适的方法才是最重要的。

工信部智能网联汽车运营数据应在境内存储来源人民网原创稿图片来源工信部官网人民网北京8月12日电(赵超)工业和信息化部近日印发关于加强智能网联汽车生产企业及产品准入管理的意见(以下简称意见),要求加强汽车数据安全网络安全重新杀回中国市场,Forever21可以起死回生吗?图片来源视觉中国文成功营销已经退出中国市场2年多年Forever21又杀回来了。近期,Forever21在其公众号官方微博等社交媒体账号重新发声,宣布将重新进入中国市场。与此同时,高管竞相离职,大量员工被裁,亚马逊的无人机送货梦想破灭?互联网产业是当前这个世界所有国家着重发展的重要产业领域,并且近两年以来,全球的所有国家都由于都受到了疫情的冲击,整个世界的实体经济发展近乎崩溃。然而,实体经济的没落成就了现在互联网尺寸略大于宏光MINI,风格更为俏皮,奇瑞QQ冰淇淋正式申报目录奇瑞新能源即将推出类似五菱宏光MINI那样的超微型纯电小车,正式的命名就是QQ冰淇淋,意图自然就是想借助QQ打下的市场基础来博取关注度,毕竟车型本身不再是圆滚滚的卡通化造型,更像是方太发布第2代集成烹饪中心,在科技之上打造厨电新高度科技之上会是什么?或许是人类想过但从未实现过的未来厨房。8月12日,中国高端厨电领军品牌方太一年一度的重磅发布会如约而至,此次的主题正是科技之上。作为每年厨电行业最为关注的盛事之一全新小米12系列将首发骁龙898基于三星4nm工艺测试性能提升20日前,小米近日正式发布了新一代探索旗舰MIX4,该机不仅搭载屏下前摄,在真全面屏上实现了进一步探索,一经发布便受到了外界的高度关注,首销毫无意外地瞬间就被抢购一空。而在小米MIX4狂卷六亿美金黑客亲诉本人对金钱不感兴趣,只为好玩巴比特讯,8月11日晚,PolyNetwork黑客通过以太坊网络转账留言用问答的形式回答了一些关于发动这次攻击的动机和缘由。8月11日2357问为什么要当黑客?答为了好玩)问为什么开启7亿美元新融资的Reddit会是下一个加密货币巨头吗?财联社区块链日报(上海,编辑李红晖)讯,当地时间8月12日,美国社交网站Reddit宣布正在筹集由富达投资(FidelityInvestments)领投的F轮融资,本轮融资后,该公35年之后,雷军需要一次真正封神无论是千亿美元市值,还是全球第一梦想,雷军都需要一次真正的封神,成为一个证明自己的标志,兑现30多年前立下的伟大梦想诺言。作者杨铭编辑Cindy不要怕做选择,干了再说最好的投资,就HarmonyOS赋能HUAWEIWATCH3系列隐私安全再升级当前智能可穿戴设备已经慢慢渗透到我们的生活当中,有更多人愿意借助可穿戴设备来监测身体的各项数据与指标,从而更好的保护自己的身体。而华为作为可穿戴设备的头部厂商,凭借优质的硬件,丰富如何在合理的预算内打造智能化学生宿舍米家1s台灯米家台灯就不用多说了,酷安的爆款单品。一个好的光源能够缓解一些用眼压力,无论是平时的课业内容还是未来考研考公都会有大量的阅读和刷题场景。关乎到自身的健康问题,还是不要在
巴西网民为何青睐亚洲跨境电商一项最新市场调查显示,越来越多的巴西消费者正通过跨境电商网站购物。总部设在新加坡的虾皮购物以及来自中国的希音和速卖通等亚洲跨境电商,在巴西网民群体中拥有相当知名度。2017年,中国新电脑或者重装系统后要做的第一件事,保障让电脑3年内流畅Hello,大家好,今天跟大家分享一篇文章,保障你电脑越用越流畅。是针对Windows设置的哦,不是MAC的。当你拿到电脑的第一件事儿是做什么?下载电脑管家安全助手杀毒软件?不不不4月18日康佳新机发布锤科交个朋友神助攻,目标打造最美最好用TVOS系统4月16日,康佳电视再次为4月18日1400即将召开的康佳APHAEA春季战略新品发布会,目前已经有很多新消息表明康佳新机将搭载由SmartisanTVOS团队设计出品的全新TVO红米K40S都要甘拜下风!一亿像素12GB256GB,跌至1869元作为红米K40的增强版,红米K40S上市之后,由于继承了骁龙870芯片三星E4屏这两个杀手锏配置,并且还加入了OIS光学防抖,且把充电功率提高到67W。再配合更亲民的价格,让该机再Hinova9SE正式发布摄影小白信手捏来拍大片起售价2499元科技犬今天,Hinova9SE新品发布会正式举行,Hinova官方微博表示,Hinova9系列发布后获得市场巨大反响,该系列机型斩获手机行业品牌榜单TOP10,同时在4000500iQOONeo6续航够不够用?先看实测再说话本月13日,iQOO召开线上新品发布会,带来了全新性能旗舰iQOONeo6系列产品。该机不仅搭载了最新一代骁龙8旗舰芯片,配备增强版LPDDR5及超频版UFS3。1闪存,还采用了独2022年一季度中国洗碗机市场总结一季度保持20以上增长,线下市场更亮眼一季度家电市场整体表现低迷,洗碗机作为新兴品类稳定高增长。据奥维云网(AVC)推总数据显示,2022年一季度洗碗机零售额19。1亿元,同比增长限时降价600元!苹果iphone13mini真的值得入手吗?细心的朋友会发现,这些年,智能手机的屏幕是越来越大了。即使是一向主打手感的苹果手机,在大势所趋的情况下,也不得不推出更大屏幕的手机。这对于喜欢小屏手机的用户来说,简直不能忍。不过,为什么出现大量无症状感染者?张伯礼院士详解细心的网友可能会发现,连续几天本土新冠病毒新增感染者中,无症状感染者多于确诊病例。尤其近三天来,无症状感染者居多。为什么无症状感染者持续大量出现?无症状感染者是否有传染力?无症状感太阳能量究竟来自何处?科学家们给出了答案因为太阳每时每刻都在向外释放巨大的能量,所以地球上的人们可以利用太阳的能量来生存和发展。在人类历史的漫长岁月中,太阳的光和热丝毫没有减弱,这既令人愉快,又令人费解。太阳哪里来的这么科学家认为木星的一颗卫星上可能存在外星生命长期以来,科学家们一直认为欧罗巴,一个大约是地球四分之一大小的冰冷小卫星,可能含有生命。毕竟,它应该拥有维持我们所知道的生命所需的一切氧气,水和营养。但总有一个问题属于木星小卫星的