这是学习笔记的第 2384篇文章 今天和同事聊起了一个问题，主要背景是有2个数据库需要数据流转至数仓系统，虽然数据库的存储容量很大，但是需要流转的数据量不大，举个例子，比如源数据库有100张表占用800G，但是数据流转只需要10张表，占用30G, 所以在构建数据源集市的时候，我们就选择了多源复制的模式，把两个数据库合在一起对外交付，本质上还是基于主从复制的模式，只是更加灵活而已。 近期有个新需求，打破了这种平静，现在需要新增几张数据表流转至数仓系统，尴尬的是这几张表因为历史原因没有分表，单表的数据量在几亿，如果采用逻辑导出导入的方式，需要差不多5个小时左右，而且最关键的是，还带来了一系列问题： 1）这种数据导出导入的模式，数据导入完成后的数据补齐工作很难，因为数据是从主库复制，所以这个中间节点上面始终是一种动态的数据处理过程，从理论上来说，是没有办法追齐数据的 2）数据复制基于GTID，什么时候该做取舍也是个难题，比如其他的10张表在实时复制，而新增的表会产生新的GTID,在数据没有应用过来之前，会有一系列的GTID无法自动修复。 如果把这个图画的更全面一些，其实是这样的结构，默认是有数据的容灾节点的，中间节点是直接从主库进行数据复制的。 要解决现在的这个问题，导出导入5个小时显然是不合理的，而相对来说理想的方式便是基于物理数据的处理模式。 一种是传输表空间，直接把ibd文件拷贝到中间节点，然后修复数据的差异，这个时候有两种修复差值的模式，一种是基于表中的增量时间来处理，相对不够通用，第二种则是更严谨的模式，则是修改数据的复制链路，基于从库级联复制即可。 这里的关键便是在开启传输表空间前就停止slave复制，让整个系统处于静止状态，这样能够保证数据的完整性，这个过程如果是复制ibd文件，30G左右的文件大概30分钟就能搞定。 复制完成后，可以根据需求是继续保留基于从库复制还是重新调整GTID绑定到主库端去。 最终的变更状态和原来基本保持一致。 第二种处理模式简单直接，即需要寻找数据问题的根因，比如源库有100张表占用800G，但是需要流转10张表占用30G，那么我们是不是可以直接基于数据库级，实例级进行数据复制，等数据复制状态正常后我们把那90张表都清理掉，在处理过程中，对于一些可能出现的复制异常编码进行统一的过滤处理。这样我们的数据始终是实时更新的状态，无论是状态性数据实时更新还是日志型数据实时更新都可以灵活的适配。 同时在这个时候我们对于多源复制也可以做一些取舍，在这种场景下我觉得使用的意义就不是很大了。 综上，数据复制是一个很好的数据开关，能够灵活的适配和处理很多偏向于业务需求的数据逻辑，在这个过程中，基于系统层，物理的处理模式要远比逻辑处理要高效的多。 各大平台都可以找到我 微信公众号：杨建荣的学习笔记 Github：@jeanron100 CSDN：@jeanron100 知乎：@jeanron100 头条号：@杨建荣的学习笔记 网易号：@杨建荣的数据库笔记 大鱼号：@杨建荣的数据库笔记 腾讯云+社区：@杨建荣的学习笔记 原创热文： 维护之夜，说点故事和经验 我们为什么在MySQL中几乎不使用分区表 新年大吉 总结了如下的感想 《大江大河2》最触动我的一段经典对话 MySQL 8.0给开发方向带来的一些困扰
我的人生感悟现实生活中，酒贵与不贵，喝多了它都能醉，烟贵还是不贵，吸烟都得过肺。酒杯太浅，敬不到来日方长，巷子太短，走不到白发苍苍。不是年少守不住旧情，而是岁月荒芜了人心，情深一往终究是人走茶高明的领导，都用这五招带领团队，每个人干着都有劲同样是领导，有一些领导所在的团队，事事非非非常多，凝聚力缺乏，人心涣散，而有一些领导平时也不怎么管大家，对这个领导充满着敬畏整个团队的氛围是充满正能量的，这里面最本质的区别一定是下每日阅读之非暴力沟通D3作者马歇尔。卢森堡阅读进度6章内容简介非暴力沟通重视每个人的需要，目的是帮助人们在诚实和倾听基础上与人联系。请求是非暴力沟通中除了观察感受需求外的第4个要素。而提出要求被回应的诀窍每日一读之非暴力沟通D5作者马歇尔。卢森堡阅读进度第9章阅读内容爱自己是非暴力沟通最重要的应用。1。具体的做法（1）转变自我评价方式比如，少用应该一词，可用选择来代替。p126。练习（2）减少并逐渐停止内每日一读之非暴力沟通D13作者马歇尔。卢森堡阅读感悟今天再读非暴力沟通时不禁把它与正面管教进行了一些比较。其中有三点感觉比较有趣，在此分享一下，如果大家也比较感兴趣欢迎交流一下彼此的观点和感受（1）两者都是每日一读之非暴力沟通D4作者马歇尔。卢森堡阅读进度第7章阅读内容第七章主要讲非暴力沟通的主要途径倾听。探究如何做到这点，以及了解他们的观察感受需要和请求，并给予反馈。1。倾听的关键点是需要放下已有的想法和12岁男孩沉迷看片怎么办？01一个15岁女孩给校长詹大年写了一封信。信的开头是詹大年你妈个X！正文部分还是很难听的辱骂。火药味十足。一般情况下，校长看到这封信会有2种反应。愤怒，把女孩痛批一顿。无视，女孩可大学生领证1小时闹离婚！轻易说爱，从不经营来源读者（IDduzheweixin）前些天，一则新闻登上热搜大学生领证1小时闹离婚。云南一名在校大学生，因女友的短信刺激，一气之下，做出草率决定领证结婚。可刚结婚1小时，他便反悔靠谱，是与人相处的高配有一个问题对一个人最高的评价是什么？有个高赞回答是靠谱，凡事有交代件件有着落事事有回音。有人写过这样一句话无论是对老朋友，还是对陌生人，守时就是最大的礼貌。守时，代表了对时间的重视贵州一小区多条宠物狗疑似误食地上鸭骨，接连死亡，主人崩溃大哭常言道可以不爱，别去伤害。关于养宠物这一问题，其实一直都存在一些争议。但是有些人即便不喜欢宠物也不会去伤害，只是略会有微词罢了。然而贵州黔西南多条宠物狗，却接连遇害。近日，贵州黔西江苏主人将洗衣机放门口，拾荒大爷扛起就跑，腰一点也不酸公交车上林黛玉，进入超市方世玉。这样的一句话在网络上屡见不鲜，所描述的对象自然也是不言而喻。如此描述或许有些夸张，但是有些人却有过之而无不及。江苏常州，主人将洗衣机放门口，一名拾荒