一、区别
　　上图来自tapdata（一款优秀的数据集成系统），该图很明显的诠释了数据集成和数据管道的关系。
　　数据管道：通过技术手段建立和数据源的通道，用于抽取和加载数据。数据管道中将定义数据的位置、内容、采集方式。
　　数据集成：包含了数据管道，最核心的是处理引擎。处理引擎将协调数据管道，通过Pipeline方式把数据管道组织起来，对来源数据进行抽取、组合、转换，并加载到目标存储。二、挑战点：异构特性：由于数据源是独立开发的，数据模型异构，对数据集成造成非常大的挑战，需要在类型转换上做一些处理。数据一致性：需要保证采集过来的数据必须和原数据一致，比如格式转换上不能出问题、时间精度不能丢失等。重复、冲突数据处理：不能把重复的数据加载到目标存储上，不仅会给日后的数据关联造成极大的影响，也会影响数据分析与挖掘的效果，应尽量避免。异常重试及中止机制：各个数据源的数据由于快速迭代或者系统BUG，导致存在一些异常数据或数据模型变化，导致数据集成异常，需要有告警和干预机制Pipeline：由于数据管道众多，有一些数据管道存在先后调度关系，需要有一套类似airflow可编排任务的pipeline进度可观察：对于各个管道的数据处理进度可衡量，可观察弹性调度：在处理批量或流式等不同任务时，可根据实际需要进行弹性调度，目前一般基于Flink来实现，也有自己实现的弹性调度机制。数据源和目标存储监控机制：无论是CDC还是批量查询等方式，都会对数据源有一些压力，有一些性能的消耗，需要有监控机制。如控制不当，特别是对数据库会产生很高的IOPOS，导致影响了正常业务系统的执行。三、总结：
　　数据集成系统，看似简单，其实一点也不简单。目前Flink的生态比较全，有很多CDCConnector，基于Flink开发集成系统是个不错的选择。

科莫多巨蜥的毒液到底有多可怕？2009年，一名31岁的渔民安瓦尔，在印尼科莫多岛上采摘水果，结果不小心从水果树上掉了下来，刚好踩到了一只巨型蜥蜴，蜥蜴瞬间就朝他扑了过去，咬住了他的腿，之后又咬住了他的手臂，身体武汉未来的房价会涨到100000元平米吗？这个问题的答案是肯定的！以目前的趋势，未来武汉房价必然达到10万的水平，只是时间长短的问题。2010年至2017年，短短七年间，武汉的房价已经翻了3番，目前，武汉部分高端楼盘如洞庭兰州青白石片区，中央公园怎么样？兰州北拓的黄金区域，目前基础交通还跟不上建设需要，交通滞后可能会成为十四五期间兰州青白石片区发展的的最大障碍！不过就兰州地理位置和城区格局而言，青白石片区是离主城区最近的待开发区域农民为什么不在国家统计失业范围之内？中国有四个儿子，大儿子叫工人，二儿子叫子弟兵，三儿子叫公务员，四儿子叫农民，所以四儿子就没有纳入统计失业包括养老金范围，因为四儿子有金山银山还有三分地。农民有土地，这是农民可以赖以农村成立社区是什么意思？很多农村驻有村委会办公室，同时也驻有社区管理委员会办公室，特别是在城市郊区的农村和街道的农村都同时设立了村委会和社区管理委员会，很多人弄不明白是怎么回事。那农村成立社区是什么意思呢农村里的剩男，为何一剩再剩呢？到底是什么原因？男女比例失调。计划生育只要一个孩子时，受封建思想影响，都拚命要男孩，等他们长大了，很难找到媳妇。一，农村姑娘远嫁，二，女孩见少，三，彩礼高，四，剩男挣钱少。我就一大龄剩男！个人亲身抖音付费直播试水，看直播要给钱了？我们应该如何思考？使劲收，最好是家人们看的话，一分钟100块钱。毕竟粉丝听话的很。毕竟人设都设计好了打PK，卖货摆错价格，怒亏2个亿回馈粉丝。没事就怼工厂，怼员工反正就是赔钱回馈粉丝。赔完还得补交税马上就要退休了，退休工资才3650元太少了，怎么办？3600不少了。我企业工龄32年，退休时退休金只有2200，涨了这么多年还不到3000。知足常乐吧！如果身体不好，这些钱也够生活了，如果身体还可以，就找一些力所能及的工作，打打工补南宁五象新区未来的发展潜力很大吗？五象新区无法成为国家级新区！！！目前看来，五象新区的潜力也就这样了。我们对比一下贵阳的贵安新区，贵安新区的面积是1700平方公里，由贵阳市的郊区和安顺市合并得来。是全国第8个国家级如果把三峡大坝加高10米，截留更多的洪水，可行吗？我国的三峡大坝，作为当今世界上最大的水利枢纽工程，位于湖北省宜昌市上游，距下游葛洲坝水电站38公里，三峡大坝全长2309米高185米，呈梯形形状，集发电旅游航运调控洪水于一身。三峡大家有经历过亲人去世吗？是怎样走出痛苦和想念的？2018年9月1日下午3点8分，我的妻子在医院里停止了呼吸。她的眼睛没有闭上，我流着泪，帮她合上了双眼。我永远失去了我最亲近的爱人，孩子永远的失去了妈妈。一位好妻子，好女儿，好姑妈