范文健康探索娱乐情感热点
投稿投诉
热点动态
科技财经
情感日志
励志美文
娱乐时尚
游戏搞笑
探索旅游
历史星座
健康养生
美丽育儿
范文作文
教案论文
国学影视

2020年了,你还没有掌握分布式?浅谈分布式系统之理论知识

  1.为什么要学分布式
  作为后端从业人员,我们在找工作写简历的时候除了高并发经验,一般还会写上自己熟悉|了解|掌握|精通分布式系统,所以高并发和分布式大多是成对出现的。
  在拉勾上搜了个后端岗位:
  分布式系统是个多金的知识点,那还不抓紧行动!
  2. 熵增的分布式系统
  关于什么是分布式系统,有很多文章介绍,其实这个并不难理解,大白话讲就是:工厂活多了一个人撑不住,那就多找些工人一起干,要让这么多人为了一个目标干得快干得好,就需要一些规矩和套路,否则就乱了。
  从实践来看分布式系统属于重要的架构模式,对于互联网工程架构的演进,简单提一下为什么会出现分布式系统以及什么是分布式系统:
  业务量的迅速增大,普通的单机系统无法满足要求,要么垂直扩展升级机器硬件,要么水平扩展堆廉价服务器,这也是主流可以想到的解决方法,目前来看互联网领域选择了后者-水平扩展。水平扩展机器多机房部署升级服务集群规模来应对业务的增长,也就出现了分布式系统,这些分布式系统中的物理节点可能是多机房多网络场景部署的,相互之间通过网络进行通信和协作。
  分布式系统就是为了解决巨大业务量和数据量而生的,但是庞大数量的节点来一起正确有序的完成共同的目标是需要理论和实践来锤打的,这也是分布式系统的重点内容。
  一般我们常接触的分布式系统包括两大类:分布式存储和分布式计算。
  分布式系统那么多机器要一起协调去完成任务也不是一件容易的事情,所以我们通常认为分布式系统是个熵增过程。熵是描述一个系统内在混乱程度的物理量,对于一个宏观熵看孤立的系统来说,在没有外力干预做功的前提下,系统内在混乱程度是会不断增加的,也就是熵是增加的。
  为了让系统保持有序就必须对其进行外力干涉,对于分布式系统而言,我们必须使用相应的策略和算法使整个系统保持有序和正确,所以认为分布式系统是个熵增过程。
  这个并不难理解,就像我们为了保持房屋整洁,定期必须打扫,要不然就乱成一锅粥了。
  如果对于系统不加以控制和干预,系统将自主走向混乱和无序。3.分布式一致性问题的理解
  分布式一致性到底是什么一致?
  分布式的一致性可以表现在很多方面,这些都是个性问题,然而无论这些个性问题有多少,任何行为和状态的展示必然是以数据为基础的,所以这些个性的一致性问题最终都会映射到一个共性问题--分布式数据的一致性。
  分布式系统中拥有很多独立的节点,这些节点一般来说可以独立进行存储和计算任务,这两项是最主要的任务类型,本质上计算和存储的过程仍然是围绕数据展开的,所以最终还是数据一致性。
  在中心化结构中,存在管理节点和任务节点的区别,也就是每个节点的权利和义务是不一样的,管理节点可能负责分配任务给下属节点和收集计算结果等,总体承担协调者的角色,任务节点主要是承接任务,这样容易出现管理节点的单点问题。
  在去中心化的结构中,各个节点的权利和义务是相同的,尽管没有单独指定领导者,在实际的运行中仍然会选举出领导者和failover动态更新领导者的问题,完全的去中心化系统并不多,相比中心化系统来说,去中心系统更加扁平也更加稳定,像Redis官方集群就是去中心化的实现,任何一个节点的故障都不会带来特别大的问题,因为节点是平等的。
  无论在中心化还是去中心化的分布式系统中,任何一个节点的计算和存储结果都会对其他节点产生影响,这些独立的节点通过基础和特定的网络协议进行协作,从而形成一个整体。
  4. 严格意义的数据一致性
  经过前面的一些铺垫,我们开始重点部分的学习-分布式系统数据一致性问题。
  我们必须要有个共识:严格意义上的分布式数据一致性是不存在的。
  为啥不存在呢?
  在分布式系统中数据存储是多节点主从备份的,一般做成读写分离,当客户端将数据通过主库的代理写入之后,在极其短暂的瞬间,主节点的数据是无法复制到从节点的,这个瞬间其他客户端读取到的从库数据都是旧数据。
  聪明的读者盆友们可以体会一下瞬间这个词,当然你可以认为这是相对论的范畴,从物理角度去看可能更能体会。
  我们以redis主从节点之间的数据复制来看同步复制和异步复制场景下的数据一致性问题:
  一般来说,为了保证服务的高可用,主从节点的数据复制是异步的,因为同步复制延时无法保证,当然有的场景也是同步复制的,这样整体延时是无法保证的,假如是一主多从就更无法保证了同步复制的延时了。
  所以我们不讨论严苛意义上的数据一致性,而是研究在我们认为可以接受的时间长度下的数据一致性问题,也就是在自身环境约束下的数据一致性。
  单机系统的一致性和事务都是比较容易达到的,在分布式系统中由于所有节点的交互都要通过网络来实现,网络必然存在不稳定并且庞大系统中的单节点稳定性也是需要考虑的。
  前面这段话,读起来云里雾里,我想表达的意思是:不要过分把对单机系统中的数据一致性要求照搬到分布式系统中,因为两者的约束不一样,我们要合理分析从而让分布式系统的一致性尽量接近单机系统。
  solo和团战毕竟是不一样的,典型的《倚天屠龙记》中张无忌要去少林寺救谢逊,但是遇上的少林三位神僧渡厄、渡难、渡劫已经坐禅几十年,三人合一登峰造极,实在太难了,这也是优秀分布式系统的顶峰吧...5.CAP理论和PACELC理论
  我们知道cap理论描述了一致性、可用性、分区容忍性的关系。
  在分布式系统中,由于节点物理分布和网络稳定性等原因,分区容忍性P是必然存在的,因此分布式系统必然要建立在分布式网络存在分区P的前提下。
  在P的基础上我们对于C和A进行选择,当然并不是说在任何时刻我们都必须C和A二选一,在网络正常的情况下C和A我们也是可以都有的,并且每个系统设计目标也不一样,需要更加实际要求来进行选择。
  分布式系统中P是必然存在的,我们在设计系统之初就要对C和A做平衡和选择,在正常的情况下跑出正确的结果是基本要求,在异常情况下仍然可以正常运行是设计重点。
  在分布式系统中,我们使用PACELC理论比CAP理论更加合适,因为PACELC理论是CAP理论的扩展,简单来说PACELC理论的表述是这样的:
  如果分区partition (P)存在,分布式系统就必须在availability (A) 和consistency (C)之间取得平衡作出选择,否则else (E) 当系统运行在无分区P情况下,系统需要在 latency (L) 和 consistency (C)之间取得平衡。
  PACELC理论比CAP理论更适合分布式系统,它完全展现了出现网络分区和正常情况下的取舍平衡问题,特别地引入了L时延因素,来对一致性C进行说明,也就是我们常说的强一致性和弱一致性。
  强一致性不必多说,对主从数据的一致性要求很高,一般会牺牲可用性来保证,弱一致性又可以分为最终一致性/会话一致性/单调读一致性/单调写一致性等情况,从实用的角度来说我们重点关注弱一致性的最终一致性情况即可。
  6.分布式和BASE理论
  我们知道由于网络稳定性原因,分布式系统出现网络分区是必须要考虑的问题,在一般的互联网场景中我们选择最终一致性来保证服务的高可用,也就是允许一段时间L的数据不一致,经过数据复制和同步后最终达到一致。
  我们看下BASE理论,这是我们理解分布式系统一致性的重要理论基础:BASE是基本可用(Basically Available)、软状态(Soft state)和最终一致性(Eventually consistent)三个短语的缩写。
  BA基本可用是指:系统在绝大部分时间应处于可用状态,允许出现故障损失部分可用性,但保证核心可用。
  S软状态是指:数据状态不要求在任何时刻都保持一致,允许存在中间状态,而该状态不影响系统可用性。
  E最终一致性是指:软状态前提下,经过一定时间后,这些数据最终能达到一致性状态。7.CAP&BASE&ACID的关系
  CAP理论说明了分布式系统中一致性C 、可用性A、分区容错性P之间的制约关系。
  BASE理论和ACID理论可以看做是对CAP理论中三要素进行取舍后的某种情况,也是在单机系统和分布式系统中适用的情况,三者的关系如图:
  8.小结
  本文还是偏理论,在下一篇文章中会重点介绍2PC/3PC、Paoxs、Raft协议、拜占庭将军问题等,敬请期待,感谢诸位本次的阅读。
  作者:后端技术指南针
  链接:https://juejin.im/post/5ec897a151882543372d934f

5G规模化推进有待突破丨经济聚焦资料图2021年4月19日,具备5G通信能力的L4级自动驾驶MINI客车亮相上海车展。龙巍摄(中经视觉)5G网络是支撑经济社会数字化网络化智能化转型的关键基础设施。作为新一轮科技革微信隐藏的三个功能,长按2秒就会出现,太实用了你会用微信吗?你会用微信聊天吗?你会用微信语音聊天,还是视频聊天,还是你会使用微信发个朋友圈,发个小视频?这个微信在我们生活当中对于大部分人来说肯定是不陌生的。但是有一部分人是不知一款千元机可以有多猛?X轴线性马达和NFC居然一个都没落下红米手机可以称得上是同等价位手机里面的守门员,牢牢地把配置的底线给焊死了。而从某些角度上来说红米也不断促进着友商的进步。就比如当时。红米在充电功率上的宣传就使得10瓦的充电功率变成怎样来提升花呗额度更高?花呗第一付款位,能用支付宝就尽量使用支付宝,完善个人信息,保持良好信用,支付宝买点理财产品,基金什么的。反正就是各种来一套呲牙呲牙呲牙1。经常使用花呗直接将花呗设置成自己的首选支付能不能直白简单解释一下什么叫内卷?内卷原来是一个非常烂的翻译,如今变成了网络流行语。这个词原本并不是真正的中文,而是一个来源于英文的直译词。从翻译学的角度来讲,这个翻译是非常糟糕的。有故作高深的学术排它性,目的就是中国工商银行App数字人民币钱包注册最近关于数字人民币推广的新闻已经霸屏,好多小伙伴都已经注册了属于自己的数字人民币钱包,虽然现在可以支付数字人民币的场景还是比较少,但为了图个新鲜,以中国工商银行App再来注册一个数虚拟货币监管再升级业内称下一步或将出台更严厉措施本报记者王小霞近期,国内对于虚拟货币的监管政策十分频繁。继金融业三大协会强调防范虚拟货币交易炒作风险刚过3天,5月21日,国务院金融稳定发展委员会(以下简称金融委)会议明确提出,打6月2日,华为鸿蒙有望登场!首批名单确定,3款机型优先升级经过近两年的等待,鸿蒙系统已经基本确定会在6月2号登场。虽然目前不少用户都通过官方渠道升级了鸿蒙系统公测版,鸿蒙系统的评测报告也相继与消费者见面,鸿蒙系统已经不再神秘。但要知道的是作为小米手机的铁粉,今天要狠狠批判一下红米note9pro这款手机说到手机,小编算是用得比较多的了,苹果华为OPPOVivo魅族小米都用过。小米6上市那会儿,第一次用小米手机,骁龙835处理器,运行真心不错,入手的手感也非常舒服。综合对比,感觉小5G高清慢直播玲珑基站5G媒体背包花博会上通信技术新花样真不少第十届花博会已经进入第二天,想要边赏花边晒照视频直播跟亲友分享美景,离不开极速的网络解放日报上观新闻记者从上海电信上海移动上海联通三大运营商获悉,他们为本届花博会带去了5G高清慢直不买域名,是否可以用ip直接访问网站,可以跳过备案吗?首先回答第一个问题,直接通过ip是可以访问网站的,这个在购买时候进行可以提前咨询客服,问清楚后购买。以个人的经验,如果你买的是虚拟主机,一般需要另外在购买一个独立ip,因为虚拟主机
拼多多法庭上回复砍价永远差一刀微信支持搜索后批量删除好友1砍价永远差一刀?拼多多法庭上回复小数点后有6位去年3月份拼多多上线了一个砍价活动,该活动中不少消费者在拉朋友一起砍价后还是显示0。9,对于这一问题,近日,拼多多在法庭上回应砍价永AI导致失业,可笑至极上个世纪,机器大量替代人工,解放人类双手,脱产出一批人,研究互联网,创造出网站,电商,外卖,短视频,自媒体等新新行业,让人类足不出户,就能够享用一切接着又有一批人开始研究,区块链,什么文化才能让全世界人民团结起来和平发展不要发生世界大战?什么文化才能让全世界人民团结起来和平发展,不要发生世界大战?首先,我们要用马列主义毛泽东思想,领导全世界人民一道,针对現代的美帝霸权主进行针锋相对的斗争,以马列主义毛泽东思想树立光为什么抖音里面的人过得特别好,头条里面的人全是负债?本文来自微信公众号全天候科技(IDiawtmt),作者胡描,编辑罗丽娟,头图来自ICphoto11月2日,字节跳动CEO梁汝波发布全员邮件,宣布调整组织架构,实行业务线BU化(Bu按下电商快捷键,助力乡村振兴加速跑电商打破地域的局限,缩短了时间,拉近了空间,凸显快捷高效便利低成本等优势,是农产品销售的利器,是农民致富的好帮手。习近平总书记指出,电商作为新兴业态,既可以推销农副产品帮助群众脱贫淘宝店一直不温不火,怎样运营才能提高销量?1直通车销售额直通车销售额有很大的促进主题活动协助产品销售量,更加强烈地协助产品营销,注意店铺的转化率,可以增加总流量的引入,这样也可以间接提高店铺其他产品的销量。2新媒体传播新媒发改委继续推进交通等传统基础设施建设加大5G等新型基础设施建设力度刘丽靓中国证券报中证网中证网讯(记者刘丽靓)1月18日,国家发改委国民经济综合司司长袁达在国家发改委1月新闻发布会上表示,适度超前开展基础设施投资。继续推进交通能源水利农业环保物流Apple活动日历展望2022年2022年春季iMaciPad和iPhoneSE?在过去的七年里,苹果公司在春季举办了一场活动。随着该公司产品和服务组合的增长,将它们全部塞进两到三个活动中变得越来越困难。春季活动15分钟充满电量,120W快充屏下摄像头,小米高端旗舰跌至3129元目前市面上采用骁龙8Gen1处理器手机的已经蛮多款了,大部分也都已经上市开卖,其中卖得最好的还是来自雷军发布的小米12和12Pro,虽然小米12没有首发搭载骁龙8处理器,而且也不是Vue3巧用指令不知道大家在工作中用上vue3了没有,vue3好是好,但是有部分插件并没有更新到3。0的,比如我比较喜欢的自定义滚动条overlayscrollbars,vue3直接使用overl中金维持腾讯(0700。HK)中性评级目标价527港元中金发表研究报告,预计腾讯(0700。HK)2021年第四季收入将按年增长5至1,409亿元人民币,调整后净利润则预期下降25至248亿元人民币,预期2021年全年调整后净利润将达