范文健康探索娱乐情感热点
投稿投诉
热点动态
科技财经
情感日志
励志美文
娱乐时尚
游戏搞笑
探索旅游
历史星座
健康养生
美丽育儿
范文作文
教案论文
国学影视

分布式架构系列负载均衡技术详解技术头条

  戳蓝字"CSDN云计算"关注我们哦!
  技术头条:干货、简洁、多维全面。更多云计算精华知识尽在眼前,get要点、solve难题,统统不在话下!
  作者:ITFLY8
  转自:架构师技术联盟
  面对大量用户访问、高并发请求,海量数据,可以使用高性能的服务器、大型数据库,存储设备,高性能Web服务器,采用高效率的编程语言比如(Go,Scala)等,当单机容量达到极限时,我们需要考虑业务拆分和分布式部署,来解决大型网站访问量大,并发量高,海量数据的问题。
  从单机网站到分布式网站,很重要的区别是业务拆分和分布式部署,将应用拆分后,部署到不同的机器上,实现大规模分布式系统。分布式和业务拆分解决了,从集中到分布的问题,但是每个部署的独立业务还存在单点的问题和访问统一入口问题,为解决单点故障,我们可以采取冗余的方式。将相同的应用部署到多台机器上。解决访问统一入口问题,我们可以在集群前面增加负载均衡设备,实现流量分发。
  负载均衡(Load Balance),意思是将负载(工作任务,访问请求)进行平衡、分摊到多个操作单元(服务器,组件)上进行执行。是解决高性能,单点故障(高可用),扩展性(水平伸缩)的终极解决方案。
  本文是负载均衡详解的第一篇文章,介绍负载均衡的原理,负载均衡分类(DNS负载均衡,HTTP负载均衡,IP负载均衡,链路层负载均衡,混合型P负载均衡)。部分内容摘自读书笔记。
  一、负载均衡原理
  系统的扩展可分为纵向(垂直)扩展和横向(水平)扩展。纵向扩展,是从单机的角度通过增加硬件处理能力,比如CPU处理能力,内存容量,磁盘等方面,实现服务器处理能力的提升,不能满足大型分布式系统(网站),大流量,高并发,海量数据的问题。因此需要采用横向扩展的方式,通过添加机器来满足大型网站服务的处理能力。比如:一台机器不能满足,则增加两台或者多台机器,共同承担访问压力。这就是典型的集群和负载均衡架构:如下图:
  应用集群:将同一应用部署到多台机器上,组成处理集群,接收负载均衡设备分发的请求,进行处理,并返回相应数据。
  负载均衡设备:将用户访问的请求,根据负载均衡算法,分发到集群中的一台处理服务器。(一种把网络请求分散到一个服务器集群中的可用服务器上去的设备)
  负载均衡的作用(解决的问题):
  1.解决并发压力,提高应用处理性能(增加吞吐量,加强网络处理能力);
  2.提供故障转移,实现高可用;
  3.通过添加或减少服务器数量,提供网站伸缩性(扩展性);
  4.安全防护;(负载均衡设备上做一些过滤,黑白名单等处理)
  二、负载均衡分类
  根据实现技术不同,可分为DNS负载均衡,HTTP负载均衡,IP负载均衡,链路层负载均衡等。
  2.1 DNS负载均衡
  最早的负载均衡技术,利用域名解析实现负载均衡,在DNS服务器,配置多个A记录,这些A记录对应的服务器构成集群。大型网站总是部分使用DNS解析,作为第一级负载均衡。如下图:
  优点
  使用简单:负载均衡工作,交给DNS服务器处理,省掉了负载均衡服务器维护的麻烦
  提高性能:可以支持基于地址的域名解析,解析成距离用户最近的服务器地址,可以加快访问速度,改善性能;
  缺点
  可用性差:DNS解析是多级解析,新增/修改DNS后,解析时间较长;解析过程中,用户访问网站将失败;
  扩展性低:DNS负载均衡的控制权在域名商那里,无法对其做更多的改善和扩展;
  维护性差:也不能反映服务器的当前运行状态;支持的算法少;不能区分服务器的差异(不能根据系统与服务的状态来判断负载)
  实践建议
  将DNS作为第一级负载均衡,A记录对应着内部负载均衡的IP地址,通过内部负载均衡将请求分发到真实的Web服务器上。一般用于互联网公司,复杂的业务系统不合适使用。如下图:
  2.2 IP负载均衡
  在网络层通过修改请求目标地址进行负载均衡。
  用户请求数据包,到达负载均衡服务器后,负载均衡服务器在操作系统内核进程获取网络数据包,根据负载均衡算法得到一台真实服务器地址,然后将请求目的地址修改为,获得的真实ip地址,不需要经过用户进程处理。
  真实服务器处理完成后,响应数据包回到负载均衡服务器,负载均衡服务器,再将数据包源地址修改为自身的ip地址,发送给用户浏览器。如下图:
  IP负载均衡,真实物理服务器返回给负载均衡服务器,存在两种方式:(1)负载均衡服务器在修改目的ip地址的同时修改源地址。将数据包源地址设为自身盘,即源地址转换(snat)。(2)将负载均衡服务器同时作为真实物理服务器集群的网关服务器。
  优点:
  (1)在内核进程完成数据分发,比在应用层分发性能更好;
  缺点:
  (2)所有请求响应都需要经过负载均衡服务器,集群最大吞吐量受限于负载均衡服务器网卡带宽;
  2.3 链路层负载均衡
  在通信协议的数据链路层修改mac地址,进行负载均衡。
  数据分发时,不修改ip地址,指修改目标mac地址,配置真实物理服务器集群所有机器虚拟ip和负载均衡服务器ip地址一致,达到不修改数据包的源地址和目标地址,进行数据分发的目的。
  实际处理服务器ip和数据请求目的ip一致,不需要经过负载均衡服务器进行地址转换,可将响应数据包直接返回给用户浏览器,避免负载均衡服务器网卡带宽成为瓶颈。也称为直接路由模式(DR模式)。如下图:
  优点:性能好;
  缺点:配置复杂;
  实践建议:DR模式是目前使用最广泛的一种负载均衡方式。
  2.4 混合型负载均衡
  由于多个服务器群内硬件设备、各自的规模、提供的服务等的差异,可以考虑给每个服务器群采用最合适的负载均衡方式,然后又在这多个服务器群间再一次负载均衡或群集起来以一个整体向外界提供服务(即把这多个服务器群当做一个新的服务器群),从而达到最佳的性能。将这种方式称之为混合型负载均衡。
  此种方式有时也用于单台均衡设备的性能不能满足大量连接请求的情况下。是目前大型互联网公司,普遍使用的方式。
  方式一,如下图:
  以上模式适合有动静分离的场景,反向代理服务器(集群)可以起到缓存和动态请求分发的作用,当时静态资源缓存在代理服务器时,则直接返回到浏览器。如果动态页面则请求后面的应用负载均衡(应用集群)。
  方式二,如下图:
  以上模式,适合动态请求场景。
  因混合模式,可以根据具体场景,灵活搭配各种方式,以上两种方式仅供参考。
  三、负载均衡算法
  常用的负载均衡算法有,轮询,随机,最少链接,源地址散列,加权等方式;
  3.1 轮询
  将所有请求,依次分发到每台服务器上,适合服务器硬件同相同的场景。
  优点:服务器请求数目相同;
  缺点:服务器压力不一样,不适合服务器配置不同的情况;
  3.2 随机
  请求随机分配到各个服务器。
  优点:使用简单;
  缺点:不适合机器配置不同的场景;
  3.3 最少链接
  将请求分配到连接数最少的服务器(目前处理请求最少的服务器)。
  优点:根据服务器当前的请求处理情况,动态分配;
  缺点:算法实现相对复杂,需要监控服务器请求连接数;
  3.4 Hash(源地址散列)
  根据IP地址进行Hash计算,得到IP地址。
  优点:将来自同一IP地址的请求,同一会话期内,转发到相同的服务器;实现会话粘滞。
  缺点:目标服务器宕机后,会话会丢失;
  3.5 加权
  在轮询,随机,最少链接,Hash’等算法的基础上,通过加权的方式,进行负载服务器分配。
  优点:根据权重,调节转发服务器的请求数目;
  缺点:使用相对复杂;
  四、硬件负载均衡
  采用硬件的方式实现负载均衡,一般是单独的负载均衡服务器,价格昂贵,一般土豪级公司可以考虑,业界领先的有两款,F5和A10。
  使用硬件负载均衡,主要考虑一下几个方面:
  (1)功能考虑:功能全面支持各层级的负载均衡,支持全面的负载均衡算法,支持全局负载均衡;
  (2)性能考虑:一般软件负载均衡支持到5万级并发已经很困难了,硬件负载均衡可以支持
  (3)稳定性:商用硬件负载均衡,经过了良好的严格的测试,从经过大规模使用,在稳定性方面高;
  (4)安全防护:硬件均衡设备除具备负载均衡功能外,还具备防火墙,防DDOS攻击等安全功能;
  (5)维护角度:提供良好的维护管理界面,售后服务和技术支持;
  (6)土豪公司:F5 Big Ip 价格:15w~55w不等;A10 价格:55w-100w不等;
  缺点
  (1)价格昂贵;
  (2)扩展能力差;
  4.4 小结
  (1)一般硬件的负载均衡也要做双机高可用,因此成本会比较高。
  (2)互联网公司一般使用开源软件,因此大部分应用采用软件负载均衡;部分采用硬件负载均衡。
  比如某互联网公司,目前是使用几台F5做全局负载均衡,内部使用Nginx等软件负载均衡。
  福利
  扫描添加小编微信,备注"姓名+公司职位",加入【云计算学习交流群】,和志同道合的朋友们共同打卡学习!
  推荐阅读:44年前的今天,改变世界的TA诞生了! | 极客头条英特尔强势上新一大波数据产品,小伙伴们"奔走相告"…… | 极客头条
  姚期智提出的"百万富翁"难题被破解? 多方安全计算MPC到底是个什么鬼?全民 AI !教育部宣布 35 所高校新增 AI 本科专业深度 | 人工智能究竟能否实现?程序媛报告:调查了 12,000 名女性开发者发现,女性比男性更懂 Java!程序员怒了!你敢削减专利奖金,我敢拒绝提交代码!
  喜欢就点击"在看"吧

美国制裁导致芯片短缺,大众汽车就工厂停产向供应商索赔当地时间1月24日,德国车企大众集团表示正在与主要供应商就芯片短缺可能造成的损失进行谈判。据悉,因为全球范围的芯片短缺,各地的汽车制造商正在关停工厂。这种情况一定程度上是有前总统特猫狗之后是三国?长城哈弗新款SUV或定名为赤兔如今车企在给车型命名时越来越放飞自我,其中长城可谓是更加的特立独行。在哈弗大狗欧拉猫系列之后,长城又新款SUV汽车似乎要用三国中的动物来命名。元宵节当天,哈弗官方发布了一系列灯谜海长城汽车毫末智行获得首轮数亿融资,将逐级实现自动驾驶长城汽车毫末智行科技有限公司今日宣布,正式完成PreA轮融资。据悉,本轮融资由首钢基金领投,美团高瓴创投跟投。在新能源汽车与自动驾驶概念火热的今天,行业融资消息频传,但是首轮融资即91十条新能源汽车行业的每日必读简报(210303)1上海市土地交易市场官网挂出一则土地出让公告,而该地块邻近特斯拉上海超级工厂,业内人士认为这片地极大概率被用于特斯拉工厂扩建。2沃尔沃官方宣布,旗下首款纯电动车XC40RECHAR沃尔沃放弃与吉利合并,将寻求独立上市中国吉利汽车及关联公司沃尔沃先前的合并计划正式搁置,根据两家的联合声明,双方将在保持各自独立架构的基础上,在自动驾驶动力总成电气化等领域展开更加紧密的合作。去年2月份宣布的合作计划马斯克证实特斯拉近期停产,但表示ModelSX将连续生产此前,外媒爆料称,特斯拉暂停了加利福尼亚州弗里蒙特工厂的Model3生产线。北京时间2月26日早,马斯克发内部信证实了这一传闻,不过马斯克也表示,加利福尼亚州弗里蒙特工厂已经做好了宏光MINIEV击败Model3,首次成为全球电动车销冠全球电动车销量数据显示,1月份五菱宏光MNIEV销量达到了36762辆,连续7个月创造销量纪录。同时,特斯拉1月份在全球市场销量下滑,首次被宏光MINIEV超越,宏光MINIEV第91十条新能源汽车行业的每日必读简报(210224)1。丰田位于日本静冈县富士山下的未来智慧城市主题试验区编织之城正式奠基,占地面积约71万平方米,与故宫相当。2。比亚迪宋PLUSDMi配置曝光,亏电状态下油耗4。4L100km,纯出道即百万爆款的realmeGTNeo迎来换代,GTNeo2又将带来什么惊喜realme是OPPO当初为了发展海外性价比市场而创立的的一个子品牌,最近两年才开始进军国内市场,主打年轻人以及千元机市场,有点类似当初的魅蓝。回归国内市场后realme成长速度非微信,真的那么不堪网友吐槽先来简单讲一下我认为微信做的不好的点吧。这个国民级的聊天工具互联网时代的风口中老年用户接触网络的重要桥梁金牌产品经理张小()的得意之作,缺点不可谓不显著。(1)文件相关功能南卡Zzzz枕中宝骨传导蓝牙音箱,降压助眠好伴侣,秒变哄娃神器近年来,随着生活水平的越来越高,生活工作各方面的压力也越来越大,房贷车贷小孩读书,所以处理不好的话久而久之就会失眠了。像我那样每天晚上都要戴着耳机听一些白噪音或者听一些歌曲才能睡得
小米公布200W功率快充技术,充满4000mAh电池只要8分钟前几天我们编辑室某位工作生活很忙的人士,抱怨他那台4500mAh电池的手机续航很菜,但我们发现那台手机已经支持高达65W的快充,用得快充得也快啊,可他还是表示有没有更快的充电,那小这个618,旗舰也得放下面子降价,最高的降幅竟然有2000元2021年,处理器方面,骁龙888功耗翻车,骁龙865的超频版骁龙870拿来当替补,天玑1200跻身高端处理器行列。Redmi打造红米K40宇宙,红魔打造骁龙888强芯世界,Rea5999元入手小米11UItra,同事看到后,劝我加钱换华为手机?5月1日劳动节入手了小米11UItra,这不是我第一次买小米手机,但和以往相比却好买很多,基本没有抢购,估计大部分用户都是被价格劝退的吧,6000的售价可能更多人会考虑iPhone油耗1。4L,提速迅猛,空间不错的实惠三厢车,实拍秦Pro新能源油耗1。4L,提速迅猛,空间不错的实惠三厢车,实拍秦Pro新能源说起15W左右的车,可以说竞争是非常激烈的,不管是合资车型也好,国内的品牌也罢,它们都希望在该级别车型中分一杯羹,虽昨夜今晨发生了什么?YiMagazine荣耀一加出货目标削减40据电子时报5月27日报道,包括小米OPPORealme和荣耀在内的中国手机品牌已经在5月初下调了2021年的出货量目标。其中,小米将把2021年全年出货目标华为全场景来袭,如何搭配WiFi和5G设备?这样选准没错5月底,华为即将正式发布鸿蒙OS的消息一石激起千层浪。区别于安卓和ios主要应用于手机平台的特性,鸿蒙OS可应用于手机电视手表智能家居等众多IOT产品,可以说鸿蒙OS的正式推送是华弘辽科技卖场型旗舰店好入驻吗?需要什么资料?天猫店铺的类型分为了很多种,除了有普通的天猫店铺以外还有卖场型旗舰店,大家在天猫开店的话是必须要选择好店铺类型的,如果选择天猫卖场旗舰店的话是否好开呢?卖场型旗舰店指以服务类型商标AIDA64正在适配鸿蒙OS,已经将华为应用市场单独列出鸿蒙2。0已经发布多时了,很多网友也都已经更新尝鲜了。鸿蒙OS作为全新系统,虽然兼容安卓APP生态,但还是有不少软件无法使用,尤其是目前的各种测试软件。近日,有网友在推特中询问了A美团新业务季度亏损80亿王兴正面回应监管对于行业是正向美团和王兴这段时间来,经常出现在热搜上,前因后果想来大家都知道,这里就不必过多解释。美团在被约谈调查后,接到了相关的整改措施,据悉目前正在按章执行。作为一家新兴的互联网公司,和阿里中方还未表态,爱立信就公开喊话,禁用华为自己在华也活不下去中国的科技发展日新月异,中国深知科技对国家发展的重要性,所以加大了在科技领域的投入。为了遏制中国科技企业的发展,美国开始对中国企业下手。华为也成了美国的眼中钉,华为在5G方面比较有谷歌研发视频通话新技术据新华社电美国谷歌公司在近日召开的年度开发者大会上宣布,正在研发一项具有裸眼三维效果的显示器技术,有望实现全息网络视频通话,让远方亲友仿佛近在眼前。谷歌公司说,这一名为Starli