LVSKeepalivedNginx安装及配置
LVSKeepalivedNginx安装及配置1、概述
上篇文章《架构设计:负载均衡层设计方案(6)NginxKeepalived构建高可用的负载层》我们讲解了Nginx的故障切换,并且承诺各位读者会尽快讲解LVSKeepalivedNginx的安装和配置。在中间由于工作的原因,我又插写了三篇关于zookeeper的原理使用的文章。今天这边文章我们回归主题,为各位读者讲解LVSKeepalivedNginx的安装及配置。2、安装计划和准备工作
下图,我们表示了本篇文章要搭建的整个集成架构的抽象结构:
我们采用两个LVS节点(141和142),但是一个时间工作的只有一个LVS节点,另一个始终处于热备standby状态,由keepalived监控这两个节点的工作状态并完成切换。
在LVS节点下,我们采用LVSDR工作模式挂载了两个Nginx节点(131、132)。并最终将外网请求交由这两个节点进行处理。注意:在实际工作中,Nginx下面一般就是访问静态资源、动态资源的配置了。21、准备两个keepalived节点
首先我们在将要安装LVS的两个节点上,先安装keepalived,并保证这两个keepalived节点能够正常工作(监控批次的状态)。当然,您也可以先准备LVS,在准备keepalived。
我想准备keepalived节点,大家应该轻车熟路了吧,在《架构设计:负载均衡层设计方案(6)NginxKeepalived构建高可用的负载层》这篇文章中详细介绍了keepalived的最简配置方式。为了大家阅读方便,我们在这里再进行依次简要说明。准备keepalived的整个过程包括:安装必要的支撑组件,源码安装keepalived将keepalived注册成节点的服务,以便保证keepalived在节点启动时就开始工作更改keepalived的配置文件,让其可以正常工作验证准备工作
安装keepalived〔rootlvs1〕yuminstallyzlibzlibdevelgccgcccopensslopenssldevelopenssh〔rootlvs1〕tarzxvfkeepalived1。2。17。tar。gz〔rootlvs1〕cdkeepalived1。2。17〔rootlvs1〕。configureperfixusrkeepalived1。2。17〔rootlvs1〕makemakeinstall
将keepalived注册成服务(如果您使用的默认路径安装,就不需要cp命令了)〔rootlvs1〕cpusrkeepalived1。2。17etcsysconfigkeepalivedetcsysconfigkeepalived〔rootlvs1〕cpusrkeepalived1。2。17sbinkeepalivedusrsbinkeepalived〔rootlvs1〕cpusrkeepalived1。2。17etcrc。dinit。dkeepalivedetcrc。dinit。dkeepalived〔rootlvs1〕mkdiretckeepalived〔rootlvs1〕cpusrkeepalived1。2。17etckeepalivedkeepalived。confetckeepalivedkeepalived。conf〔rootlvs1〕可以做成服务了(不要拷贝,没用的)〔rootlvs1〕chkconfigkeepalivedon
这里我们先设置浮动ip
设置的信息
ifconfigeth0:0192。168。220。140broadcast192。168。220。140netmask255。255。255。255up
routeaddhost192。168。220。140deveth0:0
做成服务后,先不要急着启动,因为配置文件还没有改好。
配置keepalived(配置文件在:etckeepalivedkeepalived。conf)!ConfigurationFileforkeepalivedglobaldefs{notificationemail{acassenfirewall。locfailoverfirewall。locsysadminfirewall。loc}notificationemailfromAlexandre。Cassenfirewall。locsmtpserver192。168。200。1smtpconnecttimeout30routeridLVSDEVEL}vrrpinstanceVI1{141节点设置为MASTER,142或者还有其他的节点设置为BACKUP还记得我们前面文章讲到的无抢占设置吗?这里也可以用哦。stateMASTER网络适配器名称interfaceeth0virtualrouterid51所有的SLAVE节点的优先级都要比这个设置值低priority120advertint1真实ip,142要改成相应的lvs节点真实ipmcastsrcip192。168。220。141authentication{authtypePASSauthpass1111}虚拟浮动IPvirtualipaddress{192。168。220。140}}
以上配置还是最简单的keepalived配置,因为我们还没有加上配合LVS使用的虚拟ip监测设置和下层真实ip监测的设置。最简配置主要是为了保证keepalived节点是工作正常的。
将以上的配置分别对应到LVS的两个节点(注意要改动的地方哦)
进行keepalived工作状态的检查:〔rootlvs1〕etcinit。dkeepalivedstart
现在设置为MASTER的keepalived节点(或者在非抢占模式下,优先级最高的那个节点),已经绑定了140这个虚拟ip了:〔rootlvs2〕ipaddr1:lo:LOOPBACK,UP,LOWERUPmtu16436qdiscnoqueuestateUNKNOWNlinkloopback00:00:00:00:00:00brd00:00:00:00:00:00inet127。0。0。18scopehostloinet6::1128scopehostvalidlftforeverpreferredlftforever2:eth0:BROADCAST,MULTICAST,UP,LOWERUPmtu1500qdiscpfifofaststateUPqlen1000linkether00:0c:29:39:75:9fbrdff:ff:ff:ff:ff:ffinet192。168。220。14124brd192。168。220。255scopeglobaleth0inet192。168。220。14032scopeglobaleth0inet6fe80::20c:29ff:fe39:759f64scopelinkvalidlftforeverpreferredlftforever
当然您也可以通过varlogmessage的日志进行keepalived是否正常工作的验证。22、继续两个keepalived节点上准备LVS
准备lvs的工作就太简单了,因为centos6。4、6。5、6。6都已经集成了LVS的核心,我们只需要安装LVS的管理工具就行了:
()如果要源码安装的话:
这里源码安装ipvsadm
yuminstallkerneldevely
yumyinstallpoptpoptdevellibnllibnldevelpoptstatic(我尝试过要是不安装的话就会报错)
lnsusrsrckernels2。6。32642。4。2。el6。x8664usrsrclinux
wgethttp:www。linuxvirtualserver。orgsoftwarekernel2。6ipvsadm1。26。tar。gz
tarxfipvsadm1。25。tar。gz
cdipvsadm1。25
makemakeinstall
然后我们检测一下
ipvsadm是否有内容输出
()如果yum安装的话
两个LVS节点都执行:yumyinstallipvsadm
还记得lvs管理工具怎么使用吗?请参见我介绍LVS单节点安装的博文:《架构设计:负载均衡层设计方案(5)LVS单节点安装》。这里为了方便阅读,给出主要参数的含义列表:Aaddservice在内核的虚拟服务器表中添加一条新的虚拟服务器记录。也就是增加一台新的虚拟服务器。Eeditservice编辑内核虚拟服务器表中的一条虚拟服务器记录。Ddeleteservice删除内核虚拟服务器表中的一条虚拟服务器记录。Cclear清除内核虚拟服务器表中的所有记录。Rrestore恢复虚拟服务器规则Ssave保存虚拟服务器规则,输出为R选项可读的格式aaddserver在内核虚拟服务器表的一条记录里添加一条新的真实服务器记录。也就是在一个虚拟服务器中增加一台新的真实服务器eeditserver编辑一条虚拟服务器记录中的某条真实服务器记录ddeleteserver删除一条虚拟服务器记录中的某条真实服务器记录Llist显示内核虚拟服务器表Zzero虚拟服务表计数器清零(清空当前的连接数量等)settcptcpfinudp设置连接超时值startdaemon启动同步守护进程。他后面可以是master或backup,用来说明LVSRouter是master或是backup。在这个功能上也可以采用keepalived的VRRP功能。stopdaemon停止同步守护进程ttcpserviceserviceaddress说明虚拟服务器提供的是tcp的服务〔vip:port〕or〔realserverip:port〕uudpserviceserviceaddress说明虚拟服务器提供的是udp的服务〔vip:port〕or〔realserverip:port〕ffwmarkservicefwmark说明是经过iptables标记过的服务类型。sschedulerscheduler使用的调度算法,选项:rrwrrlcwlclblclblcrdhshsednq,默认的调度算法是:wlc。ppersistent〔timeout〕持久稳固的服务。这个选项的意思是来自同一个客户的多次请求,将被同一台真实的服务器处理。timeout的默认值为300秒。Mnetmasknetmaskpersistentgranularitymaskrrealserverserveraddress真实的服务器〔RealServer:port〕ggatewaying指定LVS的工作模式为直接路由模式DR模式(也是LVS默认的模式)iipip指定LVS的工作模式为隧道模式mmasquerading指定LVS的工作模式为NAT模式wweightweight真实服务器的权值mcastinterfaceinterface指定组播的同步接口connection显示LVS目前的连接如:ipvsadmLctimeout显示tcptcpfinudp的timeout值如:ipvsadmLtimeoutdaemon显示同步守护进程状态stats显示统计信息rate显示速率信息sort对虚拟服务器和真实服务器排序输出numericn输出IP地址和端口的数字形式
到后面正式启动LVS的时候,就不要问我参数含义咯。23、准备两个Nginx节点并保证可用
在《架构设计:负载均衡层设计方案(5)LVS单节点安装》(http:blog。csdn。netyinwenjiearticledetails47010569)这篇文章中,我们详细讲解了Nginx节点的准备工作,但是为了方便各位读者阅读,这里我们大致再讲一下。
Nginx节点的准备工作主要由以下步骤构成(这个不是本文的重点,点到即可):安装Nginx(当然,正式系统中,还涉及到Nginx的参数调优,可以参见《架构设计:负载均衡层设计方案(2)Nginx安装》这篇文章)打开Nginx所在服务器的路由功能、关闭ARP查询功能将VIP:192。168。220。140设置成Nginx所在节点的回环IP
安装Nginx〔rootvm1〕yumyinstallmakezlibzlibdevelgccgcccsshlibtoolpcre〔rootvm1〕下载nginx(别拷贝,不能执行的)〔rootvm1〕解压nginx(别拷贝,不能执行的)〔rootvm1〕。configureprefixusrnginx1。8。0〔rootvm1〕makemakeinstall〔rootvm1〕设置环境变量(别拷贝,不能执行的)〔rootvm1〕启动nginx
打开Nginx所在服务器的路由功能、关闭ARP查询功能〔rootvm1〕echo1procsysnetipv4confloarpignore〔rootvm1〕echo2procsysnetipv4confloarpannounce〔rootvm1〕echo1procsysnetipv4confallarpignore〔rootvm1〕echo2procsysnetipv4confallarpannounce
设置回环IP〔rootvm1〕ifconfiglo:0192。168。220。140broadcast192。168。220。140netmask255。255。255。255up〔rootvm1〕routeaddhost192。168。220。140devlo:0
两台Nginx的节点都按照这样的方法去设置。然后使用浏览器,看看这两个节点的Nginx是否工作正常:
我这里在做实验的时候忘了把防火墙和selinux关了,所以浏览器访问不了。不要忘了关哦
我们可以把nginx的首页改一下以便分辨区别
24、其他说明
keepalived和LVS是天生配合完美的一对,LVS负责进行请求转发不负责任何节点的健康监测;keepalived负责监控整个环境中,包括虚拟ip,真实ip对应的下层节点的健康状态监测。3、开始配置:LVSDR工作模式31、keepalived的更改健康监测
首先我们要更改之前配置的最简keepalived配置,让keepalived能够对结构中所有节点和虚拟ip的健康状态进行监测。更改配置和含义如下:!ConfigurationFileforkeepalivedglobaldefs{notificationemail{acassenfirewall。locfailoverfirewall。locsysadminfirewall。loc}notificationemailfromAlexandre。Cassenfirewall。locsmtpserver192。168。200。1smtpconnecttimeout30routeridLVSDEVEL}vrrpinstanceVI1{141节点设置为MASTER,142或者还有其他的节点设置为BACKUP还记得我们前面文章讲到的无抢占设置吗?这里也可以用哦。stateMASTER网络适配器名称interfaceeth0virtualrouterid51所有的SLAVE节点的优先级都要比这个设置值低priority120advertint1真实ip,142要改成相应的lvs节点真实ipmcastsrcip192。168。220。141authentication{authtypePASSauthpass1111}虚拟浮动IPvirtualipaddress{192。168。220。140}}virtualserver192。168。220。14080{健康时间检查,单位秒delayloop6负载均衡调度算法wlcrr,和您将使用的LVS的调度算法保持原则一致lbalgorr负载均衡转发规则DRNATTUN。和您将启动的LVS的工作模式设置一致lbkindDR虚拟地址的子网掩码natmask255。255。255。0会话保持时间,因为我们经常使用的是无状态的集群架构,所以这个设置可有可无persistencetimeout50转发协议,当然是TCPprotocolTCP真实的下层Nginx节点的健康监测realserver192。168。220。13180{节点权重,weight10设置检查方式,可以设置HTTPGETSSLGETHTTPGET{url{pathdigestff20ad2481f97b1754ef3e12ecd3a9cc}超时时间,秒。如果在这个时间内没有返回,则说明一次监测失败connecttimeout3设置多少次监测失败,就认为这个真实节点死掉了nbgetretry3重试间隔delaybeforeretry3}}realserver192。168。220。13280{weight10HTTPGET{url{pathdigest640205b7b0fc66c1ea91c463fac6334d}connecttimeout3nbgetretry3delaybeforeretry3}}}
这样一来,keepalived就可以检查整个架构中的所有节点状态了。另外要说明的是,这个检查过程并不是必须的,您使用keepalived的最简配置也是可以的,不过您就需要自己写监测脚本了(道理是一样的)。32、启动两个LVS节点
启动LVS的过程就太简单了(两个节点都是一样的启动方式):〔rootlvs2〕ipvsadmC〔rootlvs2〕ipvsadmAt192。168。220。140:80srr〔rootlvs2〕ipvsadmat192。168。220。140:80r192。168。220。131g〔rootlvs2〕ipvsadmat192。168。220。140:80r192。168。220。132g〔rootlvs2〕然后我们可以使用ipvsadm监控目前LVS的状态〔rootlvs2〕ipvsadm
注意:处于standby的lvs1节点也要这样进行设置。
还有,以上的LVS的设置,和realserver上的设置,在重启后都会消失,所以一定要做成脚本哦。4、验证工作
这样LVSKeepalivedNginx方式的配置就做完了。现在我们进行搭建效果的监测:41、验证MasterLVS节点的工作
我们使用两个不同的浏览器,验证MasterLVS节点的工作:
浏览器1:
浏览器2:
看来140这个VIP下的LVS工作是正常的。42、验证MasterLVS节点停止后的效果
下面我们停止MasterLVS1:〔rootlvs2〕servicekeepalivedstop
在经历了一些访问停顿后,浏览器1显示的效果如下(这就是为什么keepalived最好设置为非抢占模式):
5、后文介绍
好了,到这里负载均衡层所使用的几个标准工具就介绍完了。下一篇文章我们将进行总结,然后进入架构设计:业务层设计方案的系列文章。在下一个系列文章中,我们将介绍至少两套SOA的实现、至少两套系统间通信使用的消息队列。哦,应我朋友的要求,我会专门写几篇文章,介绍Java中线程的基础知识和进阶知识。
如果本文对你有帮助,别忘记给我个3连,点赞,转发,评论,
咱们下期见!学习更多JAVA知识与技巧,关注与私信博主(666)