云原生稳定性和可扩展性更强的k8s高可用方案讲解与实战操作

　　一、概述
　　在前面我的文章里或者网上其它资料讲高可用方案，基本上大多数使用KeepalivedVIP的方案，但是这种方案并不是最佳的，还有更优的高可用方案，下面将详细介绍。如果小伙伴对k8smasterKeepalivedVIP的方案不了解的，可以参考我这篇文章：云原生Kubernetes（k8s）最完整版环境部署（V1。24。1）
　　二、架构
　　三、开始部署1）节点信息
　　hostname
　　IP
　　角色
　　local168182110
　　192。168。182。110
　　master
　　local168182111
　　192。168。182。110
　　node
　　local168182112
　　192。168。182。110
　　node
　　local168182113
　　192。168。182。113
　　master
　　local168182130
　　192。168。182。130
　　master2）前期准备（所有节点）1、配置hosts192。168。182。110local168182110192。168。182。111local168182111192。168。182。112local168182112192。168。182。113local168182113192。168。182。130local1681821302、配置互信直接一直回车就行sshkeygensshcopyidi。sshidrsa。pubrootlocal168182110sshcopyidi。sshidrsa。pubrootlocal168182111sshcopyidi。sshidrsa。pubrootlocal168182112sshcopyidi。sshidrsa。pubrootlocal168182113sshcopyidi。sshidrsa。pubrootlocal1681821303、时间同步yuminstallchronyysystemctlstartchronydsystemctlenablechronydsystemctlstatuschronydchronycsources4、关闭防火墙systemctlstopfirewalldsystemctldisablefirewalld5、禁用SELinux临时关闭setenforce0永久禁用sedisSELINUXenforcingSELINUXdisabledetcselinuxconfig6、关闭swap临时关闭；关闭swap主要是为了性能考虑swapoffa可以通过这个命令查看swap是否关闭了free永久关闭sedris。swap。etcfstab7、设置bridgenfcalliptablescatEOFsudoteeetcmodulesload。dk8s。confoverlaybrnetfilterEOFsudomodprobeoverlaysudomodprobebrnetfilter设置所需的sysctl参数，参数在重新启动后保持不变catEOFsudoteeetcsysctl。dk8s。confnet。bridge。bridgenfcalliptables1net。bridge。bridgenfcallip6tables1net。ipv4。ipforward1EOF应用sysctl参数而不重新启动sudosysctlsystem3）安装容器docker（所有节点）配置yum源cdetcyum。repos。d；mkdirbak；mvCentOSLinuxbakcentos7wgetOetcyum。repos。dCentOSBase。repohttp：mirrors。aliyun。comrepoCentos7。repo安装yumconfigmanager配置工具yumyinstallyumutils设置yum源yumconfigmanageraddrepohttp：mirrors。aliyun。comdockercelinuxcentosdockerce。repo安装dockerce版本yuminstallydockerce启动并设置开机自启设置为开机自启并现在立刻启动服务now：立刻启动服务systemctlenablenowdocker查看版本号dockerversion查看版本具体信息dockerversionDocker镜像源设置修改文件etcdockerdaemon。json，没有这个文件就创建配置dockercgroup驱动程序systemd添加以下内容后，重启docker服务：catetcdockerdaemon。jsonEOF｛registrymirrors：〔http：hubmirror。c。163。com〕，execopts：〔native。cgroupdriversystemd〕｝EOF加载systemctlrestartdocker查看systemctlstatusdocker4）配置k8syum源（所有节点）catetcyum。repos。dkubernetes。repoEOF〔k8s〕namek8senabled1gpgcheck0baseurlhttps：mirrors。aliyun。comkubernetesyumreposkubernetesel7x8664EOF5）开始安装kubeadm，kubelet和kubectl（所有节点）查找所有的版本，这里选择1。23。x版本yumshowduplicateslistkubeletdisableexcludeskubernetes：禁掉除了这个kubernetes之外的别的仓库yuminstallykubelet1。23。6kubeadm1。23。6kubectl1。23。6disableexcludeskubernetes设置为开机自启并现在立刻启动服务now：立刻启动服务systemctlenablenowkubelet查看状态，这里需要等待一段时间再查看服务状态，启动会有点慢systemctlstatuskubelet查看版本kubectlversionyuminfokubeadm6）使用kubeadm初始化集群（第一个master节点）
　　最好提前把镜像下载好，这样安装快dockerpullregistry。aliyuncs。comgooglecontainerskubeapiserver：v1。23。6dockerpullregistry。aliyuncs。comgooglecontainerskubecontrollermanager：v1。23。6dockerpullregistry。aliyuncs。comgooglecontainerskubescheduler：v1。23。6dockerpullregistry。aliyuncs。comgooglecontainerskubeproxy：v1。23。6dockerpullregistry。aliyuncs。comgooglecontainerspause：3。6dockerpullregistry。aliyuncs。comgooglecontainersetcd：3。5。10dockerpullregistry。aliyuncs。comgooglecontainerscoredns：v1。8。6
　　集群初始化kubeadminitapiserveradvertiseaddress192。168。182。110imagerepositoryregistry。aliyuncs。comgooglecontainerskubernetesversionv1。23。6controlplaneendpoint192。168。182。110servicecidr10。1。0。016podnetworkcidr10。244。0。016v5imagerepositorystring：这个用于指定从什么位置来拉取镜像（1。13版本才有的），默认值是k8s。gcr。io，我们将其指定为国内镜像地址：registry。aliyuncs。comgooglecontainerskubernetesversionstring：指定kubenets版本号，默认值是stable1，会导致从https：dl。k8s。ioreleasestable1。txt下载最新的版本号，我们可以将其指定为固定版本（v1。22。1）来跳过网络请求。apiserveradvertiseaddress指明用Master的哪个interface与Cluster的其他节点通信。如果Master有多个interface，建议明确指定，如果不指定，kubeadm会自动选择有默认网关的interface。这里的ip为master节点ip，记得更换。podnetworkcidr指定Pod网络的范围。Kubernetes支持多种网络方案，而且不同网络方案对podnetworkcidr有自己的要求，这里设置为10。244。0。016是因为我们将使用flannel网络方案，必须设置成这个CIDR。controlplaneendpointclusterendpoint是映射到该IP的自定义DNS名称，这里配置hosts映射：127。0。0。1clusterendpoint。这将允许你将controlplaneendpointclusterendpoint传递给kubeadminit，并将相同的DNS名称传递给kubeadmjoin。稍后你可以修改clusterendpoint以指向高可用性方案中的负载均衡器的地址。
　　mkdirpHOME。kubesudocpietckubernetesadmin。confHOME。kubeconfigsudochown（idu）：（idg）HOME。kubeconfig
　　查看节点信息kubectlgetnodes
　　发现节点是NotReady状态，查看日志是因为没有装CNI网络插件，接下来就开始安装Calico网络插件，当然也可以选择其它网络插件。7）安装Calico网络插件wgethttps：docs。projectcalico。orgmanifestscalico。yamlkubectlapplyfcalico。yaml查看kubectlgetallnkubesystemgrepcalico等calicopod都正常了，再查看节点状态kubectlgetpodsAkubectlgetnodes
　　8）配置IPVS（所有节点）1、加载ipvs相关内核模块modprobeipvsmodprobeipvsshmodprobeipvsrrmodprobeipvswrr
　　所有节点验证开启了ipvs：lsmodgrepipvs2、安装ipvsadm工具yuminstallipsetipvsadmy3、编辑kubeproxy配置文件，mode修改成ipvskubectleditconfigmapnkubesystemkubeproxy4、重启kubeproxy先查看kubectlgetpodnkubesystemgrepkubeproxy再delete让它自拉起kubectlgetpodnkubesystemgrepkubeproxyawk｛system（kubectldeletepod1nkubesystem）｝再查看kubectlgetpodnkubesystemgrepkubeproxy9）master节点加入集群
　　【问题】
　　Oneormoreconditionsforhostinganewcontrolplaneinstanceisnotsatisfied。unabletoaddanewcontrolplaneinstancetoaclusterthatdoesnthaveastablecontrolPlaneEndpointaddress
　　【解决】添加如下配置：controlPlaneEndpoint：192。192。168。110kubectleditcmkubeadmconfignkubesystem
　　开始执行下面的命令将master节点加入集群在第一个master节点上执行以下获取执行命令证如果过期了，可以使用下面命令生成新证书上传，这里会打印出certificatekey，后面会用到CERTKEYkubeadminitphaseuploadcertsuploadcertstail1其中ttl0表示生成的token永不失效。如果不带ttl参数，那么默认有效时间为24小时。在24小时内，可以无数量限制添加worker。echokubeadmtokencreateprintjoincommandttl0controlplanecertificatekeyCERTKEYv5拿到上面打印的命令在需要添加的节点上执行controlplane标志通知kubeadmjoin创建一个新的控制平面。加入master必须加这个标记certificatekey。。。将导致从集群中的kubeadmcertsSecret下载控制平面证书并使用给定的密钥进行解密。这里的值就是上面这个命令（kubeadminitphaseuploadcertsuploadcerts）打印出的key。mkdirpHOME。kubesudocpietckubernetesadmin。confHOME。kubeconfigsudochown（idu）：（idg）HOME。kubeconfig
　　等网络插件自动安装完后，再查看节点状态kubectlgetnodes
　　10）修改master节点指向自己apiserver1、修改配置cdetckubernetes修改etckubernetesadmin。conf，etckuberneteskubelet。conf文件中的serverip改成127。0。0。1vietckubernetesadmin。confvietckuberneteskubelet。conf覆盖配置cpetckubernetesadmin。conf。kubeconfig2、删除旧的证书，生成新证书cdetckubernetespki先备份mvapiserver。keyapiserver。key。bakmvapiserver。crtapiserver。crt。bak使用如下命令生成，分别在三个master节点上执行kubeadminitphasecertsapiserverapiserveradvertiseaddress192。168。182。110apiservercertextrasans127。0。0。1，10。1。0。1kubeadminitphasecertsapiserverapiserveradvertiseaddress192。168。182。113apiservercertextrasans127。0。0。1，10。1。0。1kubeadminitphasecertsapiserverapiserveradvertiseaddress192。168。182。130apiservercertextrasans127。0。0。1，10。1。0。1apiservercertextrasans127。0。0。1：设置了这个，之后加入节点验证证书阶段就不会报错了。3、修改apiserverkubectlnkubesystemeditcmkubeadmconfigoyaml
　　4、修改kubeprxoy配置kubectleditcmkubeproxyoyamlnkubesystem
　　重启kubectldeletepodnkubesystemkubectlgetpodsnkubesystemgrepkubeproxyawk｛print1｝5、重启docker和kubeletsystemctlrestartdockerkubelet11）node节点上安装nginx
　　这里使用nginx四层代理mvetcyum。repos。dCentOSBase。repoetcyum。repos。dCentOSBase。repo。backupwgetOetcyum。repos。dCentOSBase。repohttp：mirrors。aliyun。comrepoCentos7。repoyummakecacheyuminstallepelreleaseyumyinstallnginxyumyinstallnginxallmodules。noarch
　　配置nginx，在nginx。conf添加如下配置：stream｛实现四层代理功能upstreamkubeapiserver｛定义集群，kubeapiserver是集群名称，可自行定义leastconn；默认调度策略是轮询，在轮询中，如果服务器down掉了，会自动剔除该服务器。serverlocal168182110：6443maxfails3failtimeout30s；集群组是三台服务器k8sapiserver组成serverlocal168182113：6443maxfails3failtimeout30s；serverlocal168182130：6443maxfails3failtimeout30s；｝server｛定义一个服务listen127。0。0。1：6443；需要监听的端口proxypasskubeapiserver；调用集群proxyconnecttimeout10s；连接超时时间proxytimeout300s；端口保持时间｝｝12）node节点加入集群在第一个master节点上执行以下获取执行命令证如果过期了，可以使用下面命令生成新证书上传，这里会打印出certificatekey，后面会用到CERTKEYkubeadminitphaseuploadcertsuploadcertstail1其中ttl0表示生成的token永不失效。如果不带ttl参数，那么默认有效时间为24小时。在24小时内，可以无数量限制添加worker。echokubeadmtokencreateprintjoincommandttl0certificatekeyCERTKEYv5示例如下：kubeadmjoin127。0。0。1：6443tokenesczfh。6ckynzi6wfj8jhnkdiscoverytokencacerthashsha256：bc8fb85184ed235b88afdba38f0a17976d353abb10d0739d25df452745d1eed8certificatekeya126867ad4d91721f157660df77cdea7862ebda8371280c3025c4cc45c23b85fv5
　　修改etckuberneteskubelet。conf配置
　　重启systemctlrestartkubelet
　　等网络插件自动安装完后，再查看节点状态kubectlgetnodeskubectlgetpodsA
　　13）卸载kubeadmresetrmrfetckubernetesrmfr。kubermfrvarlibetcd四、高可用故障模式测试1）master节点故障模拟（一个master故障）关机192。168。182。110showdownhnow在其它master节点上查看节点状态kubectlgetnodes
　　【结论】如上图可知，挂一个master节点不影响集群。2）master节点故障模拟（两个master故障）关机192。168。182。113showdownhnow在其它master节点上查看节点状态kubectlgetnodes
　　【结论】如上图可知，挂两个master节点，整个集群不可用，还是之前说的，三个master节点只允许挂一个master节点，这里就不细说了，可以参考我之前的文章：【云原生】K8Smaster节点更换IP以及master高可用故障模拟测试
　　无VIP稳定性更强的k8s高可用方案讲解就先到这里了，也是我们目前生成环境中使用的方案，小伙伴有任何疑问，欢迎给我留言，后续会持续更新【云原生大数据】相关的文章，请小伙伴耐心等待