K8s最小集群安装教程总结

　　此篇教程80%的内容都来自于 CentOS搭建K8S，一次性成功，收藏了！ - 51CTO.COM 这篇文章，我的安装步骤完全来自遵从这篇教程，但是在实际安装过程中遇到很多坑，然后不断跳坑，这篇教程就是对原教程的一些遗漏的步骤和细节进行补充，对过时的资源更新。确保按下面的步骤一定能安装成功。另外不想折腾的同学可以找我要已经安装好的虚拟机备份文件，上面已经搭建好了集群，安装好了docker私有镜像服务，并且已经运行了一个demo服务 一、准备设备请提前准备好至少两台CentOS设备（k8s至少需要一台master管理节点和一台node工作节点），确保两台机器网络互通并都能访问外网。 节点机器要求：CPU不能低于2核、内存不低于2G、IP最好固定（否则装好重启又需要改配置..） 建议分别为两台机器设置不同的hostname，方便管理和k8s识别 #主节点 hostnamectl set-hostname kube.master #子节点 hostnamectl set-hostname kube.slave1
　　我的环境： 操作系统：win10 虚拟机：Hyper-V linux发行版：CentOS7 linux内核(使用uname -r查看)：3.10.0-957.el7.x86_64 master和node节点通信的ip(master)：192.168.137.137 二. 为什么是k8s v1.16.0？
　　最新版的v1.16.2试过了，一直无法安装完成，安装到kubeadm init那一步执行后，报了很多错，如：node xxx not found等。centos7都重装了几次，还是无法解决。用了一天都没安装完，差点放弃。后来在网上搜到的安装教程基本都是v1.16.0的，我不太相信是v1.16.2的坑所以先前没打算降级到v1.16.0。没办法了就试着安装v1.16.0版本，竟然成功了。记录在此，避免后来者踩坑。
　　本篇文章，安装大步骤如下： 安装docker-ce 18.09.9（所有机器） 设置doker的cgroup驱动程序为systemd（所有机器） 设置k8s环境前置条件（所有机器） 安装k8s v1.16.0 master管理节点 安装k8s v1.16.0 node工作节点 安装flannel（master）
　　这里有重要的一步，请记住自己master和node之间通信的ip，如我的master的ip为192.168.137.137，node的ip为：192.168.137.138. 请确保使用这两个ip在master和node上能互相ping通，这个master的ip 192.168.137.137接下来配置k8s的时候需要用到。 三. 安装docker-ce 18.09.9（所有机器）1、所有安装k8s的机器都需要安装docker，命令如下：# 安装docker所需的工具   yum install -y yum-utils device-mapper-persistent-data lvm2   # 配置阿里云的docker源   yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo   # 指定安装这个版本的docker-ce   yum install -y docker-ce-18.09.9-3.el7  # 启动docker 并设置为开机启动 systemctl enable docker && systemctl start docker 2、设置doker的cgroup驱动程序为systemd（官方建议使用此驱动）
　　打开配置文件 vim /etc/docker/daemon.json
　　写入如下内容 {  ＂exec-opts＂:[＂native.cgroupdriver=systemd＂] }
　　重启docker systemctl restart docker  systemctl status docker 四. 设置k8s环境准备条件（所有机器）
　　安装k8s的机器需要2个CPU和2g内存以上，这个简单，在虚拟机里面配置一下就可以了。然后执行以下脚本做一些准备操作。所有安装k8s的机器都需要这一步操作。 # 关闭防火墙   systemctl disable firewalld   systemctl stop firewalld    # 关闭selinux   # 临时禁用selinux   setenforce 0   # 永久关闭 修改/etc/sysconfig/selinux文件设置   sed -i ＂s/SELINUX=permissive/SELINUX=disabled/＂ /etc/sysconfig/selinux   sed -i ＂s/SELINUX=enforcing/SELINUX=disabled/g＂ /etc/selinux/config    # 禁用交换分区   swapoff -a   # 永久禁用，打开/etc/fstab注释掉swap那一行。   sed -i ＂s/.*swap.*/#&/＂ /etc/fstab    # 修改内核参数   cat <  /etc/sysctl.d/k8s.conf   net.bridge.bridge-nf-call-ip6tables = 1   net.bridge.bridge-nf-call-iptables = 1   EOF  sysctl --system 五. 安装k8s v1.16.0 master管理节点1、安装kubeadm、kubelet、kubectl
　　由于官方k8s源在google，国内无法访问，这里使用阿里云yum源 # 执行配置k8s阿里云源   cat < /etc/yum.repos.d/kubernetes.repo   [kubernetes]   name=Kubernetes   baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/   enabled=1   gpgcheck=1   repo_gpgcheck=1   gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg   EOF    # 安装kubeadm、kubectl、kubelet   yum install -y kubectl-1.16.0-0 kubeadm-1.16.0-0 kubelet-1.16.0-0    # 启动kubelet服务 并设置为开机启动   systemctl enable kubelet && systemctl start kubelet 2、 初始化k8s
　　以下这个命令开始安装k8s需要用到的docker镜像，因为无法访问到国外网站，所以这条命令使用的是国内的阿里云的源(registry.aliyuncs.com/google_containers)。
　　另一个非常重要的是：这里的--apiserver-advertise-address使用的是master和node间能互相ping通的master 的ip，我这里是192.168.137.137 。 # 下载管理节点中用到的6个docker镜像，你可以使用docker images查看到   # 这里需要大概两分钟等待，会卡在[preflight] You can also perform this action in beforehand using ＂＂kubeadm config images pull   kubeadm init --image-repository registry.aliyuncs.com/google_containers --kubernetes-version v1.16.0 --apiserver-advertise-address 192.168.99.104 --pod-network-cidr=10.244.0.0/16 --token-ttl 0
　　上面安装完后，会提示你输入如下命令，复制粘贴过来，执行即可。 # 上面安装完成后，k8s会提示你输入如下命令，执行   mkdir -p $HOME/.kube   sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config   sudo chown $(id -u):$(id -g) $HOME/.kube/config3、记住node加入集群的命令
　　上面kubeadm init执行成功后会返回给你node节点加入集群的命令 (kubeadm join 192.168.137.137:6443 --token txkiqp.ov9fuam2qailbcce --discovery-token-ca-cert-hash sha256:xxxxxx)，等会要在node节点上执行，需要保存下来，如果忘记了，可以使用如下命令获取。kubeadm token create --print-join-command
　　以上，安装master节点完毕。可以使用kubectl get nodes查看一下，此时master处于NotReady状态，暂时不用管。 六. 安装k8s v1.16.0 node工作节点1、安装kubeadm、kubelet# 执行配置k8s阿里云源   cat < /etc/yum.repos.d/kubernetes.repo   [kubernetes]   name=Kubernetes   baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/   enabled=1   gpgcheck=1  repo_gpgcheck=1   gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg   EOF   # 安装kubeadm、kubelet   yum install -y  kubeadm-1.16.0-0 kubelet-1.16.0-0   # 启动kubelet服务   systemctl enable kubelet && systemctl start kubelet 2、加入集群
　　这里加入集群的命令每个人都不一样，可以登录master节点，使用kubeadm token create --print-join-command 来获取。获取后执行如下。 # 加入集群，如果这里不知道加入集群的命令，可以登录master节点，使用kubeadm token create --print-join-command 来获取   kubeadm join 192.168.137.137:6443 --token txkiqp.ov9fuam2qailbcce --discovery-token-ca-cert-hash sha256:xxxxxx
　　加入成功后，可以在master节点上使用 kubectl get nodes 命令查看到加入的节点 (此时两个节点应该都处于NotReady状态，因为还没有安装网络插件 flannel) 七. 安装flannel（master机器）
　　以上步骤安装完后，机器搭建起来了，但状态还是NotReady状态，master机器需要安装flanneld。 1、下载官方fannel配置文件
　　使用wget命令，地址为：(https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml)，这个地址国内访问不了，所以我把内容复制下来，为了避免前面文章过长，我把它粘贴到文章末尾了。这个yml配置文件中配置了一个国内无法访问的地址(quay.io)，我已经将其改为国内可以访问的地址(quay-mirror.qiniu.com)。我们新建一个kube-flannel.yml文件，复制粘贴该内容即可。
　　实际上原作者改的quay-mirror.qiniu.com地址同样失效了，在这里我也卡了好久，后面通过命令 kubectl get pod -n kube-system 查看到涉及到fannel的两个镜像都处于拉取镜像失败的状态
　　这里提供一个改好可用的 kube-flannel.yml 文件如下：
　　2、安装fannelkubectl apply -f kube-flannel.yml八. 大功告成
　　至此，k8s集群搭建完成，如下图节点已为Ready状态，大功告成，完结撒花。
　　九. 附录 - 安装过程中遇到的常见问题和解决方法查询kubectl 日志 - 一直处于NotReady状态时通过查询kubelet日志排查问题所在 journalctl -u kubelet | tail -n 300Hyper-V虚拟机静态网络设置 - 建议直接不要用defaul虚拟网关（会造成子节点一直不能链接到master节点） 只用下 文中新建的一个内网虚拟网关
　　https://www.shangmayuan.com/a/0de8821cd72e4e649b8ace0d.html 查询kubectl 日志包含异常 ＂cgroupfs＂ as the Docker cgroup driver ＂systemd＂.
　　设置doker的cgroup驱动程序为systemd 见上文（三.2） 查询kubectl 日志包含异常 misconfiguration: kubelet cgroup driver: ＂cgroupfs＂ is different from
　　https://www.cnblogs.com/fat-girl-spring/p/14542336.html 一直NotReady排查，确认没有上文的几种问题后再通过下面的方式排查
　　https://blog.csdn.net/yrx420909/article/details/105667618/