从0开始使用kubeadm快速搭建k8s集群

整体架构

 

推荐学习： 

A. https://www.kuboard.cn/ ，也是基于kubeadm安装，提供了一个更nice的dashboard

B.https://www.kubernetes.org.cn/k8s  中文社区文档

 

一.准备工作（所有节点）

1.准备3台虚拟机（克隆）或物理机,1.5GB左右内存（如果资源有限,停止虚拟机其它没必要的服务，停止window没必要的应用，这里master1.5G，node1,node2均1G，勉强可玩），2个CPU及以上（如果1个CPU安装过程中会报错）

2.关闭防火墙：systemctl stop firewalld && systemctl disable firewalld

3.关闭selinux： sed -i 's/enforcing/disabled/' /etc/selinux/config && setenforce 0

4.关闭swap分区：swapoff -a;sed -ri 's/.*swap.*/#&/' /etc/fstab

5.修改hostname:hostnamectl set-hostname xxx  ，分别改为master/node1/node2,并修改hosts文件/etc/hosts ，末尾追加

192.168.154.134 master 192.168.154.135 node1 192.168.154.136 node2

 6.网络配置并使生效

cat > /etc/sysctl.d/k8s.conf << EOF net.bridge.bridge-nf-call-ip6tables = 1 net.bridge.bridge-nf-call-iptables = 1 EOF sysctl --system

二.所有节点安装Docker/kubeadm/kubelet

1.安装docker(1.13版本)或docker-ce(ce社区版)均可

#yum源 yum install -y wget && wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O /etc/yum.repos.d/docker-ce.repo #yum安装 yum -y install docker-ce-18.06.1.ce-3.el7 #启动并开机自启 systemctl enable docker && systemctl start docker #配置镜像加速vim /etc/docker/daemon.json { "registry-mirrors": ["https://5c3uuctj.mirror.aliyuncs.com","https://hub-mirror.c.163.com", "https://reg-mirror.qiniu.com"] } #重启docker systemctl restart docker

2.安装kubeadm，kubelet和kubectl

# yum源 cat > /etc/yum.repos.d/kubernetes.repo << EOF [kubernetes] name=Kubernetes baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64 enabled=1 gpgcheck=0 repo_gpgcheck=0 gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg EOF # yum安装kubelet/kubeadm/kubectl yum install -y kubelet-1.15.0 kubeadm-1.15.0 kubectl-1.15.0 #开机自启kubelet服务，kubeadm是临时的集群安装工具不需要加入自启服务，kubectl是操作k8s集群的命令，也不需要加入自启服务 systemctl enable kubelet

三.使用kubeadm初始化k8s集群（只在master 节点192.168.154.134执行）

这步比较慢，会安装mater节点的etcd,scheduler,apiserver,controller-manager等组件(docker容器)

kubeadm init \ --apiserver-advertise-address=192.168.154.134 \ --image-repository registry.aliyuncs.com/google_containers \ --kubernetes-version v1.15.0 \ --service-cidr=10.1.0.0/16 \ --pod-network-cidr=10.244.0.0/16

按提示创建文件夹并修改文件夹所属用户，kubeadm join xxxx稍后再node1 node2这两个普通节点执行，类似docker swarm

安装flannel网络插件，配置文件

# 下载flannel的yml文件（下不了可使用这个大哥的https://www.lanzous.com/i8jjpij，该文件有点类似docker-compose.yml,里面的image可能拉取不了，可以把该配置项全部替换为lizhenliang/flannel:v0.11.0-amd64，建议直接拉lizhenliang/flannel:v0.11.0-amd64，再把它重新打个tag为需要的那个镜像名——docker tag lizhenliang/flannel:v0.11.0-amd64 quay.io/coreos/flannel:v0.11.0-ppc64le） wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml # 执行这个文件生成flannel的pods kubectl apply -f kube-flannel.yml

四、普通node1，node2加入k8s集群

kubeadm join 192.168.154.134:6443 --token 30mbdv.ocf1kju9qoh8uqem \ --discovery-token-ca-cert-hash sha256:97b3c71e5ae44f0c11a3de8ef65e5eef0d935315a7a1b6ec577a019b861914c3 加入失败尝试：iptables -F && iptables -t nat -F && iptables -t mangle -F && iptables -X

检查一下:kubectl get pods，可能因为网络，或虚拟机资源不够等原因造成普通node长时间NotReady状态

尝试重新加入集群

#在node1执行重置 kubeadm reset #在master执行资源删除，语法：kubectl 操作 资源类型（node/service/pod等） 资源名 kubectl delete node node1 #重新执行加入集群 kubeadm join 192.168.154.134:6443 --token 30mbdv.ocf1kju9qoh8uqem \ --discovery-token-ca-cert-hash sha256:97b3c71e5ae44f0c11a3de8ef65e5eef0d935315a7a1b6ec577a019b861914c3

如果要重置master

kubeadm reset -f modprobe -r ipip lsmod rm -rf ~/.kube/ rm -rf /etc/kubernetes/ rm -rf /etc/systemd/system/kubelet.service.d rm -rf /etc/systemd/system/kubelet.service rm -rf /usr/bin/kube* rm -rf /etc/cni rm -rf /opt/cni rm -rf /var/lib/etcd rm -rf /var/etcd yum remove -y kubelet-1.15.0 kubeadm-1.15.0 kubectl-1.15.0

K8S命令较多，增强tab键提示：echo "source <(kubectl completion bash)" >> ~/.bashrc ，重新ssh登录

五，部署k8s nginx容器进行测试

创建一个nginx容器，暴露为nodePort,并扩容

#创建容器 kubectl create deployment nginx --image=nginx #暴露为service,能通过NodePort直接访问，否则只能通过cluster-ip访问 kubectl expose deployment nginx --port=80 --type=NodePort #查看服务 kubectl get pod,svc #扩容 kubectl scale deployment nginx-deployment --replicas=2 #再次查看pod，可见有两个pod kubectl get pod

查看pods,services

在node1，node2分可以看到均匀分配的两个Nginx

直接访问http://192.168.154.134:31379 或http://192.168.154.135:31379 或http://192.168.154.136:31379均可访问到该Nginx，但是会集中访问到某一Nginx实例，需要负载均衡则需要通过Nginx服务的CLUSTER-IP进行访问（curl 10.1.56.244，docker logs -f nginx的docker容器ID/NAME 查看node1，node2到nginx日志 或kubectl logs -f   nginx的PodName查看日志）

六，安装K8S的dashboard，配置文件

#配置文件参考https://www.lanzous.com/i8jjpij kubectl apply -f kube-dashboard.yml #查看服务，治理需要指明命名空间，默认的default查看不到该服务 kubectl get pods,services -n kube-system

谷歌访问https://192.168.154.134:30001,必须是https

但页面无法访问，需要配置一下https证书

mkdir key && cd key #生成证书 openssl genrsa -out dashboard.key 2048 #我这里写的自己的node1节点，因为我是通过nodeport访问的；如果通过apiserver访问，可以写成自己的master节点ip openssl req -new -out dashboard.csr -key dashboard.key -subj '/CN=192.168.135.129' openssl x509 -req -in dashboard.csr -signkey dashboard.key -out dashboard.crt #删除原有的证书secret kubectl delete secret kubernetes-dashboard-certs -n kube-system #创建新的证书secret kubectl create secret generic kubernetes-dashboard-certs --from-file=dashboard.key --from-file=dashboard.crt -n kube-system #查看pod kubectl get pod -n kube-system #重启pod（删除pod，k8s会重新启动一个pod） kubectl delete pod kubernetes-dashboard-78dc5f9d6b-zgvr6 -n kube-system

再次访问https://192.168.154.134:30001

 

访问dashboard可通过一个token进行访问

kubectl create serviceaccount dashboard-admin -n kube-system kubectl create clusterrolebinding dashboard-admin --clusterrole=cluster-admin --serviceaccount=kube-system:dashboard-admin kubectl describe secrets -n kube-system $(kubectl -n kube-system get secret | awk '/dashboard-admin/{print $1}')

效果预览，感觉没docker swarm那个功能强大

可进行副本集伸缩，新应用部署，操作类似docker swarm

对接CICD，从私库拉取微服务镜像进行部署

另一款非官方dashboard,感觉挺不错https://www.kuboard.cn/install/install-dashboard.html