kubeadm部署K8S

hubanbei00的家园

2020-01-21

一、K8S的搭建

0、准备

网络地址：
节点网络：10.201.106.0/24
Service网络：10.96.0.0/12
Pod网络（flannel默认网段）：10.244.0.0/16

节点功能：
master1（10.201.106.131）：master节点，etcd
master2（10.201.106.132）：node1节点
master3（10.201.106.133）：node2节点

预配置：
1、NTP时间同步
2、基于主机名通信：/etc/hosts
3、关闭firewalld和iptables.service
4、所有节点关闭swap，打开内生桥接功能，需要重启：
[ ~]# vim  /usr/lib/sysctl.d/00-system.conf

net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.bridge.bridge-nf-call-arptables = 1


备注：通过微软镜像源，快速拉取镜像，小工具azk8spull安装
git clone https://github.com/xuxinkun/littleTools
cd littleTools
chmod +x install.sh
./install.sh
source /etc/profile

0.1 设置阿里云镜像

设置docker镜像源：
地址：https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

master1设置docker镜像源：
[ yum.repos.d]# wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo


设置k8s镜像源：
master1设置K8S镜像
[ yum.repos.d]# vim kubernetes.repo

[kubernetes]
name=Kubernetes Repo
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
enabeld=1

0.2 将master上的docker和k8s镜像源文件拷贝到两个node节点

[ yum.repos.d]# scp docker-ce.repo kubernetes.repo master2:/etc/yum.repos.d/

[ yum.repos.d]# scp docker-ce.repo kubernetes.repo master3:/etc/yum.repos.d/

1、安装K8S

1.1 master节点安装docker和k8s的rpm包

默认安装最新版本：
[ ~]# yum install docker-ce kubeadm kubectl kubelet

如需指定版本：
[ ~]# yum install docker-ce-18.06.3.ce-3.el7 kubeadm-1.13.6-0 kubectl-1.13.6-0 kubelet-1.13.6-0

设置服务自启动：
[ ~]# systemctl enable docker
[ ~]# systemctl enable kubelet

1.2 master节点docker设置

设置服务启动脚本（设置镜像源）
[ ~]# vim /usr/lib/systemd/system/docker.service

# for containers run by docker
Environment="HTTPS_PROXY=http://www.ik8s.io:10080"
Environment="NO_PROXY=127.0.0.0/8,10.201.106.0/24"

启动docker服务：
[ ~]# systemctl daemon-reload
[ ~]# systemctl start docker

查看设置
[ ~]# docker info | grep Proxy
HTTPS Proxy: http://www.ik8s.io:10080
No Proxy: 127.0.0.0/8,10.201.106.0/24

如代理无法下载，使用微软镜像下载：
kubeadm config images list
azk8spull k8s.gcr.io*

1.3 master节点初始化

查看kubelet生成文件：
[ ~]# rpm -ql kubelet

查看kudeadm帮助：
[ ~]# kubeadm init --help

忽略swap报错设置（若已关闭swap可不做）：
[ ~]# vim /etc/sysconfig/kubelet 

KUBELET_EXTRA_ARGS="--fail-swap-on=false"

重要：开始初始化master节点：
[ ~]# kubeadm init --kubernetes-version=v1.14.2 --pod-network-cidr=10.244.0.0/16 --service-cidr=10.96.0.0/12 --ignore-preflight-errors=Swap


（记录下来）得到输出，用于node节点加入主节点认证：
kubeadm join 10.201.106.131:6443 --token 27ojcb.sc3hc3e43rru0zu5 --discovery-token-ca-cert-hash sha256:9b68cf142c04ba3508af6fe7fb89fe268ddc751b37ff435669f39e7906e76e

重要：拷贝配置文件并更改权限（该配置文件包含认证证书信息）：
[ ~]# mkdir -p $HOME/.kube
[ ~]# cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
[ ~]# chown $(id -u):$(id -g) $HOME/.kube/config

查看信息：
查看组件状态信息
[ ~]# kubectl get cs
NAME                 STATUS    MESSAGE             ERROR
scheduler            Healthy   ok                  
controller-manager   Healthy   ok                  
etcd-0               Healthy   {"health":"true"}   
[ ~]# kubectl get componentstatus

查看集群节点信息：
[ ~]# kubectl get nodes
NAME          STATUS     ROLES    AGE   VERSION
master1.com   NotReady   master   82m   v1.14.2

1.4 设置网络插件

下载flannel（基于清单下载部署，默认下载最新版本）：
地址：https://github.com/coreos/flannel

部署flannel
[ ~]# kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

等待初始化完成，可以看到pod节点：
[ ~]# kubectl get nodes
NAME          STATUS   ROLES    AGE    VERSION
master1.com   Ready    master   119m   v1.14.2
查看kube-system名称空间：
[ ~]# kubectl get pods -n kube-system
NAME                                  READY   STATUS    RESTARTS   AGE
coredns-fb8b8dccf-8ms4d               1/1     Running   0          120m
coredns-fb8b8dccf-wb97j               1/1     Running   0          120m
etcd-master1.com                      1/1     Running   0          119m
kube-apiserver-master1.com            1/1     Running   0          119m
kube-controller-manager-master1.com   1/1     Running   0          119m
kube-flannel-ds-amd64-z7vjw           1/1     Running   0          17m
kube-proxy-xkhhn                      1/1     Running   0          120m
kube-scheduler-master1.com            1/1     Running   0          119m

查看集群中名称空间状态：
[ ~]# kubectl get ns
NAME              STATUS   AGE
default           Active   122m
kube-node-lease   Active   122m
kube-public       Active   122m
kube-system       Active   122m

1.5 初始化Node节点

从master1复制docker服务文件覆盖master2,3节点：
[ ~]# scp /usr/lib/systemd/system/docker.service master2:/usr/lib/systemd/system/docker.service
[ ~]# scp /usr/lib/systemd/system/docker.service master3:/usr/lib/systemd/system/docker.service

从master1复制kubelet配置文件：
[ ~]# scp /etc/sysconfig/kubelet master2:/etc/sysconfig/
[ ~]# scp /etc/sysconfig/kubelet master3:/etc/sysconfig/

node1配置：
安装docker和kubelet：
[ ~]# yum install docker-ce kubelet kubeadm
[ ~]# systemctl enable docker
[ ~]# systemctl enable kubelet

node1启动docker服务：
[ ~]# systemctl daemon-reload
[ ~]# systemctl restart docker


node1加入k8s集群（如果网络无法下载镜像，通过微软镜像（azk8spull）导入kube-proxy，flannel，pause三个镜像）
[ ~]# kubeadm join 10.201.106.131:6443 --token 27ojcb.sc3hc3e43rru0zu5     --discovery-token-ca-cert-hash sha256:9b68cf142c04ba3508af6fe7fb89fe268ddc751b37ff435669f39e7906e76ea1


等待node1节点下载好kube-proxy，flannel，pause三个镜像并启动容器后在master节点查看状态：
[ ~]# kubectl get node
NAME          STATUS   ROLES    AGE     VERSION
master1.com   Ready    master   4h24m   v1.14.2
master2.com   Ready    <none>   9m27s   v1.14.2


查看pods：
[ ~]# kubectl get pods -n kube-system -o wide
NAME                                  READY   STATUS    RESTARTS   AGE     IP               NODE          NOMINATED NODE   READINESS GATES
coredns-fb8b8dccf-8ms4d               1/1     Running   3          4h25m   10.244.0.6       master1.com   <none>           <none>
coredns-fb8b8dccf-wb97j               1/1     Running   2          4h25m   10.244.0.5       master1.com   <none>           <none>
etcd-master1.com                      1/1     Running   1          4h25m   10.201.106.131   master1.com   <none>           <none>
kube-apiserver-master1.com            1/1     Running   1          4h25m   10.201.106.131   master1.com   <none>           <none>
kube-controller-manager-master1.com   1/1     Running   1          4h25m   10.201.106.131   master1.com   <none>           <none>
kube-flannel-ds-amd64-qr4p6           1/1     Running   0          11m     10.201.106.132   master2.com   <none>           <none>
kube-flannel-ds-amd64-z7vjw           1/1     Running   2          163m    10.201.106.131   master1.com   <none>           <none>
kube-proxy-f86s9                      1/1     Running   0          11m     10.201.106.132   master2.com   <none>           <none>
kube-proxy-xkhhn                      1/1     Running   2          4h25m   10.201.106.131   master1.com   <none>           <none>
kube-scheduler-master1.com            1/1     Running   1          4h25m   10.201.106.131   master1.com   <none>           <none>


node2加入步骤跟node1一样：
[ ~]# kubeadm join 10.201.106.131:6443 --token 27ojcb.sc3hc3e43rru0zu5     --discovery-token-ca-cert-hash sha256:9b68cf142c04ba3508af6fe7fb89fe268ddc751b37ff435669f39e7906e76ea1 --ignore-preflight-errors=Swap

2、K8S应用基础入门

2.1 查看

查看节点详细描述信息：
[ ~]# kubectl describe node master1.com

查看主节点和工作节点版本：
[ ~]# kubectl version

查看整个集群信息：
[ ~]# kubectl cluster-info

2.2 部署应用

2.2.1 创建一个nginx（Pod）

[ ~]# kubectl run --help

尝试创建一个nginx：
[ ~]# kubectl run nginx-deploy --image=nginx:1.14-alpine --port=80 --replicas=1 --dry-run=true

真正创建一个nginx：
[ ~]# kubectl run nginx-deploy --image=nginx:1.14-alpine --port=80 --replicas=1

查看当前系统上已经创建的deployment：
[ ~]# kubectl get deployment
NAME           READY   UP-TO-DATE   AVAILABLE   AGE
nginx-deploy   1/1     1            1           23m


查看Pod：
[ ~]# kubectl  get pods
NAME                           READY   STATUS    RESTARTS   AGE
nginx-deploy-55d8d67cf-r2rwn   1/1     Running   0          23m

查看属于哪个节点：
[ ~]# kubectl  get pods -o wide
NAME                           READY   STATUS    RESTARTS   AGE   IP           NODE          NOMINATED NODE   READINESS GATES
nginx-deploy-55d8d67cf-r2rwn   1/1     Running   0          24m   10.244.1.5   master2.com   <none>           <none>

其它报错处理

问题1：代理无法拉取镜像

代理如果无法使用，手动拉镜像:
https://blog.csdn.net/sjyu_ustc/article/details/79990858
https://blog.51cto.com/liuzhengwei521/2301497
https://www.cnblogs.com/zxy860320/p/9996109.html
https://blog.csdn.net/Mr_rsq/article/details/84943480
https://blog.51cto.com/purplegrape/2315451

拉镜像：
docker pull mirrorgooglecontainers/kube-apiserver:v1.13.6
docker pull mirrorgooglecontainers/kube-controller-manager:v1.13.6
docker pull mirrorgooglecontainers/kube-scheduler:v1.13.6
docker pull mirrorgooglecontainers/kube-proxy:v1.13.6
docker pull mirrorgooglecontainers/pause:3.1
docker pull mirrorgooglecontainers/etcd:3.2.24
docker pull coredns/coredns:1.2.6
docker pull quay.io/coreos/flannel:v0.10.0-amd64

打标：
docker tag mirrorgooglecontainers/kube-apiserver:v1.13.6 k8s.gcr.io/kube-apiserver:v1.13.6
docker tag mirrorgooglecontainers/kube-controller-manager:v1.13.6 k8s.gcr.io/kube-controller-manager:v1.13.6
docker tag mirrorgooglecontainers/kube-scheduler:v1.13.6 k8s.gcr.io/kube-scheduler:v1.13.6
docker tag mirrorgooglecontainers/etcd:3.2.24 k8s.gcr.io/etcd:3.2.24                                                                                                    docker tag coredns/coredns:1.2.6 k8s.gcr.io/coredns:1.2.6
docker tag anjia0532/pause:3.1 k8s.gcr.io/pause:3.1
docker tag mirrorgooglecontainers/kube-proxy:v1.13.6 k8s.gcr.io/kube-proxy:v1.13.6

拉取：
kubeadm config images list |sed -e ‘s/^/docker pull /g‘ -e ‘s#k8s.gcr.io#mirrorgooglecontainers#g‘ | sh -x

docker pull coredns/coredns:1.3.1 k8s.gcr.io/coredns:1.3.1

打标：
docker images |grep mirrorgooglecontainers |awk ‘{print "docker tag",$1":"$2,$1":"$2}‘ |sed -e ‘s#mirrorgooglecontainers#k8s.gcr.io#2‘ |sh -x

docker tag coredns/coredns:1.3.1 k8s.gcr.io/coredns:1.3.1

删除旧镜像：
docker images |grep mirrorgooglecontainers |awk ‘{print "docker rmi -f", $1":"$2}‘ |sh -x

问题2：docker存储报错处理链接：

https://cloud.tencent.com/info/bfe4fa029038643970af08b6f13624c8.html

问题3：cgroup不一致报错（如果无法解决，建议使用centos7.4以上系统，最新系统更好）：

https://blog.csdn.net/Andriy_dangli/article/details/85062983

[ ~]# vi /etc/docker/daemon.json 
{
  "exec-opts": ["native.cgroupdriver=systemd"]
}

[ ~]# vi /etc/systemd/system/kubelet.service.d/10-kubeadm.conf

Environment="KUBELET_KUBECONFIG_ARGS=--bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf --cgroup-driver=cgroupfs"

通过阿里云镜像下载K8S镜像

https://blog.csdn.net/zsd498537806/article/details/85157560

k8s kubernetes docker 镜像 repo

hubanbei00的家园

0 关注 0 粉丝 0 动态

关注关注

面试问到了K8S原理，花5分钟来总结下，以后再也不怕了

K8S现在是一项必会的技能，它为软件工程师提供了强大的容器编排能力，模糊了开发和运维之间的边界，让我们开发、管理和维护一个大型的分布式系统和项目变得更加容易，并且每次面试多多少少都会问到，笔者也是被问到了很多次。本文就准备用最短的篇幅来介绍下K8S的工作过

kunyus 2020-10-28

解放开发者！3款工具实现快速K8S开发

时至今日，Kubernetes正在变得越来越重要，不仅仅是运维需要Kubernetes，在开发的世界里Kubernetes也不可或缺。因此能够熟练掌握Kubernetes知识会备受追捧。然而问题是，开发人员是否需要直接上手操作Kubernetes，他们是否

hubanbei00的家园 2020-10-25

Linux基金会开源软件大学技术公开课丨K8s必备技能攻略

随着云开发向容器方面转移，Kubernetes等与容器相关的技术已成为当下技术人员的必备技能。数字时代，许多企业及其所服务的客户正在探寻更灵活、更快交付，且在私有云、混合云，甚至多云环境下都能快速部署或运行的软件及系统。此外，应用Kubernetes还能带

btqszl 2020-10-21

Kubernetes(一)概念介绍

Kubernetes这个名字起源于希腊语，意思是舵手，由于k到s之间有8个字符又简称k8s。Google在2014年开源了Kubernetes项目，基于容器技术的分布式管理系统，在Docker技术的基础上，为容器化的应用提供部署运行、资源调度、服务发现和动

shurenyun 2020-08-19

kubernetes(十五) kubernetes 运维

cicd方案：gitlab，build, harbor, jenkins-master-slave,helm发布到k8s集群。$ mkdir ~/binary_pkg && cd binary_pkg #提供所需的软件包。$ cd

CurrentJ 2020-08-18

CentOS搭建K8S，一次性成功，收藏了！

一. 为什么是k8s v1.16.0？最新版的v1.16.2试过了，一直无法安装完成，安装到kubeadm init那一步执行后，报了很多错，如：node xxx not found等。centos7都重装了几次，还是无法解决。用了一天都没安装完，差点放弃

88427810 2020-11-02

一个小需求，自动重启k8s集群中日志不刷新的POD

日常工作中，所有项目都不是完美的，笔者就经常遇到这种情况，pod状态是running，但是程序却没有响应。发生这种情况的原因有很多种，有可能是因为k8s健康检查的原因，比如使用ps检查进程;或者是程序内部死循环，但是不退出;再或者网络闪断，程序无法重连等等

XiaoMuFireAnt 2020-09-02

Docker和k8s的故障排除和监控利器 Weave-Scope服务

[ scope-1.11.0]# mv scope /usr/local/bin/ # 将该命令移到指定目录。[ ~]# scope launch 192.168.171.151 192.168.171.150 #

hegaoye0 2020-08-18

使用Rancher在K8S上部署高性能PHP应用程序的教程

PHP是网络上最流行的编程语言之一，许多被广泛使用的内容管理系统都使用它开发，如WordPress和Drupal，并为现代服务器端框架提供核心代码。尽管PHP很受欢迎，但是其缓慢和难以维护也是众所周知的。近几年这两个毛病已经没有那么严重了，但是高性能的PH

WFMoonlight 2020-08-17

kubernetes(十三) k8s 业务上线流程（手动版）

备注：用到的源代码可以联系QQ：122725501 索取即可。传统部署与k8s部署的区别。项目迁移到k8s的流程。Deployment：无状态部署，例如Web，微服务，API. StatefulSet：有状态部署，例如数据库，ZK，ETCD. Daemo

xiunai 2020-08-02

跟着炎炎盐实践k8s---应用部署之Kubernetes Dashboard

Dashboard 介绍仪表板是Kubernetes提供给用户的图形化界面。可以使用仪表板来查看群集上运行的容器应用，以及创建或修改Kubernetes资源，还可以启动滚动更新，重新启动Pod或部署新应用程序，查看日志、事件等。kubectl -n kub

技术积累LZ 2020-07-28

不会Docker和K8S，同事被移出公司群聊

Docker 是容器的代名词，K8S 是容器编排的代名词，这俩近几年在云计算领域非常的火。今天我们通过此文让你10分钟看懂 Docker 和 K8S。2010 年，几个搞 IT 的年轻人，在美国旧金山成立了一家名叫“dotCloud”的公司。这家公司主要

lilygg 2020-07-22

深入掌握K8S Pod

Pod是k8s中最小的调度单元，包含了一个“根容器”和其它用户业务容器。如果你使用过k8s的话，当然会了解pod的基本使用，但是为了更好的应用，你需要深入了解pod的配置、调度、升级和扩缩容等。本文将会更进一步的介绍pod。pod包含一个或多个相对紧密耦合

akcsdno 2020-07-21

21，k8s 监控之Heapster+InfluxDB+Grafana：

Heapster+InfluxDB+Grafana：。[ ~]# cat influxdb.yaml. apiVersion: extensions/v1beta1. kind: Deployment. metadata:. name: monitorin

winc 2020-07-05

k8s 机器搭建之etcd

k8s 集群内部通过https通信的，需要签发两个证书，一个给apiserver另一个给etcd。由于是集群内部使用所以证书自己签发就可以，无需通过正规CA机构购买。证书生成工具有两种openssl 和cfssl ,这里采用的是cfssl ，cfssl 是

Dannyvon 2020-07-04

跟着炎炎盐实践k8s---Kubernetes 1.16.10 二进制高可用集群部署之ETCD部署

###host字段指定授权使用该证书的etcd节点IP或子网列表，需要将etcd集群的3个节点都添加其中。cp etcd-v3.3.13-linux-amd64/etcd* /opt/k8s/bin/

xiunai 2020-07-04

谷粒商城K8s部署中间件(二十八)

按照视频跟着做就行了，其中是nacos比较特殊点，一开始创建的是有状态服务，然后删掉服务，在指定NodePort。下面就简单贴出来几个图，其中里面的命令脚本，我之前的博客也简单记录了一下，可以往前翻翻。

hevenue 2020-06-28

kubernetes(六) 基于kubeadm构建高可用k8s集群

k8s如果向替换CRI的话，只需要讲POD使用相关的容器技术封装即可。service：实现了从宿主机外层访问k8s内部不同的容器的访问方式，还实现了pod的动态发现；因此可以说Service是k8s内部的负载均衡器。作为集群内部的控制中心，负责集群内部的

xiunai 2020-06-28

kubeadm

　　。kubeadm config images list --kubernetes-version=v1.11.1. kubeadm reset. kubectl get pods -n kube-system. kubectl get pods --a

ajuan 2020-06-25

交付Jenkins 到k8s集群

ssh-keygen -t rsa -b 2048 -C "" -N "" -f /root/.ssh/id_rsa #这个邮箱要用自己的，后面和gitee进行联动。设置容器内的时区。将ssh私钥加入到容器，后来从g

tosim 2020-06-24