kubernetes系列之 service代理模式ipvs
环境信息：
集群网络：10.244.0.0/16
Service网络： 10.243.0.0/16
节点： 172.16.20.120 , 集群网络： 10.244.5.0/24 , cni0: 10.244.5.1/24 ，flannel.1: 10.244.5.0/32
节点： 172.16.20.121 , 集群网络： 10.244.3.0/24 , cni0: 10.244.3.1/24 , flannel.1: 10.244.3.0/32
Service是由kube-proxy组件实现，而kube-proxy支持多种负载均衡机制，今天讲ipvs模式在kubenertes中的应用。
修改ipvs模式：
kubectl edit configmap kube-proxy -n kube-system mode: "ipvs"
kube-proxy不能动态生效，需要删除kube-proxy，后才会生效
kubectl delete pod kube-proxy-xxx -n kube-system
我们写一个测试yml文件 nginx-deploy-svc.yml，如下：
apiVersion: apps/v1
kind: Deployment
metadata:
labels:
app: lvs-test
name: lvs-deploy-test
spec:
replicas: 3
selector:
matchLabels:
app: lvs-test
template:
metadata:
labels:
app: lvs-test
spec:
containers:
- image: nginx
name: lvs-pod-test
restartPolicy: Always
---
apiVersion: v1
kind: Service
metadata:
labels:
app: lvs-test
name: lvs-svc-test
spec:
ports:
- port: 8880
protocol: TCP
targetPort: 80
selector:
app: lvs-test
type: NodePort部署
kubectl apply -f nginx-deploy-svc.yml
获取svc/deploy/pod
# kubectl get svc,pod,deploy -l app=lvs-test -o wide NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE SELECTOR service/lvs-svc-test NodePort 10.243.21.14 <none> 8880:30981/TCP 25m app=lvs-test NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES pod/lvs-deploy-test-5944d4f9dc-2ljcw 1/1 Running 0 28m 10.244.5.23 cvm-120 <none> <none> pod/lvs-deploy-test-5944d4f9dc-h8l8x 1/1 Running 0 28m 10.244.5.24 cvm-120 <none> <none> pod/lvs-deploy-test-5944d4f9dc-wpqtc 1/1 Running 0 28m 10.244.3.32 cvm-121 <none> <none> NAME READY UP-TO-DATE AVAILABLE AGE CONTAINERS IMAGES SELECTOR deployment.apps/lvs-deploy-test 3/3 3 3 28m lvs-pod-test nginx app=lvs-test
获取svc详情
# kubectl describe service/lvs-svc-test
Name: lvs-svc-test
Namespace: default
Labels: app=lvs-test
Annotations: kubectl.kubernetes.io/last-applied-configuration:
{"apiVersion":"v1","kind":"Service","metadata":{"annotations":{},"labels":{"app":"lvs-test"},"name":"lvs-svc-test","namespace":"default"},...
Selector: app=lvs-test
Type: NodePort
IP: 10.243.21.14
Port: <unset> 8880/TCP
TargetPort: 80/TCP
NodePort: <unset> 30981/TCP
Endpoints: 10.244.3.32:80,10.244.5.23:80,10.244.5.24:80
Session Affinity: None
External Traffic Policy: Cluster
Events: <none>从上面可以看到访问宿主机+30981 （网络可达宿主机就行），访问 10.243.21.14:8880 （由于是vip，非集群主机不能访问，只能集群内部访问） 时会转发流量到 10.244.3.32:80,10.244.5.23:80,10.244.5.24:80。 那这种转发是如何实现的了？
我们查看lvs
# ipvsadm -L -n (省略部分输出) Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConn TCP 10.243.21.14:8880 rr -> 10.244.3.32:80 Masq 1 0 0 -> 10.244.5.23:80 Masq 1 0 0 -> 10.244.5.24:80 Masq 1 0 0
再查看ipvsadm帮助
# ipvsadm -L -n --gatewaying -g gatewaying (direct routing) (default) # DR --ipip -i ipip encapsulation (tunneling) # TUN --masquerading -m masquerading (NAT) # NAT # man ipvsadm rr - Round Robin: distributes jobs equally amongst the available real servers. # 轮询
可以看到这里ipvs使用的是NAT模式（NAT模式可参考其他文章）。
测试，在172.16.20.120 执行 curl http://10.243.21.14:8880 ,在各机器抓包
172.16.20.121：flannel.1 , 看到的是10.244.5.0 -> 10.244.3.32:80
172.16.20.121: eth0 , 看到的是 172.16.20.120 -> 172.16.20.121:8472 是flannel进程的端口 ， udp ，这里有一个OTV ，可以网上查一查
172.16.20.120： flannel.1 ，和 172.16.20.121 flannel.1看到的是一样的。
再查看nat转发表， 可以看到这是fullnat转发。 另外两台是lvs转发给5.24和5.23的，这是120本地的容器。
执行curl的大致过程如下：
120机器 请求发起：10.243.21.14:48480->10.243.21.14:8880 IPVS-轮询，目标为：10.244.3.32:80 根据路由表，下一跳为 10.244.3.0 ，出口为flannel.1 ,flannel.1的ip地址为10.244.5.0 #10.244.3.0 10.244.3.0 255.255.255.0 UG 0 0 0 flannel.1 根据FULLNAT：10.244.5.0:48480->10.244.3.32:80 （称为：原始包）, 并记录nat表。# ipv4 2 tcp 6 112 TIME_WAIT src=10.243.21.14 dst=10.243.21.14 sport=48480 dport=8880 src=10.244.3.32 dst=10.244.5.0 sport=80 dport=48480 [ASSURED] mark=0 zone=0 use=2 根据etcd学习到的 10.244.3.0的mac地址为ee:d6:38:55:d5:c7 ，封装vxlan , 包格式： vni| 10.244.5.0的mac , 10.244.3.0的mac | 原始ip包 。 （称为：vxlan包） # 10.244.3.0 ether ee:d6:38:55:d5:c7 CM flannel.1 根据etcd学习到 10.244.3.0在172.16.20.121节点， 封装udp包， udp端口 8472. 包格式： udp封装部分 | xvxlan包 。 121机器收到包，过程也一样，目标为121，接收，端口为 8472 ，接收 ， 解封装， 目标mac为3.0的，接收，解封装，目标为 3.32 ,到达目的地。 反包这里就不再抒写了。 120接到回包解封装后，为10.243.3.32:80 -> 10.244.5.0:48480 ,寻找NAT标， 转发给 10.243.21.14L48480， curl进程接收， 结束。
再测试，从121节点上的 busybox容器 telnet 10.243.21.14 8880
在121节点， flannel.1抓包， 看到的是10.244.3.10:59528 (busybox) -> 10.244.5.23:80
在121节点，查看nat表
在120节点，eth0抓包，172.16.20.121.50813 > 172.16.20.120.8472 ， 有一层udp封装
这里只做了目标地址转换， 因为10.244.3.10在各节点是可达的（通过flannel网络可达）