容器编排系统k8s之Service资源

  • A+
所属分类:linux技术
摘要

  前文我们了解了k8s上的DemonSet、Job和CronJob控制器的相关话题,回顾请参考:https://www.cnblogs.com/qiuhom-1874/p/14157306.html;今天我们来了解下k8s上的service资源的相关话题;

  前文我们了解了k8s上的DemonSet、Job和CronJob控制器的相关话题,回顾请参考:https://www.cnblogs.com/qiuhom-1874/p/14157306.html;今天我们来了解下k8s上的service资源的相关话题;

  Service资源在k8s上主要用来解决pod访问问题;我们知道在k8s上pod由于各种原因重建,对于重建后的podip地址和名称都是变化的,这样一来使得我们访问pod就变得有些不便;为了解决pod访问能有一个固定的端点,在k8s上就是用service来解决的;简单来讲,service对象就是工作在节点上的一组iptables或ipvs规则,用于将到达service对象ip地址的流量调度转发至相应endpoint对象指向的ip地址和端口之上;工作于每个节点的kube-proxy组件通过apiserver持续监控着各service及其关联的pod对象,并将其创建或变动实时反映至当前工作节点上相应的iptables或ipvs规则;其实service和pod或其他资源的关联,本质上不是直接关联,它依靠一个中间组件endpoint;endpoint主要作用就是引用后端pod或其他资源(比如k8s外部的服务也可以被endpoint引用);所谓endpoint就是ip地址+端口;

容器编排系统k8s之Service资源

  提示:在k8s上kube-proxy它会监视着apiserver上的service资源变动,及时将变动转化为本机的iptables或ipvs规则;对应客户端pod访问对应serverpod,报文首先会从本机的iptables或ipvs规则所匹配,然后再由对应规则逻辑把请求调度到对应的pod上;

  service代理模式模式

  在k8s上service代理模式有三种,早期的k8s版本(1.1之前包含1.1的版本)默认的代理模式为userspace,后面的版本(1.11起)默认代理模式为ipvs,如果对应ipvs的模块没有加载,它会自动降级为iptables;

  userspace代理模式

容器编排系统k8s之Service资源

  提示:userspace是指Linux操作系统上的用户空间;在这种代理模型下iptables只是做转发并不调度,对应调度由kube-proxy完成;userspace这种调度模型用户请求从内核空间到用户空间再到内核空间,性能效率比较低下;

  iptables代理模式

容器编排系统k8s之Service资源

  提示:iptables这种代理模式,对于每个service对象,kube-proxy会创建iptables规则直接捕获到达Clusterip和port的流量,并将其重定向至当前service对象的后端pod资源;对于每个endpoint对象,service资源会为其创建iptables规则并关联至挑选的后端pod资源对象;相对于userspace代理模式来说,该模式用户请求无须在用户空间和内核空间来回切换,因此效率高效;此种模式下kube-proxy就只负责生成iptalbes规则,调度有iptables规则完成;

 

   ipvs代理模式

容器编排系统k8s之Service资源

  提示:ipvs代理模式,kube-proxy会跟踪apiserver上service和endpoint对象的变动,据此来调用netlink接口创建ipvs规则,并确保与apiserver中的变动保持同步;这种模式与iptables的模式不同之处仅在于其请求调度由ipvs完成,余下其他功能仍由iptables完成;比如流量捕获,nat等等功能都会由iptables完成;ipvs代理模型类似iptables模型,ipvs构建于netfilter的钩子函数之上,但它使用hash表作为底层数据结构并工作于内核空间,因此具有流量转发速度快,规则同步性能好的特点,除此之外,ipvs还支持众多调度算法,比如rr,lc,sh,dh等等;

   service类型

  在k8s上service的类型有4种,第一种是clusterIP,我们在创建service资源时,如果不指定其type类型,默认就是clusterip;第二种是NodePort类型,第三种是LoadBalancer,第四种是ExternalName;不同类型的service,其功能和作用也有所不同;

  ClusterIP

容器编排系统k8s之Service资源

  提示:如上所示,ClusterIP类型的service就是在k8s节点上创建一个满足serviceip地址的iptables或ipvs规则;这种类型的service的ip地址一定是我们在初始化集群时,指定的service网络(10.96.0.0/12)中的地址;这也意味着这种类型service不能被集群外部客户端所访问,仅能在集群节点上访问;

  NodePort

容器编排系统k8s之Service资源

  提示:NodePort类型的service,是建构在ClusterIP的基础上做的扩展,主要解决了集群外部客户端访问问题;如上图所示,NodePort类型service在创建时,它会每个节点上创建一条DNAT规则,外部客户端访问集群任意节点的指定端口,都会被DNAT到对应的service上,从而实现访问集群内部Pod;对于集群内部客户端的访问它还是通过ClusterIP进行的;NodePort类型service与ClusterIP类型service唯一不同的是,NodePort类型service能够被外部客户端所访问,在集群每个节点上都有对应的DNAT规则;

  LoadBalancer

容器编排系统k8s之Service资源

  提示:LoadBalancer这种类型的service是在NodePort的基础上做的扩展,这种类型service只能在底层是云环境的K8s上创建,如果底层是非云环境,这种类型无法实现,只能手动搭建反向代理进行对NodePort类型的service进行反代;它主要解决NodePort类型service被集群外部访问时的端口映射以及负载;

  ExternalName

容器编排系统k8s之Service资源

  提示:ExternalName这种类型service主要用来解决对应service引用集群外部的服务;我们知道对于service来说,它就是一条iptables或ipvs规则,对于后端引用的资源是什么,取决于对应endpoint关联的是什么资源的ip地址和端口;如果我们需要在集群中使用集群外部的服务,我们就可以创建ExternalName类型的service,指定后端关联外部某个服务端ip地址或域名即可;它的工作流程如上图所示,在集群内部客户端访问对应service时,首先要去core-DNS上查询对应域名的ip地址,然后再根据dns返回的ip地址去连接对应的服务;使用这种类型service的前提是对应的coredns能够连接到外部网络解析对应的域名;

  service资源的创建

  示例:创建ClusterIP类型的service

[root@master01 ~]# cat ngx-dep-svc-demo.yaml apiVersion: v1 kind: Service metadata:   name: ngx-dep-svc   namespace: default spec:   ports:   - name: http     port: 80     targetPort: 80   selector:     app: ngx-dep-pod [root@master01 ~]#  

  提示:在创建service资源时,主要要需要在spec字段中指定port和targetPort,port是service的端口,targetPort是后端资源的端口;其次就是需要定义标签选择器,这里的标签选择器用selector字段指定,它的值是一个字典,即kv键值对;默认不指定type类型就是使用的ClusterIP类型,默认不指定ClusterIP就表示自动生成对应的ClusterIP;

  应用资源清单

[root@master01 ~]# kubectl get svc NAME         TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)   AGE kubernetes   ClusterIP   10.96.0.1    <none>        443/TCP   40h [root@master01 ~]# kubectl apply -f ngx-dep-svc-demo.yaml service/ngx-dep-svc created [root@master01 ~]# kubectl get svc NAME          TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)   AGE kubernetes    ClusterIP   10.96.0.1       <none>        443/TCP   40h ngx-dep-svc   ClusterIP   10.107.159.92   <none>        80/TCP    5s [root@master01 ~]#  

  验证:访问对应的ClusterIP看看是否能够访问到对应的资源?

[root@master01 ~]# curl 10.107.159.92 <!DOCTYPE html> <html> <head> <title>Welcome to nginx!</title> <style>     body {         width: 35em;         margin: 0 auto;         font-family: Tahoma, Verdana, Arial, sans-serif;     } </style> </head> <body> <h1>Welcome to nginx!</h1> <p>If you see this page, the nginx web server is successfully installed and working. Further configuration is required.</p>  <p>For online documentation and support please refer to <a href="http://nginx.org/">nginx.org</a>.<br/> Commercial support is available at <a href="http://nginx.com/">nginx.com</a>.</p>  <p><em>Thank you for using nginx.</em></p> </body> </html> [root@master01 ~]#  

  提示:可以看到访问对应serviceip地址能够访问到对应的pod;

  查看service详细信息

[root@master01 ~]# kubectl describe svc ngx-dep-svc Name:              ngx-dep-svc Namespace:         default Labels:            <none> Annotations:       <none> Selector:          app=ngx-dep-pod Type:              ClusterIP IP Families:       <none> IP:                10.107.159.92 IPs:               10.107.159.92 Port:              http  80/TCP TargetPort:        80/TCP Endpoints:         10.244.2.93:80,10.244.3.86:80,10.244.4.14:80 Session Affinity:  None Events:            <none> [root@master01 ~]#  

  提示:可以看到对应service的type类型为ClusterIP,port为80,targetPort为80,endpoins对应了3个podip地址+targetPort;其实在创建service时,系统默认会创建一个同service相同名称的endpoints;

  查看endpoints

[root@master01 ~]# kubectl get endpoints NAME          ENDPOINTS                                      AGE kubernetes    192.168.0.41:6443                              40h ngx-dep-svc   10.244.2.93:80,10.244.3.86:80,10.244.4.14:80   4m53s [root@master01 ~]# kubectl describe endpoints/ngx-dep-svc Name:         ngx-dep-svc Namespace:    default Labels:       <none> Annotations:  endpoints.kubernetes.io/last-change-trigger-time: 2020-12-20T08:50:52Z Subsets:   Addresses:          10.244.2.93,10.244.3.86,10.244.4.14   NotReadyAddresses:  <none>   Ports:     Name  Port  Protocol     ----  ----  --------     http  80    TCP  Events:  <none> [root@master01 ~]#  

  提示:可以看到ngx-dep-svc这个endpoint关联了3个podip地址;

  示例:创建NodePort类型service

[root@master01 ~]# cat ngx-dep-svc-demo.yaml apiVersion: v1 kind: Service metadata:   name: ngx-dep-svc-nodeport   namespace: default spec:   ports:   - name: http     port: 80     nodePort: 30080     targetPort: 80   selector:     app: ngx-dep-pod   type: NodePort [root@master01 ~]#  

  提示:创建nodeport类型service需要在spec字段中使用type字段来指定其类型为NodePort;只有type的值为NodePort,对应ports字段中指定的nodePort 才有意义,默认不指定它会随机生成一个端口,指定nodePort就相当于固定了端口;通常不建议指定nodePort;

  应用资源配置清单

[root@master01 ~]# kubectl get svc NAME          TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)   AGE kubernetes    ClusterIP   10.96.0.1       <none>        443/TCP   40h ngx-dep-svc   ClusterIP   10.107.159.92   <none>        80/TCP    21m [root@master01 ~]# kubectl apply -f ngx-dep-svc-demo.yaml service/ngx-dep-svc-nodeport created [root@master01 ~]# kubectl get svc NAME                   TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)        AGE kubernetes             ClusterIP   10.96.0.1       <none>        443/TCP        40h ngx-dep-svc            ClusterIP   10.107.159.92   <none>        80/TCP         21m ngx-dep-svc-nodeport   NodePort    10.97.166.233   <none>        80:30080/TCP   4s [root@master01 ~]#  

  提示:可以看到nodeport类型的service,对应port就有两个值,后面的30080就是外部客户端访问集群内部资源的端口;

  验证:使用浏览器访问k8s任意节点的30080端口,看看是否能够访问到对应的pod?

容器编排系统k8s之Service资源

 

  提示:可以看到集群外部客户端可以通过访问集群节点上的一个端口实现访问对应集群内部资源;

  示例:创建无头service

[root@master01 ~]# cat handless-svc-demo.yaml apiVersion: v1 kind: Service metadata:   name: handless-svc-demo    namespace: default spec:   clusterIP: None   ports:   - name: http     port: 80     targetPort: 80   selector:     app: ngx-dep-pod [root@master01 ~]#  

  提示:所谓无头service是指没有clusterIP的service,我们知道clusterip是service作为访问后端pod的入口,那么没有clusterip,它怎么访问后端pod呢?没有ip地址我们只能使用名称来访问;在k8s上无头service默认会被coredns把对应名称的service解析为后端关联的多个pod地址;

  应用资源配置清单

[root@master01 ~]# kubectl get svc NAME                   TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)        AGE kubernetes             ClusterIP   10.96.0.1       <none>        443/TCP        42h ngx-dep-svc            ClusterIP   10.107.159.92   <none>        80/TCP         103m ngx-dep-svc-nodeport   NodePort    10.97.166.233   <none>        80:30080/TCP   82m [root@master01 ~]# kubectl apply -f handless-svc-demo.yaml service/handless-svc-demo created [root@master01 ~]# kubectl get svc NAME                   TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)        AGE handless-svc-demo      ClusterIP   None            <none>        80/TCP         4s kubernetes             ClusterIP   10.96.0.1       <none>        443/TCP        42h ngx-dep-svc            ClusterIP   10.107.159.92   <none>        80/TCP         103m ngx-dep-svc-nodeport   NodePort    10.97.166.233   <none>        80:30080/TCP   82m [root@master01 ~]#  

  提示:可以看到对应service没有clusterIP;

  验证:进入任一pod,使用名称访问service,看看对应名称是否能够访问到pod?

[root@master01 ~]# kubectl get pod NAME                           READY   STATUS    RESTARTS   AGE deploy-demo-6d795f958b-6pjgw   1/1     Running   0          123m deploy-demo-6d795f958b-m4vfb   1/1     Running   0          123m deploy-demo-6d795f958b-qcl6m   1/1     Running   0          123m [root@master01 ~]# kubectl exec -it pod/deploy-demo-6d795f958b-m4vfb -- /bin/sh / # wget -O - -q handless-svc-demo <!DOCTYPE html> <html> <head> <title>Welcome to nginx!</title> <style>     body {         width: 35em;         margin: 0 auto;         font-family: Tahoma, Verdana, Arial, sans-serif;     } </style> </head> <body> <h1>Welcome to nginx!</h1> <p>If you see this page, the nginx web server is successfully installed and working. Further configuration is required.</p>  <p>For online documentation and support please refer to <a href="http://nginx.org/">nginx.org</a>.<br/> Commercial support is available at <a href="http://nginx.com/">nginx.com</a>.</p>  <p><em>Thank you for using nginx.</em></p> </body> </html> / #  

  提示:在pod内部使用名称service名称可以访问到对应的pod;

  验证:查看coredns是否将对应service名称解析为对应拥有service指定的标签选择器的podip呢?

[root@master01 ~]# kubectl get pod --show-labels -o wide                        NAME                           READY   STATUS    RESTARTS   AGE    IP            NODE             NOMINATED NODE   READINESS GATES   LABELS deploy-demo-6d795f958b-6pjgw   1/1     Running   0          131m   10.244.2.93   node02.k8s.org   <none>           <none>            app=ngx-dep-pod,pod-template-hash=6d795f958b deploy-demo-6d795f958b-m4vfb   1/1     Running   0          131m   10.244.4.14   node04.k8s.org   <none>           <none>            app=ngx-dep-pod,pod-template-hash=6d795f958b deploy-demo-6d795f958b-qcl6m   1/1     Running   0          131m   10.244.3.86   node03.k8s.org   <none>           <none>            app=ngx-dep-pod,pod-template-hash=6d795f958b [root@master01 ~]# kubectl exec -it pod/deploy-demo-6d795f958b-m4vfb -- /bin/sh / # nslookup handless-svc-demo nslookup: can't resolve '(null)': Name does not resolve  Name:      handless-svc-demo Address 1: 10.244.4.14 deploy-demo-6d795f958b-m4vfb Address 2: 10.244.3.86 10-244-3-86.handless-svc-demo.default.svc.cluster.local Address 3: 10.244.2.93 10-244-2-93.handless-svc-demo.default.svc.cluster.local / #  

  提示:可以看到coredns把对应名称解析成了3个地址;这三个地址都是对应pod上拥有service指定的标签选择器上的标签的podip地址;

  配置k8s使用ipvs代理模式

  编写加载ipvs相关模块脚本

[root@master01 ~]# cat /etc/sysconfig/modules/ipvs.modules #!/bin/bash ipvs_mods_dir="/usr/lib/modules/$(uname -r)/kernel/net/netfilter/ipvs" for mod in $(ls $ipvs_mods_dir | grep -o "^[^.]*"); do     /sbin/modinfo -F filename $mod  &> /dev/null     if [ $? -eq 0 ]; then         /sbin/modprobe $mod     fi done [root@master01 ~]#  

  提示:以上脚本主要做了一件事,就是把ipvs_mods_dir所指定的目录下的所有模块加载到内核;

  给脚本添加执行权限

[root@master01 ~]# ll /etc/sysconfig/modules/ipvs.modules -rw-r--r-- 1 root root 253 Dec 20 18:50 /etc/sysconfig/modules/ipvs.modules [root@master01 ~]# chmod +x /etc/sysconfig/modules/ipvs.modules [root@master01 ~]# ll /etc/sysconfig/modules/ipvs.modules -rwxr-xr-x 1 root root 253 Dec 20 18:50 /etc/sysconfig/modules/ipvs.modules [root@master01 ~]#  

  复制该脚本到其他节点

[root@master01 ~]# scp -p /etc/sysconfig/modules/ipvs.modules node01:/etc/sysconfig/modules/ipvs.modules ipvs.modules                                                                                     100%  253   132.8KB/s   00:00     [root@master01 ~]# scp -p /etc/sysconfig/modules/ipvs.modules node02:/etc/sysconfig/modules/ipvs.modules ipvs.modules                                                                                     100%  253   102.5KB/s   00:00     [root@master01 ~]# scp -p /etc/sysconfig/modules/ipvs.modules node03:/etc/sysconfig/modules/ipvs.modules ipvs.modules                                                                                     100%  253    80.8KB/s   00:00     [root@master01 ~]# scp -p /etc/sysconfig/modules/ipvs.modules node04:/etc/sysconfig/modules/ipvs.modules ipvs.modules                                                                                     100%  253   121.0KB/s   00:00     [root@master01 ~]#  

  提示:把脚本放在/etc/sysconfig/modules目录下以点modules结尾的脚本,在系统重启以后,它会自动执行对应目录下的脚本;

  执行脚本,加载模块

[root@master01 ~]# bash /etc/sysconfig/modules/ipvs.modules        [root@master01 ~]# ssh node01 'bash /etc/sysconfig/modules/ipvs.modules' [root@master01 ~]# ssh node02 'bash /etc/sysconfig/modules/ipvs.modules'  [root@master01 ~]# ssh node03 'bash /etc/sysconfig/modules/ipvs.modules'  [root@master01 ~]# ssh node04 'bash /etc/sysconfig/modules/ipvs.modules'  [root@master01 ~]#  

  验证:查看对应模块是否加载?

[root@master01 ~]# lsmod |grep ip_vs ip_vs_wlc              12519  0  ip_vs_sed              12519  0  ip_vs_pe_sip           12697  0  nf_conntrack_sip       33860  1 ip_vs_pe_sip ip_vs_nq               12516  0  ip_vs_lc               12516  0  ip_vs_lblcr            12922  0  ip_vs_lblc             12819  0  ip_vs_ftp              13079  0  ip_vs_dh               12688  0  ip_vs_sh               12688  0  ip_vs_wrr              12697  0  ip_vs_rr               12600  0  ip_vs                 141092  26 ip_vs_dh,ip_vs_lc,ip_vs_nq,ip_vs_rr,ip_vs_sh,ip_vs_ftp,ip_vs_sed,ip_vs_wlc,ip_vs_wrr,ip_vs_pe_sip,ip_vs_lblcr,ip_vs_lblc nf_nat                 26787  4 ip_vs_ftp,nf_nat_ipv4,xt_nat,nf_nat_masquerade_ipv4 nf_conntrack          133387  8 ip_vs,nf_nat,nf_nat_ipv4,xt_conntrack,nf_nat_masquerade_ipv4,nf_conntrack_netlink,nf_conntrack_sip,nf_conntrack_ipv4 libcrc32c              12644  4 xfs,ip_vs,nf_nat,nf_conntrack [root@master01 ~]#  

  提示:能够看到以上信息表示ipvs相关模块已经加载;

  编辑kube-proxy的配置

[root@master01 ~]# kubectl edit cm kube-proxy -n kube-system 

  修改mode字段的值为“ipvs”,然后保存退出

容器编排系统k8s之Service资源

  删除现有k8s kube-proxy pod

[root@master01 ~]# kubectl get pod -n kube-system --show-labels NAME                                       READY   STATUS    RESTARTS   AGE   LABELS coredns-7f89b7bc75-k9gdt                   1/1     Running   10         12d   k8s-app=kube-dns,pod-template-hash=7f89b7bc75 coredns-7f89b7bc75-kp855                   1/1     Running   8          12d   k8s-app=kube-dns,pod-template-hash=7f89b7bc75 etcd-master01.k8s.org                      1/1     Running   11         12d   component=etcd,tier=control-plane kube-apiserver-master01.k8s.org            1/1     Running   8          12d   component=kube-apiserver,tier=control-plane kube-controller-manager-master01.k8s.org   1/1     Running   9          12d   component=kube-controller-manager,tier=control-plane kube-flannel-ds-cx8d5                      1/1     Running   12         12d   app=flannel,controller-revision-hash=64465d999,pod-template-generation=1,tier=node kube-flannel-ds-jz6r4                      1/1     Running   3          46h   app=flannel,controller-revision-hash=64465d999,pod-template-generation=1,tier=node kube-flannel-ds-ndzl6                      1/1     Running   13         12d   app=flannel,controller-revision-hash=64465d999,pod-template-generation=1,tier=node kube-flannel-ds-rjtn9                      1/1     Running   14         12d   app=flannel,controller-revision-hash=64465d999,pod-template-generation=1,tier=node kube-flannel-ds-zgq92                      1/1     Running   12         12d   app=flannel,controller-revision-hash=64465d999,pod-template-generation=1,tier=node kube-proxy-8wfcx                           1/1     Running   3          46h   controller-revision-hash=c449f5b75,k8s-app=kube-proxy,pod-template-generation=1 kube-proxy-dl8jd                           1/1     Running   8          12d   controller-revision-hash=c449f5b75,k8s-app=kube-proxy,pod-template-generation=1 kube-proxy-lz4zc                           1/1     Running   9          12d   controller-revision-hash=c449f5b75,k8s-app=kube-proxy,pod-template-generation=1 kube-proxy-pjv9s                           1/1     Running   12         12d   controller-revision-hash=c449f5b75,k8s-app=kube-proxy,pod-template-generation=1 kube-proxy-pwl5v                           1/1     Running   8          12d   controller-revision-hash=c449f5b75,k8s-app=kube-proxy,pod-template-generation=1 kube-scheduler-master01.k8s.org            1/1     Running   9          12d   component=kube-scheduler,tier=control-plane [root@master01 ~]# kubectl get pod -n kube-system -l k8s-app=kube-proxy         NAME               READY   STATUS    RESTARTS   AGE kube-proxy-8wfcx   1/1     Running   3          46h kube-proxy-dl8jd   1/1     Running   8          12d kube-proxy-lz4zc   1/1     Running   9          12d kube-proxy-pjv9s   1/1     Running   12         12d kube-proxy-pwl5v   1/1     Running   8          12d [root@master01 ~]# kubectl delete pod -n kube-system -l k8s-app=kube-proxy     pod "kube-proxy-8wfcx" deleted pod "kube-proxy-dl8jd" deleted pod "kube-proxy-lz4zc" deleted pod "kube-proxy-pjv9s" deleted pod "kube-proxy-pwl5v" deleted [root@master01 ~]#  

  提示:kube-proxy是一个ds控制器所管理的pod,它能容忍主节点上的污点在集群每个节点上创建对应pod;我们手动删除它,对应控制器会重新新建对应数量的pod,从而实现应用新配置的目的;生成环境不提倡这样修改,应该在集群初始化前就规划好使用哪种代理模式;

  验证:在集群任意节点安装ipvs客户端工具,看看是否有对应的ipvs规则生成?

  安装ipvsadm

[root@master01 ~]# yum install -y ipvsadm 

  使用ipvsadm查看是否生成的有ipvs规则?

[root@master01 ~]# ipvsadm -Ln IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags   -> RemoteAddress:Port           Forward Weight ActiveConn InActConn TCP  172.17.0.1:30080 rr   -> 10.244.2.93:80               Masq    1      0          0            -> 10.244.3.86:80               Masq    1      0          0            -> 10.244.4.14:80               Masq    1      0          0          TCP  192.168.0.41:30080 rr   -> 10.244.2.93:80               Masq    1      0          0            -> 10.244.3.86:80               Masq    1      0          0            -> 10.244.4.14:80               Masq    1      0          0          TCP  10.96.0.1:443 rr   -> 192.168.0.41:6443            Masq    1      0          0          TCP  10.96.0.10:53 rr   -> 10.244.0.20:53               Masq    1      0          0            -> 10.244.0.21:53               Masq    1      0          0          TCP  10.96.0.10:9153 rr   -> 10.244.0.20:9153             Masq    1      0          0            -> 10.244.0.21:9153             Masq    1      0          0          TCP  10.97.166.233:80 rr   -> 10.244.2.93:80               Masq    1      0          0            -> 10.244.3.86:80               Masq    1      0          0            -> 10.244.4.14:80               Masq    1      0          0          TCP  10.107.159.92:80 rr   -> 10.244.2.93:80               Masq    1      0          0            -> 10.244.3.86:80               Masq    1      0          0            -> 10.244.4.14:80               Masq    1      0          0          TCP  10.244.0.0:30080 rr   -> 10.244.2.93:80               Masq    1      0          0            -> 10.244.3.86:80               Masq    1      0          0            -> 10.244.4.14:80               Masq    1      0          0          TCP  10.244.0.1:30080 rr   -> 10.244.2.93:80               Masq    1      0          0            -> 10.244.3.86:80               Masq    1      0          0            -> 10.244.4.14:80               Masq    1      0          0          TCP  127.0.0.1:30080 rr   -> 10.244.2.93:80               Masq    1      0          0            -> 10.244.3.86:80               Masq    1      0          0            -> 10.244.4.14:80               Masq    1      0          0          UDP  10.96.0.10:53 rr   -> 10.244.0.20:53               Masq    1      0          0            -> 10.244.0.21:53               Masq    1      0          0          [root@master01 ~]#  

  提示:能够看到有ipvs规则生成,说明此时k8s就是使用的ipvs代理模式;