tke集群固定ip模式pod如何绑定eip访问公网

2022-08-15 17:29:02 浏览数 (2)

业务部署到tke集群中,很多时候需要通过公网去调用第三方接口服务,正常pod访问公网是依赖于节点访问公网的能力,节点访问公网可以给节点绑定公网ip或者给vpc绑定nat网关。其实在tke中,我们还可以给pod绑定弹性公网ip(eip),让pod通过绑定的eip去访问公网。下面我们来说说如何给pod配置eip,并通过eip去访问公网。

1. 固定ip的pod绑定eip

tke集群内给pod绑定eip,前提条件是pod的网络模式必须为vpc-cni的固定ip模式,如果你创建集群选择的是GlobalRouter,那么在集群开启vpc-cni模式即可,如果你创建集群是vpc-cni模式,必须要注意勾选上固定ip,vpc-cni模式下,集群网络模式选定后无法更改。当你的集群是固定ip模式后,可以参考文档的示例yaml给pod绑定eip,这里就不详细描述了。

https://cloud.tencent.com/document/product/457/50358

2. 更新ip-masq-agent版本和配置

参考了上一步部署好pod之后,pod还不能直接走eip访问公网,为什么呢?因为在tke集群中有一个组件ip-masq-agent,这个组件会将容器网段snat到主网卡上去访问公网,因此pod访问公网还是走主网卡出去,主网卡访问公网可能是主网卡的公网ip或者nat网段,因此此时pod访问公网还是走节点主网卡公网ip或者nat网关的eip。

为了解决这个问题,tke这边将ip-masq-agent做了优化升级,添加了一个配置NonMasqueradeSrcCIDRs,这个配置就是说哪些配置的源ip不做snat,其实就是这个配置里面的ip段,不会snat成节点主网卡ip,而是走pod所在的辅助网卡出去。

由于NonMasqueradeSrcCIDRs这个功能当前还未正式上线,默认的版本不包含这个功能,大家如果想用这个功能可以更新下集群的ip-masq-agent组件镜像版本。

代码语言:javascript复制
# kubectl edit ds -n kube-system ip-masq-agent -o yaml
更新 spec.template.spec.containers[0].image tag 为 v2.6.0-alpha.0

更新组件版本后,我们还需要将绑定eip的pod ip加入到ip-masq-agent-config的NonMasqueradeSrcCIDRs字段中,这里意味着需要提前获取需要加入的pod ip,因此我们需要创建好绑定eip的pod之后,再将pod ip配置到ip-masq-agent-config这个configmap里面,如果这里pod ip无法提前确认,但是固定ip的子网是确定的,这里也可以将pod的固定ip子网网段加入到NonMasqueradeSrcCIDRs字段中,配置好之后,ip-masq-agent每隔1分钟会自动加载配置生效,当然也可以手动重建pod生效。

代码语言:javascript复制
# kubectl edit cm -n kube-system ip-masq-agent-config -o yaml

配置方式参考如下
apiVersion: v1
data:
  config: '{"NonMasqueradeCIDRs":["172.25.0.0/16","10.0.0.0/16"],"MasqLinkLocal":true,"ResyncInterval":"1m0s","NonMasqueradeSrcCIDRs":["10.0.33.2/32","10.0.33.3/32"]}'

3. 修改vpc路由表

第二步都配置好之后,如果你的节点出去走公网是节点公网ip,没有绑定nat网关的话,pod就可以直接通过绑定的eip访问公网了,不需要修改vpc路由表了。

但是当你的集群节点没有公网ip,节点是通过nat网关访问公网,又或者说你的节点有公网ip同时也配置了nat网关,那么这个时候pod访问公网还是不会走eip,还是默认走nat网关。 因为在vpc的路由策略里面,当一个子网关联了 NAT 网关,且子网内云服务器有公网 IP(或弹性 IP)时,会默认通过 NAT网关访问 Internet(因为最精确路由的优先级高于公网 IP)。

如果你想pod通过绑定的eip出公网,需要在路由表加一条策略云服务器公网 IP 访问 Internet,这样pod访问公网才会走绑定的eip。

4. 测试pod访问公网

当上面的所有修改完成后,我们可以简答测试下,是否绑定了eip的pod出公网是走自己的eip,没绑定的eip还是走节点主网卡公网ip或者nat网关(vpc绑定了nat网关)

  • 根据下面步骤配置,绑定了eip的pod,这里出公网是走绑定的eip 。

这里测试符合预期。

  • 节点有公网ip并且也有给vpc绑定nat网关,但是路由表配置了云服务器公网 IP 访问 Internet,所以测试未绑定eip的pod,出去的公网ip是节点主网卡的公网ip。

这里测试符合预期。

5. 如何删除pod的固定ip和eip

固定ip模式支持配置pod固定ip和eip的回收策略。分别在yaml配置tke.cloud.tencent.com/vpc-ip-claim-delete-policy

和tke.cloud.tencent.com/eip-claim-delete-policy这2个字段,如果不配置默认是Immediate马上回收,也就是说你销毁pod,固定ip和eip都会回收,固定ip和eip是否回收,可以到集群查看vipc和eipc这2个资源对象是否删除。

代码语言:javascript复制
[root@VM-0-13-centos ~]# kubectl api-resources | grep ipc
eipclaims                                  eipc               networking.tke.cloud.tencent.com   true         EIPClaim
vpcipclaims                                vipc               networking.tke.cloud.tencent.com   true         VpcIPClaim

示例yaml

代码语言:javascript复制
apiVersion: apps/v1
kind: StatefulSet
metadata:
 labels:
   k8s-app: busybox
 name: busybox
 namespace: default
spec:
 replicas: 3
 selector:
   matchLabels:
     k8s-app: busybox
     qcloud-app: busybox
 serviceName: ""
 template:
   metadata:
     annotations:
       tke.cloud.tencent.com/networks: "tke-route-eni"
       tke.cloud.tencent.com/vpc-ip-claim-delete-policy: Never
       tke.cloud.tencent.com/eip-attributes: ""
       tke.cloud.tencent.com/eip-claim-delete-policy: "Never"
     creationTimestamp: null
     labels:
       k8s-app: busybox
       qcloud-app: busybox
   spec:
     containers:
     - args:
       - "10000000000"
       command:
       - sleep
       image: busybox
       imagePullPolicy: Always
       name: busybox
       resources:
         limits:
           tke.cloud.tencent.com/eni-ip: "1"
           tke.cloud.tencent.com/eip: "1"
         requests:
           tke.cloud.tencent.com/eni-ip: "1"
           tke.cloud.tencent.com/eip: "1"

如果你配置的eip-claim-delete-policy和vpc-ip-claim-delete-policy策略是never,那么你删除了pod,对应的eip和固定ip不会删除掉,你想删除固定ip和eip的话,可以修改yaml,将tke.cloud.tencent.com/vpc-ip-claim-delete-policy和tke.cloud.tencent.com/eip-claim-delete-policy这2个注解删除掉,然后更新pod即可。

当然你也可以修改yaml去除字段,然后手动删除pod对应的eipc和vipc。

0 人点赞