业务部署到tke集群中,很多时候需要通过公网去调用第三方接口服务,正常pod访问公网是依赖于节点访问公网的能力,节点访问公网可以给节点绑定公网ip或者给vpc绑定nat网关。其实在tke中,我们还可以给pod绑定弹性公网ip(eip),让pod通过绑定的eip去访问公网。下面我们来说说如何给pod配置eip,并通过eip去访问公网。
1. 固定ip的pod绑定eip
tke集群内给pod绑定eip,前提条件是pod的网络模式必须为vpc-cni的固定ip模式,如果你创建集群选择的是GlobalRouter,那么在集群开启vpc-cni模式即可,如果你创建集群是vpc-cni模式,必须要注意勾选上固定ip,vpc-cni模式下,集群网络模式选定后无法更改。当你的集群是固定ip模式后,可以参考文档的示例yaml给pod绑定eip,这里就不详细描述了。
https://cloud.tencent.com/document/product/457/50358
2. 更新ip-masq-agent版本和配置
参考了上一步部署好pod之后,pod还不能直接走eip访问公网,为什么呢?因为在tke集群中有一个组件ip-masq-agent,这个组件会将容器网段snat到主网卡上去访问公网,因此pod访问公网还是走主网卡出去,主网卡访问公网可能是主网卡的公网ip或者nat网段,因此此时pod访问公网还是走节点主网卡公网ip或者nat网关的eip。
为了解决这个问题,tke这边将ip-masq-agent做了优化升级,添加了一个配置NonMasqueradeSrcCIDRs,这个配置就是说哪些配置的源ip不做snat,其实就是这个配置里面的ip段,不会snat成节点主网卡ip,而是走pod所在的辅助网卡出去。
由于NonMasqueradeSrcCIDRs这个功能当前还未正式上线,默认的版本不包含这个功能,大家如果想用这个功能可以更新下集群的ip-masq-agent组件镜像版本。
代码语言:javascript复制# kubectl edit ds -n kube-system ip-masq-agent -o yaml
更新 spec.template.spec.containers[0].image tag 为 v2.6.0-alpha.0
更新组件版本后,我们还需要将绑定eip的pod ip加入到ip-masq-agent-config的NonMasqueradeSrcCIDRs字段中,这里意味着需要提前获取需要加入的pod ip,因此我们需要创建好绑定eip的pod之后,再将pod ip配置到ip-masq-agent-config这个configmap里面,如果这里pod ip无法提前确认,但是固定ip的子网是确定的,这里也可以将pod的固定ip子网网段加入到NonMasqueradeSrcCIDRs字段中,配置好之后,ip-masq-agent每隔1分钟会自动加载配置生效,当然也可以手动重建pod生效。
代码语言:javascript复制# kubectl edit cm -n kube-system ip-masq-agent-config -o yaml
配置方式参考如下
apiVersion: v1
data:
config: '{"NonMasqueradeCIDRs":["172.25.0.0/16","10.0.0.0/16"],"MasqLinkLocal":true,"ResyncInterval":"1m0s","NonMasqueradeSrcCIDRs":["10.0.33.2/32","10.0.33.3/32"]}'
3. 修改vpc路由表
第二步都配置好之后,如果你的节点出去走公网是节点公网ip,没有绑定nat网关的话,pod就可以直接通过绑定的eip访问公网了,不需要修改vpc路由表了。
但是当你的集群节点没有公网ip,节点是通过nat网关访问公网,又或者说你的节点有公网ip同时也配置了nat网关,那么这个时候pod访问公网还是不会走eip,还是默认走nat网关。 因为在vpc的路由策略里面,当一个子网关联了 NAT 网关,且子网内云服务器有公网 IP(或弹性 IP)时,会默认通过 NAT网关访问 Internet(因为最精确路由的优先级高于公网 IP)。
如果你想pod通过绑定的eip出公网,需要在路由表加一条策略云服务器公网 IP 访问 Internet,这样pod访问公网才会走绑定的eip。
4. 测试pod访问公网
当上面的所有修改完成后,我们可以简答测试下,是否绑定了eip的pod出公网是走自己的eip,没绑定的eip还是走节点主网卡公网ip或者nat网关(vpc绑定了nat网关)
- 根据下面步骤配置,绑定了eip的pod,这里出公网是走绑定的eip 。
这里测试符合预期。
- 节点有公网ip并且也有给vpc绑定nat网关,但是路由表配置了云服务器公网 IP 访问 Internet,所以测试未绑定eip的pod,出去的公网ip是节点主网卡的公网ip。
这里测试符合预期。
5. 如何删除pod的固定ip和eip
固定ip模式支持配置pod固定ip和eip的回收策略。分别在yaml配置tke.cloud.tencent.com/vpc-ip-claim-delete-policy
和tke.cloud.tencent.com/eip-claim-delete-policy这2个字段,如果不配置默认是Immediate马上回收,也就是说你销毁pod,固定ip和eip都会回收,固定ip和eip是否回收,可以到集群查看vipc和eipc这2个资源对象是否删除。
代码语言:javascript复制[root@VM-0-13-centos ~]# kubectl api-resources | grep ipc
eipclaims eipc networking.tke.cloud.tencent.com true EIPClaim
vpcipclaims vipc networking.tke.cloud.tencent.com true VpcIPClaim
示例yaml
代码语言:javascript复制apiVersion: apps/v1
kind: StatefulSet
metadata:
labels:
k8s-app: busybox
name: busybox
namespace: default
spec:
replicas: 3
selector:
matchLabels:
k8s-app: busybox
qcloud-app: busybox
serviceName: ""
template:
metadata:
annotations:
tke.cloud.tencent.com/networks: "tke-route-eni"
tke.cloud.tencent.com/vpc-ip-claim-delete-policy: Never
tke.cloud.tencent.com/eip-attributes: ""
tke.cloud.tencent.com/eip-claim-delete-policy: "Never"
creationTimestamp: null
labels:
k8s-app: busybox
qcloud-app: busybox
spec:
containers:
- args:
- "10000000000"
command:
- sleep
image: busybox
imagePullPolicy: Always
name: busybox
resources:
limits:
tke.cloud.tencent.com/eni-ip: "1"
tke.cloud.tencent.com/eip: "1"
requests:
tke.cloud.tencent.com/eni-ip: "1"
tke.cloud.tencent.com/eip: "1"
如果你配置的eip-claim-delete-policy和vpc-ip-claim-delete-policy策略是never,那么你删除了pod,对应的eip和固定ip不会删除掉,你想删除固定ip和eip的话,可以修改yaml,将tke.cloud.tencent.com/vpc-ip-claim-delete-policy和tke.cloud.tencent.com/eip-claim-delete-policy这2个注解删除掉,然后更新pod即可。
当然你也可以修改yaml去除字段,然后手动删除pod对应的eipc和vipc。