写在前面
- 分享一些
K8s中Headless Service的笔记 - 博文内容涉及：
Headless Service的简单介绍Headless Service创建- 集群内/外 获取
Headless Service对应Pod列表的 Demo
- 理解不足小伙伴帮忙指正
在认识一经出现时，情欲就引退。 -----昂克敌·杜伯隆：《邬布涅伽研究》第二卷第216页 -----《作为意志和表象的世界》
Headless Service 简单介绍
在某些场景中，如果我们希望自己控制 Pod 实例的负载均衡 策略,或者希望直接和 Pod 交互但是又不希望通过端口映射的方式，比如数据库根据情况做一些读写分离，或者一些应用在客户端做流量控制等，不使用 Service 提供的由 Kube-proxy 代理实现的默认负载均衡的功能。希望明确是由那几个 pod 提供能力，即直接通过 Pod 发布服务， 而不是只有一个 集群 IP Cluster IP 或者使用 NodePort、LoadBalancer、ExternalName 来发布服务。
这个时候，K8s 提供了 Headless Service ,即不为 Service 设置 ClusterIP(入口IP地址),也叫 无头服务，这里分两种情况
有选择器
第一种是有对应的服务能力提供者，即通过标签选择器选择了对应的后端能力，比如 pod,deployment,statefulset 等
在这种情况下，会通过Label Selector将被选择的后端 Pod 列表返回给调用的客户端, K8s 不会为这样的 Service 分配任何 IP， DNS 会为这些Service 的 Name 添加一系列的 A(AAA)记录(IP 地址指向)，直接指向后端映射的 Pod。 当然前提是 通过 标签选择器选择到了对应的 pod。
Kube-prosy 不会处理这类型的 Service ，没有负载均衡机制也没有请求映射，这里 Endpoint Controller 任然会创建 pod 对应的 Endpoint , 同时 Kubernetes 控制平面会在 Kubernetes API 中创建 EndpointSlice 对象
EndpointSlices 表示针对服务的后端网络端点的子集(切片),这是在 1.21 版本才出现的，提供了一种简单的方法来跟踪 Kubernetes 集群中的网络端点(network endpoints)。EndpointSlices 为 Endpoints 提供了一种可扩缩和可拓展的替代方案。
在 Kubernetes 中，EndpointSlice 包含对一组网络端点的引用。 控制面会自动为设置了选择算符的 Kubernetes Service 创建 EndpointSlice,EndpointSlice 将包含对与 Service 选择算符匹配的所有 Pod 的引用。 EndpointSlice 通过唯一的协议、端口号和 Service 名称将网络端点组织在一起
Headless Service 通过暴露的 Endpoints 列表 应用可以通过编码实现客户端的负载均衡。
没有选择器
第二种是没有对应的服务能力提供者，即没有通过选择运算符来获取当前 集群的能力，这个时候，系统不会创建对应 Endpoint ，也不会创建对应的 EndpointSlice.
这种情况下，DNS 系统会查找和配置以下之一
- 对于
type: ExternalName服务，查找和配置其CNAME记录 - 对所有其他类型的服务，针对
Service的就绪端点的所有 IP 地址，查找和配置 DNS A / AAAA 条记录 - 对于 IPv4 端点，DNS 系统创建 A 条记录。
- 对于 IPv6 端点，DNS 系统创建 AAAA 条记录。
Headless Service 创建
定义一个 Service 里面的 ClusterIP 为 None ，并且拥有 Selector 标签选择器，这样的 Service 为 Headlsee Service
查看当前 k8s 中是否存在 Headlsee
┌──[root@vms81.liruilongs.github.io]-[~]
└─$kubectl get svc -A | grep None
awx awx-demo-postgres-13 ClusterIP None <none> 5432/TCP 52d
kube-system liruilong-kube-prometheus-kubelet ClusterIP None <none> 10250/TCP,10255/TCP,4194/TCP 324d
一般情况下 SatefulSet 需要 Headless Service 来实现 Pod 的网络的一致性(必须创建此服务)，为客户端返回多个服务端地址。可以看到当前的集群中有两个 Headless Service, 一个是有状态应用(SatefulSet) postgres 数据库创建，一个是搭建 prometheus 集群监控创建的。
┌──[root@vms81.liruilongs.github.io]-[~]
└─$kubectl get svc awx-demo-postgres-13 -o yaml
apiVersion: v1
kind: Service
metadata:
..................
name: awx-demo-postgres-13
namespace: awx
spec:
clusterIP: None
clusterIPs:
- None
internalTrafficPolicy: Cluster
ipFamilies:
- IPv4
ipFamilyPolicy: SingleStack
ports:
- port: 5432
protocol: TCP
targetPort: 5432
selector:
app.kubernetes.io/component: database
app.kubernetes.io/instance: postgres-13-awx-demo
app.kubernetes.io/managed-by: awx-operator
app.kubernetes.io/name: postgres-13
app.kubernetes.io/part-of: awx-demo
sessionAffinity: None
type: ClusterIP
status:
loadBalancer: {}
这里我们可以大概的看到一个 Headless 资源文件定义，对这样的 Service 进行访问，得到的就是一个 符合选择器的全部的 Pod 列表，然后客户端去自行的处理这些 Pod 列表。上面的 Service 中，客户端访问 postgres 数据库，会返回符合当前选择器的所有 postgres pod。
下面我们来看几个实际的 Demo
有状态 Headless 服务
对于有状态服务开来讲，需要创建 StatefulSet 为其提供能力，资源文件定义,只是一个 Demo ，所以我们这里没有定义 存储卷相关。
apiVersion: apps/v1
kind: StatefulSet
metadata:
creationTimestamp: null
labels:
app: web-headless
name: web
spec:
serviceName: web-headless
replicas: 3
selector:
matchLabels:
app: web-headless
template:
metadata:
creationTimestamp: null
labels:
app: web-headless
spec:
containers:
- image: nginx
name: nginx-web
ports:
- containerPort: 80
name: nginx-web
resources: {}
通过资源文件创建有状态的 pod
代码语言：javascript复制┌──[root@vms81.liruilongs.github.io]-[~/ansible]
└─$kubectl get statefulsets.apps web -o wide
NAME READY AGE CONTAINERS IMAGES
web 3/3 96s nginx-web nginx
┌──[root@vms81.liruilongs.github.io]-[~/ansible]
└─$kubectl get pods -o wide | grep web*
web-0 1/1 Running 0 2m13s 10.244.217.10 vms155.liruilongs.github.io <none> <none>
web-1 1/1 Running 0 2m11s 10.244.194.67 vms156.liruilongs.github.io <none> <none>
web-2 1/1 Running 0 114s 10.244.217.11 vms155.liruilongs.github.io <none> <none>
之后我们需要创建对应的 Headless Service ,这里需要注意的是 clusterIP: None,选择器：app: web-headless
┌──[root@vms81.liruilongs.github.io]-[~/ansible]
└─$cat headless.yaml
apiVersion: v1
kind: Service
metadata:
name: web-headless
labels:
app: nginx_headless
spec:
ports:
- port: 30088
targetPort: 80
name: nginx-web-headless
clusterIP: None
selector:
app: web-headless
创建对应的 Headless SVC
代码语言：javascript复制┌──[root@vms81.liruilongs.github.io]-[~/ansible]
└─$kubectl apply -f headless.yaml
service/web-headless configured
┌──[root@vms81.liruilongs.github.io]-[~/ansible]
└─$kubectl get svc web-headless
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
web-headless ClusterIP None <none> 30088/TCP 24h
可以看到，他对每个 pod 都创建了对应的 Endpoint
┌──[root@vms81.liruilongs.github.io]-[~/ansible]
└─$kubectl describe svc web-headless
Name: web-headless
Namespace: awx
Labels: app=nginx_headless
Annotations: <none>
Selector: app=web-headless
Type: ClusterIP
IP Family Policy: SingleStack
IP Families: IPv4
IP: None
IPs: None
Port: nginx-web-headless 30088/TCP
TargetPort: 80/TCP
Endpoints: 10.244.194.67:80,10.244.217.10:80,10.244.217.11:80
Session Affinity: None
Events: <none>
可以通过不同的方式获取 Headless Service 的 Pod 列表。
集群外获取 Headless Service 的 Pod 列表
可以直接通过调用 Rest 接口的 方式获取 Headless 对应的 Endpoints，这里为了方便暴露 Rest 服务，通过 kubectl proxy 做一个内部代理。
┌──[root@vms81.liruilongs.github.io]-[~]
└─$nohup kubectl proxy --port=30021 &
[1] 109103
┌──[root@vms81.liruilongs.github.io]-[~]
└─$nohup: 忽略输入并把输出追加到"nohup.out"
测试一下
代码语言：javascript复制┌──[root@vms81.liruilongs.github.io]-[~]
└─$curl http://localhost:30021/api/ -s
{
"kind": "APIVersions",
"versions": [
"v1"
],
"serverAddressByClientCIDRs": [
{
"clientCIDR": "0.0.0.0/0",
"serverAddress": "192.168.26.81:6443"
}
]
}
对于 1.21 之前的版本获取 endpoins，可以通过 Endpoints的方式获取
┌──[root@vms81.liruilongs.github.io]-[~/ansible]
└─$kubectl describe endpoints web-headless
Name: web-headless
Namespace: awx
Labels: app=nginx_headless
service.kubernetes.io/headless=
Annotations: endpoints.kubernetes.io/last-change-trigger-time: 2022-12-09T07:13:15Z
Subsets:
Addresses: 10.244.194.67,10.244.217.10,10.244.217.11
NotReadyAddresses: <none>
Ports:
Name Port Protocol
---- ---- --------
nginx-web-headless 80 TCP
Events: <none>
通过 curl 调用对应的 REST 接口
代码语言：javascript复制┌──[root@vms81.liruilongs.github.io]-[~/ansible]
└─$curl -s http://localhost:30021/api/v1/namespaces/awx/endpoints/web-headless | jq .subsets
[
{
"addresses": [
{
"ip": "10.244.194.67",
"hostname": "web-1",
"nodeName": "vms156.liruilongs.github.io",
"targetRef": {
"kind": "Pod",
"namespace": "awx",
"name": "web-1",
"uid": "d71722db-1c41-44ee-a55d-0042c7d2086e",
"resourceVersion": "14843070"
}
},
{
"ip": "10.244.217.10",
"hostname": "web-0",
"nodeName": "vms155.liruilongs.github.io",
"targetRef": {
"kind": "Pod",
"namespace": "awx",
"name": "web-0",
"uid": "7fa21492-d0f5-4840-8517-a05ed04651a4",
"resourceVersion": "14843008"
}
},
{
"ip": "10.244.217.11",
"hostname": "web-2",
"nodeName": "vms155.liruilongs.github.io",
"targetRef": {
"kind": "Pod",
"namespace": "awx",
"name": "web-2",
"uid": "7b262352-b12c-4ad2-8d83-8143c71e8c27",
"resourceVersion": "14843135"
}
}
],
"ports": [
{
"name": "nginx-web-headless",
"port": 80,
"protocol": "TCP"
}
]
}
]
如果使用的 1.21 以及之后的版本，我们可以通过 EndpointSlicp 来获取对应的 pod 列表
┌──[root@vms81.liruilongs.github.io]-[~/ansible]
└─$kubectl describe endpointslices web-headless-888xr
Name: web-headless-888xr
Namespace: awx
Labels: app=nginx_headless
endpointslice.kubernetes.io/managed-by=endpointslice-controller.k8s.io
kubernetes.io/service-name=web-headless
service.kubernetes.io/headless=
Annotations: endpoints.kubernetes.io/last-change-trigger-time: 2022-12-09T07:13:15Z
AddressType: IPv4
Ports:
Name Port Protocol
---- ---- --------
nginx-web-headless 80 TCP
Endpoints:
- Addresses: 10.244.217.10
Conditions:
Ready: true
Hostname: web-0
TargetRef: Pod/web-0
NodeName: vms155.liruilongs.github.io
Zone: <unset>
- Addresses: 10.244.194.67
Conditions:
Ready: true
Hostname: web-1
TargetRef: Pod/web-1
NodeName: vms156.liruilongs.github.io
Zone: <unset>
- Addresses: 10.244.217.11
Conditions:
Ready: true
Hostname: web-2
TargetRef: Pod/web-2
NodeName: vms155.liruilongs.github.ioweb
Zone: <unset>
Events: <none>
通过 curl 调用对应的 REST 接口
代码语言：javascript复制┌──[root@vms81.liruilongs.github.io]-[~/ansible]
└─$curl -s http://localhost:30021/apis/discovery.k8s.io/v1/namespaces/awx/endpointslices/web-headless-888xr | jq .endpoints
[
{
"addresses": [
"10.244.217.10"
],
"conditions": {
"ready": true,
"serving": true,
"terminating": false
},
"hostname": "web-0",
"targetRef": {
"kind": "Pod",
"namespace": "awx",
"name": "web-0",
"uid": "7fa21492-d0f5-4840-8517-a05ed04651a4",
"resourceVersion": "14843008"
},
"nodeName": "vms155.liruilongs.github.io"
},
{
"addresses": [
"10.244.194.67"
],
"conditions": {
"ready": true,
"serving": true,
"terminating": false
},
"hostname": "web-1",
"targetRef": {
"kind": "Pod",
"namespace": "awx",
"name": "web-1",
"uid": "d71722db-1c41-44ee-a55d-0042c7d2086e",
"resourceVersion": "14843070"
},
"nodeName": "vms156.liruilongs.github.io"
},
{
"addresses": [
"10.244.217.11"
],
"conditions": {
"ready": true,
"serving": true,
"terminating": false
},
"hostname": "web-2",
"targetRef": {
"kind": "Pod",
"namespace": "awx",
"name": "web-2",
"uid": "7b262352-b12c-4ad2-8d83-8143c71e8c27",
"resourceVersion": "14843135"
},
"nodeName": "vms155.liruilongs.github.io"
}
]
集群内获取 Headless Service 的 Pod 列表
对于无头服务，客户端可以通过连接到服务的 DNS 名称来连接到其 pod，就像使用常规服务一样，因为 DNS 返回 pod 的 IP，客户端直接连接到 pod，所以不是通过服务代理。这里通过 DNS 解析获取的 Pod 列表，Headless 服务仍然提供跨 Pod 的负载平衡，但这仅仅是通过 DNS 循环机制实现的负载均衡。而不是 sessionAffinity 相关配置
可以通过 对 服务的 DNS 解析来获取 POD 列表。
创建一个测试 Pod
代码语言：javascript复制┌──[root@vms81.liruilongs.github.io]-[~/ansible]
└─$kubectl run tmp01 --image=tutum/dnsutils -- sleep infinity
pod/tmp01 created
同一命令空间获取 headless Service 的 Pod 列表
代码语言：javascript复制┌──[root@vms81.liruilongs.github.io]-[~/ansible]
└─$kubectl exec tmp01 -it -- /bin/bash
root@tmp01:/# nslookup web-headless
Server: 10.96.0.10
Address: 10.96.0.10#53
Name: web-headless.awx.svc.cluster.local
Address: 10.244.194.67
Name: web-headless.awx.svc.cluster.local
Address: 10.244.217.10
Name: web-headless.awx.svc.cluster.local
Address: 10.244.217.11
不同命名空间获取 headless Service 的 Pod 列表
代码语言：javascript复制┌──[root@vms81.liruilongs.github.io]-[~/ansible]
└─$kubectl exec tmp01 -it -- /bin/bash
root@tmp01:/# nslookup web-headless.awx
Server: 10.96.0.10
Address: 10.96.0.10#53
Name: web-headless.awx.svc.cluster.local
Address: 10.244.217.11
Name: web-headless.awx.svc.cluster.local
Address: 10.244.194.67
Name: web-headless.awx.svc.cluster.local
Address: 10.244.217.10
root@tmp01:/# nslookup web-headless.awx.svc.cluster.local.
Server: 10.96.0.10
Address: 10.96.0.10#53
Name: web-headless.awx.svc.cluster.local
Address: 10.244.217.11
Name: web-headless.awx.svc.cluster.local
Address: 10.244.194.67
Name: web-headless.awx.svc.cluster.local
Address: 10.244.217.10
无状态的 Headless 服务
关于无状态的 Headless Service 这里我们也简单介绍，和，有状态的没什么区别，对应的 SVC 还是用之前的 web-headless, 在 StatefulSet 的基础上，我们创建一个 deloyment 提供服务能力
┌──[root@vms81.liruilongs.github.io]-[~/ansible]
└─$cat deploy.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
creationTimestamp: null
labels:
app: web-headless
name: web
spec:
replicas: 3
selector:
matchLabels:
app: web-headless
strategy: {}
template:
metadata:
creationTimestamp: null
labels:
app: web-headless
spec:
containers:
- image: nginx
name: nginx-web
ports:
- containerPort: 80
name: nginx-web
resources: {}
status: {}
通过 DNS 获取IP，可以发现，对应的 A 记录增加到 6个
代码语言：javascript复制┌──[root@vms81.liruilongs.github.io]-[~/ansible]
└─$kubectl exec tmp01 -it -- /bin/bash
root@tmp01:/# nslookup web-headless.awx
Server: 10.96.0.10
Address: 10.96.0.10#53
Name: web-headless.awx.svc.cluster.local
Address: 10.244.194.67
Name: web-headless.awx.svc.cluster.local
Address: 10.244.217.11
Name: web-headless.awx.svc.cluster.local
Address: 10.244.217.10
Name: web-headless.awx.svc.cluster.local
Address: 10.244.194.69
Name: web-headless.awx.svc.cluster.local
Address: 10.244.194.70
Name: web-headless.awx.svc.cluster.local
Address: 10.244.217.12
root@tmp01:/# exit
exit
关于 Headless Service 和小伙伴分享到这里， 通过 无头服务，我们可以通过 Servcie 来动态感知 Pod 副本的变化，监听 Pod 的状态，实现部分分布式集群的动态构建， 同时在有状态应用中都会涉及 Headless Service。
博文参考
https://kubernetes.io/zh-cn/docs/concepts/services-networking/service/#headless-services
https://stackoverflow.com/questions/52707840/what-is-a-headless-service-what-does-it-do-accomplish-and-what-are-some-legiti
https://cloud.tencent.com/developer/article/1638722
https://kubernetes.io/docs/reference/kubernetes-api/service-resources/endpoints-v1/
https://kubernetes.io/docs/reference/kubernetes-api/service-resources/endpoint-slice-v1/
