k8s可以通过三种方式将集群内服务暴露到外网，分别是NodePort、LoadBalancer、Ingress，其中NodePort作为基础通信形式我们在《k8s网络模型与集群通信》中进行了介绍，这里我们主要关注LoadBalancer和Ingress
LoadBalancer
loadbalancer是服务暴露到因特网的标准形式，和nodeport一样我们只需在创建service是指定type为loadbalancer即可，接着Service 的通过status.loadBalancer字段将需要创建的负载均衡器信息发布供负载均衡服务创建。不过loadbalancer是云服务商”专属“，像腾讯云CLB、阿里云SLB，这样在创建service时会自动帮我们创建一个负载均衡器。
大多数云上负载均衡也是基于nodeport，他们的结构如下：
如果要在本地创建一个负载均衡器如何实现呢？
MetalLB[1]，一个CNCF沙箱项目，使用标准路由协议(ARP/BGP)，实现裸机K8s集群的负载均衡器。
安装方式可参考官方文档：installation[2]
L2（子网）模式的结构，图源[3]
安装后我们获得如下两个组件：
•metallb-system/controller deployment。用于处理IP分配的控制器。•metallb-system/speakerdaemonset。集群中每个节点启动一个协议服务守护进程。
接着添加一个configmap配置metallb IP池。
代码语言：javascript复制apiVersion: v1
kind: ConfigMap
metadata:
namespace: metallb-system
name: config
data:
config: |
address-pools:
- name: default
protocol: layer2
addresses:
- 192.168.1.240-192.168.1.250这样当我们创建一个loadbalancer类型的service时,EXTERNAL-IP将会从地址池中获取一个用于外部访问的IP 192.168.1.243 当外部流量进入时，ARP将我们的请求地址广播获取所属的service，接着k8s内部 通过iptables 规则和 kube-proxy，将流量从服务端点引导到后端。
#nginx_deployment_service.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
name: nginx
namespace: metallb-system
spec:
selector:
matchLabels:
app: nginx
template:
metadata:
labels:
app: nginx
spec:
containers:
- name: nginx
image: nginx:latest
ports:
- name: http
containerPort: 80
---
apiVersion: v1
kind: Service
metadata:
namespace: metallb-system
name: nginx
spec:
ports:
- name: http
port: 80
protocol: TCP
targetPort: 80
selector:
app: nginx
type: LoadBalancer查看service kubectl get svc
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
nginx LoadBalancer 10.96.243.159 192.168.1.243 80:31052/TCP 40h测试访问：curl 192.168.1.243
# curl 192.168.1.243
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
<style>
html { color-scheme: light dark; }
body { width: 35em; margin: 0 auto;
font-family: Tahoma, Verdana, Arial, sans-serif; }
</style>
</head>负载均衡可以建立在 OSI 网络模型的不同级别上，主要是在 L4（传输层，例如 TCP/UDP）和 L7（应用层，例如 HTTP）上。在 Kubernetes 中，Services是 L4 的抽象，LoadBalancer类型负载均衡依然有局限性，同时我们看到每创建一个service对应的负载均衡器都会消耗一个静态IP，这并不合理。当然k8s中的另一种资源对象ingress可工作在 L7 层实现应用程序协议（HTTP/HTTPS）的负载均衡。
Ingress
Ingress[4] 公开了从集群外部到集群内服务[5]的 HTTP 和 HTTPS 路由。流量路由由 Ingress 资源上定义的规则控制。我们可以将 Ingress 配置为服务提供外部可访问的 URL、负载均衡流量、终止 SSL/TLS，以及提供基于名称的虚拟主机等能力。
我们所说的Ingress包含两个部分：
•ingress k8s资源对象：流量路由规则的控制•ingress-controller控制器：控制器的实现有非常多，可参考官方文档中列表Ingress 控制器[6]，这里我们使用k8s官方维护的控制器NGINX Ingress Controller[7]
外部流量进入集群时先经过ingress-controller，然后根据ingress配置的路由规则将请求转发到后端service。
ingress-controller
ingress-controller其实就是守护进程加一个反向代理的应用，守护进程不断监听集群中资源的变化，将ingress中的配置信息生成反向代理配置。在nginx-ingress controller中即生成nginx.conf的配置文件。
在本文中因为我们上面已经配置好了loadbalancer的服务，这样我们创建一个type为LoadBalancer的service关联这组pod，再把域名解析指向该地址，就实现了集群服务的对外暴露。当然你也可以使用NodePort、Hostnetwork的方式，感兴趣的小伙伴可以进行测试。
ingress-controller不是k8s内部组件，可以通过helm或资源清单方式安装,可查看ingress-nginx deploy[8]
代码语言：javascript复制kubectl apply -f https://raw.githubusercontent.com/kubernetes/ingress-
nginx/controller-v1.1.0/deploy/static/provider/cloud/deploy.yaml然后我们编辑service
代码语言：javascript复制kubectl edit service/ingress-nginx-controller -n ingress-nginx修改spec.type为LoadBalancer即可。
这样我们创建好了nginx-ingress controller，下一步就要配置ingress路由规则。
ingress规则
host：k8s.com
基于url的路由：
•/api/v1•/api/v2
这两个url分别路由到不同的service中
代码语言：javascript复制apiVersion: extensions/v1beta1
kind: Ingress
metadata:
name: test
namespace: training
annotations:
ingress.kubernetes.io/rewrite-target: /
spec:
rules:
- host: k8s.com
http:
paths:
- path: /api/v1
backend:
serviceName: service-apiv1
servicePort: 80
- path: /api/v2
backend:
serviceName: service-apiv2
servicePort: 80ingress.kubernetes.io/rewrite-target是nginx-ingress controller的一个注解，当后端服务中暴露的 URL 与 Ingress 规则中指定的路径不同时可以通过此重定向。
查看svc可以看到此时控制器已经获得了一个EXTERNAL-IP
代码语言：javascript复制#kubectl get svc -n ingress-nginx
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
ingress-nginx-controller LoadBalancer 10.96.87.23 192.168.1.245 80:32603/TCP,443:31906/TCP 621d
ingress-nginx-controller-admission ClusterIP 10.96.109.70 <none> 443/TCP 621d现在nginx-ingress controller和ingress路由规则都有了。
我们可以进入到nginx-ingress controller pod中查看nginx.conf可以看到此时我们的ingress配置已经被生成为路由规则。
接下来就是指定我们的backend，即上面的server-apiv1/2
我们添加两个用于暴露的service和deployment，和loadbalancer中测试清单一样，我们稍稍修改一下名称即可。
代码语言：javascript复制apiVersion: apps/v1
kind: Deployment
metadata:
name: nginx-apiv1
namespace: training
spec:
selector:
matchLabels:
app: nginx-apiv1
template:
metadata:
labels:
app: nginx-apiv1
spec:
containers:
- name: nginx-apiv1
image: nginx:latest
ports:
- name: http
containerPort: 80
---
apiVersion: v1
kind: Service
metadata:
namespace: training
name: service-apiv1
spec:
ports:
- name: http
port: 80
protocol: TCP
targetPort: 80
selector:
app: nginx-apiv1
type: NodePort将nginx-apiv1换成nginx-apiv2创建出另一个service和deployment。
最后修改hosts解析k8s.com
代码语言：javascript复制192.168.1.245 k8s.com使用curl命令测试url路由（记得在pod中添加测试文件，否则虽然url进行了路由但会出现404）。
代码语言：javascript复制# curl k8s.com/api/v1/index.html
api v1
# curl k8s.com/api/v2/index.html
api v2这样我们对ingress有了初步了解，ingress的路由规则可自定项较多也比较繁杂，可通过官方文档进一步学习。
References
[1] MetalLB: https://metallb.universe.tf/
[2] installation: https://metallb.universe.tf/installation/
[3] 图源: https://banzaicloud.com/tags/metallb/
[4] Ingress: https://kubernetes.io/docs/reference/generated/kubernetes-api/v1.23/#ingress-v1beta1-networking-k8s-io
[5] 服务: https://kubernetes.io/zh/docs/concepts/services-networking/service/
[6] Ingress 控制器: https://kubernetes.io/zh/docs/concepts/services-networking/ingress-controllers/
[7] NGINX Ingress Controller: https://kubernetes.github.io/ingress-nginx/
[8] ingress-nginx deploy: https://kubernetes.github.io/ingress-nginx/deploy/#quick-start
