Kubernetes 动手系列想通过一系列动手的 demo ，来帮助读者快速的理解上手 Kubernetes 一些运行机制。会包括如下内容：
- 手动部署
- 开发一个 operator
- 开发 webhook
- 开发 chart 包
- 开发 scheduler
- 开发 stroagecalss
- 开发 cloud provider
- virtual kubelet
本文要求读者对 Kubernetes 的架构和使用有基本的了解。
本文通过手工简单部署一个 K8S 集群来了解 K8S 整体的架构，以及内部组件的关系。
本文介绍的部署过程主要是为了让读者能够理解 K8S 的运行原理，为了简化流程，这里不涉及高可用、高性能等解决方案。
安装说明：
- 本文仅仅是在两个节点上部署所有的组件，如图所示包括 MASTER 和 NODE
- 所有的组件都安装在 /opt/{component} 的根目录下，包括二进制文件和配置文件
- 另外组件进程由 systemd 来管理，其配置文件在 /etc/systemd/system/{component}.service
本文所有的安装代码已经放在 https://github.com/bilc/kubernetes-deploy，供大家参考。
1 前期准备
配置环境变量文件 environment，如下，只修改 MASTER_IP 和 NODE_IP 即可。
代码语言：javascript复制export MASTER_IP=10.1.0.86
export NODE_IP=10.1.0.87
#service
export SERVICE_CIDR="10.254.0.0/16" #service使用的虚拟IP
export CLUSTER_KUBERNETES_SVC_IP="10.254.0.1" #apiserver的service，会被pod访问
export NODE_PORT_RANGE="30000-32767" #nodeport类型的service分配的端口
#for coredns & kubelet
export CLUSTER_DNS_DOMAIN="cluster.local" #域名后缀
export CLUSTER_DNS_SVC_IP="10.254.0.2" #dnsserver地址
#pod
export CLUSTER_CIDR="172.30.0.0/16" #pod网络分配的地址段
主要需要配置免密登录和下载二进制文件，这里的 download.sh 下载的文件可能需要翻墙解决。
代码语言：javascript复制ssh-keygen #生成免密登录的公私钥
. envrionment
./ssh-nopwd.sh #设置免密登录
cd cert
./download.sh #这里需要自行翻墙解决
./install.sh #在目标机上创建目录和上传文件
cd -2 证书生成
首先介绍一下证书文件类型：
- ca.pem, ca-key.pem：证书颁发机构自己的证书和私钥
- *.pem, *-key.pem：该模块的证书和私钥
- *.kubeconfig：访问 K8S 的配置文件，内部包括集群的 apiserver、ca、自己的证书和私钥，作用等同配置单独公私钥等参数。
在签发证书时，注意作为被访问节点时，需要将自己被访问所有入口 IP 和域名都放到证书 hosts 字段。
命令 | 参数作用 | 参数 | 说明 |
|---|---|---|---|
kube-apiserver | 访问etcd | --etcd-cafile=${DIR}/ca.pem \--etcd-certfile=${DIR}/kubernetes.pem \--etcd-keyfile=${DIR}/kubernetes-key.pem \ | |
访问kubelet | --kubelet-certificate-authority=${DIR}/ca.pem \--kubelet-client-certificate=${DIR}/kubernetes.pem \--kubelet-client-key=${DIR}/kubernetes-key.pem \ | apiserver 对 kubelet 的依赖主要是需要 proxy 一些命令例如 kubectl exec | |
被其他组件访问 | --client-ca-file=${DIR}/ca.pem \--tls-cert-file=${DIR}/kubernetes.pem \--tls-private-key-file=${DIR}/kubernetes-key.pem \ | ||
secret资源的加密 | --service-account-key-file=${DIR}/service-account.pem | 需要与kube-contrller manager 配合使用 | |
kube-controller-manager | secret资源的加密 | --service-account-private-key-file=/opt/kube-controller-manager/service-account-key.pem \ | |
访问kube-apiserver | --kubeconfig=/opt/kube-controller-manager/kube-controller-manager.kubeconfig \ | ||
为pod内访问集群签发证书 | --cluster-signing-cert-file=/opt/kube-controller-manager/ca.pem \--cluster-signing-key-file=/opt/kube-controller-manager/ca-key.pem \ | ||
kube-scheduler | 访问kube-apiserver | kubeconfig: "/opt/kube-scheduler/kube-scheduler.kubeconfig" | |
kubelet | 访问kube-apiserver | --kubeconfig=/opt/kubelet/${NODE_IP}.kubeconfig \ | |
被kube-apiserver访问 | tlsCertFile: "/opt/kubelet/${NODE_IP}.pem"tlsPrivateKeyFile: "/opt/kubelet/${NODE_IP}-key.pem"clientCAFile: "/opt/kubelet/ca.pem" | ||
etcd | 被客户端访问 | --trusted-ca-file=/opt/etcd/ca.pem \--cert-file=/opt/etcd/etcd.pem \--key-file=/opt/etcd/etcd-key.pem \ | |
访问peer和被peer访问 | --peer-trusted-ca-file=/opt/etcd/ca.pem \--peer-cert-file=/opt/etcd/etcd.pem \--peer-key-file=/opt/etcd/etcd-key.pem \ |
生成证书的示例如下：
所有执行命令执行如下：
代码语言：javascript复制. environment
cd cert
. ./install.sh
cd -3 部署ETCD
生产环境的 etcd 需要部署三节点或者五节点，这里为了节省资源和方便部署，只部署单节点即可。
4 部署MASTER
这里不一一列举所有参数意义，如果需要可以参考官网，几个重点参数如下：
部署 kube-apiserver 主要的参数除了一些证书配置，还包括：
--service-cluster-ip-range={SERVICE_CIDR} \ service 分配 IP 的范围--service-node-port-range={NODE_PORT_RANGE} \ Nodeport 分配端口
kube-controller-manager 的重点参数：
--allocate-node-cidrs=true \ 为 node 上的 pod 分配 IP 段 --cluster-cidr=${CLUSTER_CIDR} \ pod 总的 IP 段
--service-cluster-ip-range=${SERVICE_CIDR} \ service 的 IP 范围
kube-scheduler 会主动连接 apiserver 并 watch 相关事件
代码语言：javascript复制. environment
cd master
./kube-apiserver.sh
./kube-controller-manager.sh
./kube-scheduler.sh
cd -5 部署NODE
node 上主要包括 kubelet ，kube-proxy 和容器服务。
其中容器服务相关的标准有 CRI 和 OCI ：
- CRI ( Container Runtime Interface ) 是 Kubernetes 定义的一组 gRPC 服务。Kubelet 作为客户端，基于gRPC 框架，通过 Socket 和容器运行时通信。它包括两类服务：镜像服务（ImageService）和运行时服务 ( RuntimeService ) ，一些实现包括：containerd，cri-o。
- OCI ( Open Container Initiative ) 定义了创建容器的格式和运行时的开源行业标准，包括镜像规范 ( Image-Specification ) 和运行时规范 ( RuntimeSpecification ) ，一些实现包括：runc，kata。
如下图所示，本文使用下图中的第二种方式：
. environment
cd node
. ./containerd.sh
. ./kubelet.sh
. ./kube-proxy.sh
cd -6 部署 Flannel 和 CoreDNS
接下来部署 Kubernetes 的网络相关的插件，Flannel 和 CoreDNS。
CoreDNS 是 Kubernetes 域名服务器的一种实现方案，通过与 API Server 同步 service 和 pod 数据，来做 DNS 解析。运行示意如下：
Flannel 是为 Kubernetes 提供的 overlay 网络方案，会在每一个宿主机上运行名为 flanneId 代理，其负责为宿主机预先分配一个子网，并为 Pod 分配 IP 地址。Flannel 使用 Kubernetes 或 etcd 来存储网络配置、分配的子网和主机公共IP等信息。数据包则通过 VXLAN 、UDP 或 host-gw 这些类型的后端机制进行转发。如下图所示：
. environment
cd flannel
./flannel.sh
cd -
cd coredns
./coredns.sh
cd -7 验证集群
kubectl apply ./pod.yaml
kubectl get pods本文以 Kubernetes 1.18 版本为例，简单的进行了部署，主要是为了读者能够从中理解 Kubernetes 的组件关系。在部署中，一般出现的问题是证书和权限导致的，不同的版本要求不同，在部署中需要注意。
招聘信息
基础架构部_云原生研发工程师
简历投递至：inf-cn-hr@baidu.com
工作描述
- 设计研发百度集团的 Cloud Native 解决方案和微服务中间件，云原生可观测产品（分布式监控、调用链分析、日志管理），支持百度集团、公有云、行业云
- 参与开源云原生系统的研发，如 Kubernetes 、Docker 、 Service Mesh 等技术
- 设计大规模服务运维场景下数据采集&压缩&传输系统、分布式时序数据存储&计算系统、分布式任务执行系统
- 研发高效的资源调度算法和架构，提升集群资源利用率，提升服务容量和稳定性
- 探索、研究业界最新的技术方向，开源技术产品，多云生态，提升百度智能云核心竞争力
职责要求
- 本科及以上学历，熟悉 C/C 、Java 或者 Go 中至少一门语言
- 熟悉或者了解虚拟化容器技术，有 Kubernetes 、 Mesos 、 Yarn 、 Docker 、 OpenStack 等社区开发经验优先
- 深刻理解数据结构和算法设计，精通 Java、Go、C/C 、PHP 中至少一门编程语言
- 良好的沟通能力和团队协作精神，严谨的工作态度与高质量意识
- 善于学习新的知识，动手能力强，有强烈的责任心，喜欢钻研技术
- 符合以下条件之一优先考虑：分布式系统理论与实践、云计算相关组件经验、开源社区活跃、项目经验丰富
