提供helm和yaml两种部署方式。
Helm部署步骤详见笔者git地址:
https://github.com/hepyu/k8s-app-config/tree/master/helm/min-cluster-allinone/es-min
yaml部署步骤详见笔者git地址:
https://github.com/hepyu/k8s-app-config/tree/master/yaml/min-cluster-allinone/es-min
目录
(1).容器化组件
(2).helm容器化方式
1.镜像准备
2.部署存储卷
3.helm部署master node
4.helm部署ingest node
5.helm部署data node
(3).yaml容器化方式
(4).yaml配置文件重点详解
1.pod亲和性
2.pod优雅关闭
3.pvc保护设置
正文
(1).容器化组件
容器化成功后的组件,因为是demo,所以replica=1,笔者的demo机器配置不高,需要节约。
(2).helm容器化方式
1.镜像准备
docker pull elasticsearch:6.4.3
重命名镜像为:docker.elastic.co/elasticsearch/elasticsearch:6.4.3
docker images |grep elasticsearch |awk '{print "docker tag ",1":"
增加helm仓库:
Add the elastic helm charts repo:
helm repo add elastic https://helm.elastic.co
2.部署存储卷
如下地址有存储卷的yaml配置,依次执行:
https://github.com/hepyu/k8s-app-config/tree/master/helm/min-cluster-allinone/es-min
代码语言:javascript复制kubectl apply -f es-min-data0-pv-local.yaml
kubectl apply -f es-min-data-storageclass-local.yaml
kubectl apply -f es-min-ingest0-pv-local.yaml
kubectl apply -f es-min-ingest-storageclass-local.yaml
kubectl apply -f es-min-master0-pv-local.yaml
kubectl apply -f es-min-master-storageclass-local.yaml
3.helm部署master node
helm install --name es-min-master --namespace es-min elastic/elasticsearch --version 6.4.3 --set masterService=es-min-master,nodeGroup=master,clusterName=es-min,roles.data=false,roles.ingest=false,volumeClaimTemplate.resources.requests.storage=1Gi,volumeClaimTemplate.storageClassName=es-min-master-pv-local,volumeClaimTemplate.accessModes[0]=ReadWriteOnce,replicas=1,minimumMasterNodes=1
--name:指定安装的helm套件的名称
--namespace:要部署到容器中哪个namespace
--version 6.4.3:指定要部署的es版本
--set:指定容器化的详细参数
masterService:指定es在k8s容器内部的service负载均衡的名字;代理后端的POD。
nodeGroup:因为master生产环境是不说多个节点,所以对这些节点分组,指定这个分组名字;
clusterName:指定elasticsearch集群的名字;
roles.data:指定容器是否开启data功能;
roles.ingest:指定容器是否开启ingest功能;
volumeClaimTemplate.resources.requests.storage:指定存储空间大小;
volumeClaimTemplate.storageClassName:指定存储空间的storageClassName;
volumeClaimTemplate.accessModes[0]:指定存储空间的访问模式,ReadWriteOnce表示PV只能被一个POD读写;
replicas:标识创建几个POD。
minimumMasterNodes:标识elasticsearch集群最少需要几个存活的master;
4.helm部署ingest node
helm install --name es-min-ingest --namespace es-min elastic/elasticsearch --version 6.4.3 --set masterService=es-min-master,nodeGroup=ingest,clusterName=es-min,roles.data=false,roles.master=false,volumeClaimTemplate.resources.requests.storage=1Gi,volumeClaimTemplate.storageClassName=es-min-ingest-pv-local,volumeClaimTemplate.accessModes[0]=ReadWriteOnce,replicas=1,minimumMasterNodes=1
5.helm部署data node
helm install --name es-min-data --namespace es-min elastic/elasticsearch --version 6.4.3 --set masterService=es-min-master,nodeGroup=data,clusterName=es-min,roles.master=false,roles.ingest=false,volumeClaimTemplate.resources.requests.storage=1Gi,volumeClaimTemplate.storageClassName=es-min-data-pv-local,volumeClaimTemplate.accessModes[0]=ReadWriteOnce,replicas=1,minimumMasterNodes=1
(3).yaml容器化方式
笔者github提供elasticsearch的yaml配置文件:
https://github.com/hepyu/k8s-app-config/tree/master/yaml/min-cluster-allinone/es-min
提供了一个deploy.sh,可以直接运行sh deploy.sh完成容器化;
或者依次执行命令:
代码语言:javascript复制kubectl apply -f es-min-data-storageclass-local.yaml
kubectl apply -f es-min-ingest-storageclass-local.yaml
kubectl apply -f es-min-master-storageclass-local.yaml
kubectl apply -f es-min-data0-pv-local.yaml
kubectl apply -f es-min-ingest0-pv-local.yaml
kubectl apply -f es-min-master0-pv-local.yaml
kubectl apply -f es-min-data-statefulset.yaml
kubectl apply -f es-min-ingest-statefulset.yaml
kubectl apply -f es-min-master-statefulset.yaml
kubectl apply -f es-min-pvc.yaml
kubectl apply -f es-min-service.yaml
(4).yaml配置文件重点详解
笔者的yaml配置文件中做了详细注释,可以直接进入github去阅读相关yaml配置文件,这里只罗列其中的重点:
1.pod亲和性
作为elasticsearch集群,data/ingest/master节点都是多个,相同类型的节点如master是不能工程拓扑到相同的workNode上的,防止一台workNode宕机后将部分数据不能访问(部分数据的primary和复本恰好都在这台宕机的workNode上)。
代码语言:javascript复制affinity:
#用于规定pod不可以和哪些pod部署在同一拓扑结构下
#因为我只有一台机器,所以只能部署1个data容器/节点,如果部署大于1的data容器,只能部署到相同的work-node节点上,违反了pod反亲和性规则。
podAntiAffinity:
#目前有两种主要的 node affinity:
#requiredDuringSchedulingIgnoredDuringExecution 和 preferredDuringSchedulingIgnoredDuringExecution。
#前者表示 pod 必须部署到满足条件的节点上,如果没有满足条件的节点,就不断重试;后者表示优先部署在满足条件的节点上,如果没有满足条件的节点,就忽略这些条件,按照正常逻辑部署。
requiredDuringSchedulingIgnoredDuringExecution:
- labelSelector:
matchExpressions:
- key: app
operator: In
values:
- es-min-data
#在 Kubernetes 1.4 版本中引入了 Pod 间的亲和性和反亲和性。
#Pod 间的亲和性和反亲和性允许根据已经在 node 上运行的 pod 的标签 来限制 pod 调度在哪个 node 上,而不是基于 node 上的标签。
#这些规则的形式是 “如果 X 已经运行一个或多个符合规则 Y 的 pod,那么这个 pod 应该(如果是反亲和性,则是不应该)运行在 X 上”。
#这里 Y 指具有关联命名空间列表的 LabelSelector(或者关联 “all” 命名空间);
#和 node 不同,由于 pod 都是有命名空间的(因此 pod 上的标签都隐式具有命名空间),
#所以基于 pod 标签的标签选择器(label selector)必须指定命名空间。
#概念上,X 是一个拓扑域,类似于 node、rack、cloud provider zone 和 cloud provider region 等等。您可以使用 topologyKey 来表示这个 X,topologyKey 是系统用来表示这个拓扑域的 node 标签,
#K8S 默认支持如下 topology domain。
#kubernetes.io/hostname
#failure-domain.beta.kubernetes.io/zone
#failure-domain.beta.kubernetes.io/region
#既然 topologyKey 是拓扑域,那 Pod 之间怎样才是属于同一个拓扑域?
#如果使用 k8s.io/hostname,
#则表示拓扑域为 Node 范围,那么 k8s.io/hostname 对应的值不一样就是不同的拓扑域。
#比如 Pod1 在 k8s.io/hostname=node1 的 Node 上,Pod2 在 k8s.io/hostname=node2 的 Node 上,Pod3 在 k8s.io/hostname=node1 的 Node 上,则 Pod2 和 Pod1、Pod3 不在同一个拓扑域,而Pod1 和 Pod3在同一个拓扑域。
#如果使用 failure-domain.k8s.io/zone ,
#则表示拓扑域为一个区域。同样,Node 的标签 failure-domain.k8s.io/zone 对应的值不一样也不是同一个拓扑域,
#比如 Pod1 在 failure-domain.k8s.io/zone=beijing 的 Node 上,Pod2 在 failure-domain.k8s.io/zone=hangzhou 的 Node 上,则 Pod1 和 Pod2 不属于同一个拓扑域。
topologyKey: kubernetes.io/hostname
2.pod优雅关闭
代码语言:javascript复制 #如果您的Pod通常需要超过30秒才能关闭,请确保增加优雅终止宽限期。可以通过在Pod YAML中设置terminationGracePeriodSeconds选项来实现.
#如果容器在优雅终止宽限期后仍在运行,则会发送SIGKILL信号并强制删除。与此同时,所有的Kubernetes对象也会被清除。
terminationGracePeriodSeconds: 120
3.pvc保护设置
防止误删除了PVC,如果发现PVC还有POD使用,即使执行了delete pvc的操作,依然不会删除,只有当pod也被杀掉后才会删除掉pvc。