目录
1、概述
2、安装Etcd
3、创建etcd相关目录即数据文件(即数据文件和配置文件的保存目录)
4、编辑节点node-3配置文件
5、节点Etcd03创建一个Etcd服务
6、为其他节点重复2、3、4、5这4步骤,记得修改对应的IP。
7、重启Etcd服务并查看服务状态
8、测试集群
1、概述
Etcd构建自身高可用集群主要有三种形式:
静态发现: 预先已知Etcd集群中有哪些节点,在启动时通过--initial-cluster参数直接指定好etcd的各个节点地址。
Etcd动态发现: 静态配置前提是在搭建集群之前已经提前知道各节点的信息,而实际应用中可能存在预先并不知道各节点ip的情况,这时可通过已经搭建的Etcd来辅助搭建新的Etcd集群。 通过已有的Etcd集群作为数据交互点,然后在扩展新的集群时实现通过已有集群进行服务发现的机制。比如官方提供的:discovery.etcd.io 。
DNS动态发现: 通过DNS查询方式获取其他节点地址信息。
本篇博客将介绍如何通过静态发现这种方式来部署一个etcd集群,这种方式也是最简单的。
注:通常都是将集群节点部署为3,5,7,9个节点,为什么不能选择偶数个节点?
- 偶数个节点集群不可用风险更高,表现在选主过程中,有较大概率或等额选票,从而触发下一轮选举。
- 偶数个节点集群在某些网络分割的场景下无法正常工作。当网络分割发生后,将集群节点对半分割开。 此时集群将无法工作。按照RAFT协议,此时集群写操作无法使得大多数节点同意,从而导致写失败,集群无法正常工作。
2、安装Etcd
1.创建并切换到下载目录。
代码语言:javascript复制mkdir -p /usr/local/mytools && cd /usr/local/mytools
注:-p参数作用:没有父目录也可以创建,否则报错
2.直接下载速度太慢,建议提前下载安装包再用rz上传。
https://github.com/etcd-io/etcd/releases/download/v3.4.3/etcd-v3.4.3-linux-amd64.tar.gz
3.解压文件到当前目录 。
代码语言:javascript复制 tar xzvf etcd-v3.4.3-linux-amd64.tar.gz
4.切换至etcd根目录,运行查看命令ls,里面会有一些文档和2个二进制文件etcd和etcdctl。etcd是server端,etcdctl是客户端 。
代码语言:javascript复制cd etcd-v3.4.3-linux-amd64 && ls
5.将etcd和etcdctl二进制文件复制到/usr/local/bin目录,这样系统中可以直接调用etcd/etcdctl这两个程序。
代码语言:javascript复制cp etcd etcdctl /usr/local/bin
6.查看etcd版本
代码语言:javascript复制 etcd --version
3、创建etcd相关目录即数据文件(即数据文件和配置文件的保存目录)
代码语言:javascript复制mkdir -p /var/lib/etcd/ && mkdir -p /etc/etcd/
4、编辑节点node-3配置文件
注:
- 重要的事情说三遍:修改/etc/etcd/etcd.conf文件要先删除/var/lib/etcd目录下保存的数据,再重新启用 服务,不然失败。
- 重要的事情说三遍:修改/etc/etcd/etcd.conf文件要先删除/var/lib/etcd目录下保存的数据,再重新启用 服务,不然失败。
- 重要的事情说三遍:修改/etc/etcd/etcd.conf文件要先删除/var/lib/etcd目录下保存的数据,再重新启用 服务,不然失败 。
cd /var/lib/etcd && rm -rf *
代码语言:javascript复制 vim /etc/etcd/etcd.conf
代码语言:javascript复制把IP地址改成你自己的虚拟机或服务器IP地址
#########################################################
###### 请根据各节点实际情况修改配置:1/3/4/5/6/7 ######
#########################################################
#[Member]
#1.节点名称,必须唯一
ETCD_NAME="etcd03"
#2.设置数据保存的目录
ETCD_DATA_DIR="/var/lib/etcd"
#3.用于监听其他etcd member的url
ETCD_LISTEN_PEER_URLS="http://192.168.58.134:2380"
#4.该节点对外提供服务的地址
ETCD_LISTEN_CLIENT_URLS="http://192.168.58.134:2379,http://127.0.0.1:2379"
#[Clustering]
#5.对外公告的该节点客户端监听地址
ETCD_ADVERTISE_CLIENT_URLS="http://192.168.58.134:2379"
#6.该节点成员对等URL地址,且会通告群集的其余成员节点
ETCD_INITIAL_ADVERTISE_PEER_URLS="http://192.168.58.134:2380"
#7.集群中所有节点的信息
ETCD_INITIAL_CLUSTER="etcd01=http://192.168.58.133:2380,etcd03=http://192.168.58.134:2380,etcd05=http://192.168.58.135:2380"
#8.创建集群的token,这个值每个集群保持唯一
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
#9.初始集群状态,新建集群的时候,这个值为new;
ETCD_INITIAL_CLUSTER_STATE="new"
#10.flannel操作etcd使用的是v2的API,而kubernetes操作etcd使用的v3的API
# 为了兼容flannel,将默认开启v2版本,故配置文件中设置
ETCD_ENABLE_V2="true"
5、节点Etcd03创建一个Etcd服务
代码语言:javascript复制 vim /etc/systemd/system/etcd.service
代码语言:javascript复制[Unit]
Description=Etcd Server
Documentation=https://github.com/etcd-io/etcd
After=network.target
[Service]
User=root
Type=notify
## 根据实际情况修改EnvironmentFile和ExecStart这两个参数值
## 1.EnvironmentFile即配置文件的位置,注意“-”不能少
EnvironmentFile=-/etc/etcd/etcd.conf
## 2.ExecStart即etcd启动程序位置
ExecStart=/usr/local/bin/etcd
Restart=always
RestartSec=10s
LimitNOFILE=65536
[Install]
WantedBy=multi-user.target
注1:如果是Centos7以上的系统,它都自带了firewalld防火墙,并使用firewalld作为防火墙,则需要开放端口2379和2380。 firewall-cmd --zone=public --add-port=2379/tcp --permanent && firewall-cmd --zone=public --add-port=2380/tcp --permanent && firewall-cmd --reload && firewall-cmd --list-port 开启防火墙 systemctl start firewalld.service 重启防火墙: firewall-cmd --reload 查询有哪些端口是开启的: firewall-cmd --list-port
注2:etcd 集群搭建,启动时候报错: master-16 etcd[25461]: request cluster ID mismatch (got bdd7c7c32bde1208 want 698851d67fea3c17) 集群ip地址变化后,除了修改/etc/etcd/etcd.conf 文件并重新启用服务外,还需要删除/var/lib/etcd目录下保存的数据; 解决办法:删除了etcd集群所有节点中的--data_dir的内容。 分析: 因为集群搭建过程,单独启动过单一etcd做为测试验证,集群内第一次启动其他etcd服务时候,是通过发现服务引导的,所以需要删除旧的成员信息 。 cd /var/lib/etcd && rm -rf *
注3:集群ip地址变化后,除了修改/etc/etcd/etcd.conf 文件并重新启用服务外,还需要删除/var/lib/etcd目 录下保存的数据。 这里面包括两部分的数据,一是etcd数据库数据、二是etcd集成成员信息数据,都要删除。 数据库文件:${name}.etcd 成员数据文件:member/*
6、为其他节点重复2、3、4、5这4步骤,记得修改对应的IP。
注:etcd集群最少要同时启动2个节点,集群才能启动成功
7、重启Etcd服务并查看服务状态
代码语言:javascript复制所有节点都要执行。
systemctl daemon-reload && systemctl enable etcd && systemctl start etcd
如果启动失败,可通过如下命令查看原因
代码语言:javascript复制 systemctl status etcd.service
查看启动详情
代码语言:javascript复制 journalctl -xe
显示实时日志
代码语言:javascript复制 journalctl -f
查看本机监听端口
代码语言:javascript复制 netstat -tunlp|grep etcd
journalctl -xe -u etcd #查看日志细节 netstat -nal #查看接口
分析命令主要包括
systemctl list-unit-files: 列出所有可用的 Unit systemctl list-units: 列出所有正在运行的 Unit systemctl --failed: 列出所有失败单元 systemctl mask httpd.service: 禁用服务 ystemctl unmask httpd.service systemctl kill httpd:杀死服务
8、测试集群
各节点重启启动完成后,在任意节点执行etcdctl member list可列所有集群节点信息,如下所示:
1.etcdctl命令
代码语言:javascript复制 etcdctl member list
代码语言:javascript复制etcdctl member list -w table
代码语言:javascript复制etcdctl endpoint health
代码语言:javascript复制etcdctl endpoint status
2.http命令
代码语言:javascript复制etcdctl --endpoints=http://192.168.58.133:2379,http://192.168.58.134:2379,http://192.168.58.135:2379:2379 endpoint health
代码语言:javascript复制 etcdctl --endpoints=http://192.168.58.133:2379 endpoint health
代码语言:javascript复制etcdctl --endpoints=http://192.168.58.133:2379 member list -w table