概述
etcd 是一个基于 Raft 协议实现。开源的、分布式的键值存储系统。主要用于在分布式系统中提供强一致性和高可用性的数据存储。
etcd 在 Kubernetes 中的作用如下:
- 集群状态数据存储:集群配置,集群状态信息等
- 保证集群一致性和高可用:多实例的数据同步
- 服务发现和配置共享
- 集群数据备份和恢复
作为 Kubernetes 的核心组件,etcd 为集群的稳定性、可靠性和一致性提供了支撑。
安装
命令行启动
安装参考官方文档 etcd install 指引即可,安装后验证:
代码语言:javascript复制$ etcd --version
输出:
代码语言:javascript复制etcd Version: 3.5.10
Git SHA: 0223ca52b
Go Version: go1.21.3
Go OS/Arch: darwin/arm64
phoenix@xiaobindeMacBook-Pro ~ % etcd
在终端启动 etcd:
代码语言:javascript复制$ etcd
输出:
代码语言:javascript复制{"level":"warn","ts":"2023-11-23T06:59:49.265098 0800","caller":"embed/config.go:676","msg":"Running http and grpc server on single port. This is not recommended for production."}
{"level":"info","ts":"2023-11-23T06:59:49.265318 0800","caller":"etcdmain/etcd.go:73","msg":"Running: ","args":["etcd"]}
{"level":"info","ts":"2023-11-23T06:59:49.265352 0800","caller":"etcdmain/etcd.go:100","msg":"failed to detect default host","error":"default host not supported on darwin_arm64"}
{"level":"warn","ts":"2023-11-23T06:59:49.265361 0800","caller":"etcdmain/etcd.go:105","msg":"'data-dir' was empty; using default","data-dir":"default.etcd"}
#.....
容器启动
在容器中启动 etcd 实例:
代码语言:javascript复制$ docker run -d registry.aliyuncs.com/google_containers/etcd:3.5.0-0 /usr/local/bin/etcd
进入 etcd 容器:
代码语言:javascript复制docker ps|grep etcd
docker exec –it <containerid> sh
使用
etcd
的使用较为简单,主要通过 etcdctl
来执行日常操作
查看集群
查看 etcd 集群中的所有成员:
代码语言:javascript复制$ etcdctl member list --write-out=table
输出:
代码语言:javascript复制 ------------------ --------- --------- ----------------------- ----------------------- ------------
| ID | STATUS | NAME | PEER ADDRS | CLIENT ADDRS | IS LEARNER |
------------------ --------- --------- ----------------------- ----------------------- ------------
| 8e9e05c52164694d | started | default | http://localhost:2380 | http://localhost:2379 | false |
------------------ --------- --------- ----------------------- ----------------------- ------------
存储键值对
通过 put
命令用于将指定的值存储在指定的键下。使用方法如下:
$ etcdctl put [key] [value]
例如,要存储键为 mykey
和值为 myvalue
的键值对,你可以运行:
$ etcdctl put mykey myvalue
输出:
代码语言:javascript复制OK
这会在 etcd
中创建或更新键 mykey
的值为 myvalue
。
获取键值对
get
命令用于检索存储在指定键下的值。使用方法如下:
$ etcdctl get [key]
继续上面的例子,要获取 mykey
的值,你可以运行:
$ etcdctl get mykey
输出:
代码语言:javascript复制mykey
myvalue
观察键值变化
通过 watch
命令可以观察键的变化。当指定的键发生变化(例如更新或删除)时,会输出通知。使用方法如下:
$ etcdctl watch [key]
例如,要观察 mykey
的变化,你可以运行:
$ etcdctl watch mykey
然后,在另一个终端更新 mykey
操作:
$ etcdctl put mykey newValue
$ etcdctl put mykey newValue2
$ etcdctl put mykey newValue3
然后执行 watch
命令的终端输出:
PUT
mykey
newValue
PUT
mykey
newValue2
PUT
mykey
newValue3
租约机制
租约(Lease)是一种允许将键值对与一个有时间限制的租约关联的机制。租约到期后,与其关联的键值对会自动删除。
这个特性主要用于:保存临时配置,实现分布式锁,心跳机制,集群成员管理等场景。
创建租约
使用 lease grant
命令可以创建一个租约:
$ etcdctl lease grant 60
输出:
代码语言:javascript复制lease 694d8c03cd2f520c granted with TTL(60s)
这个命令会创建一个持续 60 秒的租约,并且返回一个租约 ID,用于后续的操作。
列出所有租约
使用 lease list
可以查看所有活跃的租约:
$ etcdctl lease list
输出:
代码语言:javascript复制found 1 leases
694d8c03cd2f520c
这里列出当前所有活跃的租约
将键绑定到租约
使用 --lease=<LEASE_ID>
选项参数可以把键绑定在租约上:
$ etcdctl put mykey myvalue --lease=694d8c03cd2f520c
输出:
代码语言:javascript复制OK
这个键将在租约到期时自动删除。
保持活跃
使用 lease keep-alive
可以对租约进行续租:
$ etcdctl lease keep-alive 694d8c03cd2f520c
输出:
代码语言:javascript复制lease 694d8c03cd2f5214 keepalived with TTL(60)
lease 694d8c03cd2f5214 keepalived with TTL(60)
lease 694d8c03cd2f5214 keepalived with TTL(60)
# ....
这条命令将保持租约活跃,防止其到期。
撤销租约
使用 lease revoke
可以提前结束租约:
$ etcdctl lease revoke 694d8c03cd2f520c
输出:
代码语言:javascript复制lease 694d8c03cd2f520c revoked
这将撤销租约并删除所有与之相关联的键。
备份和恢复
在 etcd 中,snapshot
功能是一种重要的数据保护和恢复机制。它允许你保存 etcd
数据库的当前状态,并在需要时从这些快照中恢复数据。
创建快照
使用 etcdctl snapshot save
命令可以创建当前的数据快照:
$ etcdctl snapshot save snapshot.db
输出:
代码语言:javascript复制{"level":"info","ts":"2023-11-25T11:05:38.646873 0800","caller":"snapshot/v3_snapshot.go:65","msg":"created temporary db file","path":"snapshot.db.part"}
{"level":"info","ts":"2023-11-25T11:05:38.652861 0800","logger":"client","caller":"v3@v3.5.10/maintenance.go:212","msg":"opened snapshot stream; downloading"}
{"level":"info","ts":"2023-11-25T11:05:38.653092 0800","caller":"snapshot/v3_snapshot.go:73","msg":"fetching snapshot","endpoint":"127.0.0.1:2379"}
{"level":"info","ts":"2023-11-25T11:05:38.657127 0800","logger":"client","caller":"v3@v3.5.10/maintenance.go:220","msg":"completed snapshot read; closing"}
{"level":"info","ts":"2023-11-25T11:05:38.660291 0800","caller":"snapshot/v3_snapshot.go:88","msg":"fetched snapshot","endpoint":"127.0.0.1:2379","size":"98 kB","took":"now"}
{"level":"info","ts":"2023-11-25T11:05:38.660394 0800","caller":"snapshot/v3_snapshot.go:97","msg":"saved","path":"snapshot.db"}
这会将当前 etcd 数据库的状态保存到名为 snapshot.db
的文件中。
恢复数据
使用 etcdctl snapshot restore
命令可以从快照文件中恢复数据:
$ etcdctl snapshot restore snapshot.db
输出:
代码语言:javascript复制2023-11-25T11:06:10 08:00 info snapshot/v3_snapshot.go:260 restoring snapshot {"path": "snapshot.db", "wal-dir": "default.etcd/member/wal", "data-dir": "default.etcd", "snap-dir": "default.etcd/member/snap"}
2023-11-25T11:06:10 08:00 info membership/store.go:141 Trimming membership information from the backend...
2023-11-25T11:06:10 08:00 info membership/cluster.go:421 added member {"cluster-id": "cdf818194e3a8c32", "local-member-id": "0", "added-peer-id": "8e9e05c52164694d", "added-peer-peer-urls": ["http://localhost:2380"]}
2023-11-25T11:06:10 08:00 info snapshot/v3_snapshot.go:287 restored snapshot {"path": "snapshot.db", "wal-dir": "default.etcd/member/wal", "data-dir": "default.etcd", "snap-dir": "default.etcd/member/snap"}
这会从 snapshot.db
中恢复数据,并且配置新的 etcd 实例。
在 K8S 中创建 etcd
安装 Helm
首先,安装 Helm 包管理工具,它主要用于简化 Kubernetes 应用程序的部署和管理。
添加 bitnami 仓库
然后将 Bitnami 仓库添加到你的 Helm 包中:
代码语言:javascript复制$ helm repo add bitnami https://charts.bitnami.com/bitnami
Bitnami 提供了许多预打包的 K8S 应用和服务,添加它你可以方便的搜索、配置和安装各种安全可靠的应用。
下载 chart
从 Bitnami 仓库下载解压编辑 etcd
的 Helm chart:
$ helm pull bitnami/etcd
$ tar -xvf etcd-6.8.4.tgz
$ vi etcd/values.yaml
在本地环境为了避免产生不必要的数据文件,将数据持久化设置为 false:
代码语言:javascript复制persistence:
## @param persistence.enabled If true, use a Persistent Volume Claim. If false, use emptyDir.
enabled: false
这意味着 etcd 数据不会被持久化存储,当 Pod 重启时数据会丢失。
安装 chart
将 chart 部署到 Kubernetes 集群中:
代码语言:javascript复制$ helm install my-release ./etcd
执行这个命令,Helm 会根据位于 /etcd
目录中的 values.yaml
文件和其他 chart 文件,创建一组 Kubernetes 资源来部署 etcd 应用。
启动 etcd 客户端
启动 etcd 客户端:
代码语言:javascript复制$ kubectl run my-release-etcd-client --restart='Never' --image docker.io/bitnami/etcd:3.5.0-debian-10-r94 --env ROOT_PASSWORD=$(kubectl get secret --namespace default my-release-etcd -o jsonpath="{.data.etcd-root-password}" | base64 --decode) --env ETCDCTL_ENDPOINTS="my-release-etcd.default.svc.cluster.local:2379" --namespace default --command -- sleep infinity
此命令创建一个 etcd 客户端 Pod,用于和 etcd 服务进行交互。
验证
首先查看 Pod:
代码语言:javascript复制$ kubectl get pod
输出:
代码语言:javascript复制NAME READY STATUS RESTARTS AGE
my-release-etcd-0 1/1 Running 0 7m28s
my-release-etcd-client 1/1 Running 0 74s
进入容器:
代码语言:javascript复制$ kubectl exec --namespace default -it my-release-etcd-client -- bash
存储键:
代码语言:javascript复制$ etcdctl --user root:$ROOT_PASSWORD put /message Hello
获取键:
代码语言:javascript复制$ etcdctl --user root:$ROOT_PASSWORD get /message
输出:
代码语言:javascript复制/message
Hello
到这里在 K8S 中创建 etcd,从设置环境、安装 etcd,到通过客户端验证的基本使用到这里就完成了。