RHCS(Red Hat Cluster Suite):能够提供高可用性、高可靠性、负载均衡、存储共享且经济廉价的集群工具集合。 LUCI:是一个基于web的集群配置方式,通过luci可以轻松的搭建一个功能强大的集群系统。 CLVM:Cluster逻辑卷管理,是LVM的扩展,这种扩展允许cluster中的机器使用LVM来管理共享存储。 CMAN:分布式集群管理器。 GFS(Global File System)共享文件系统:以本地文件系统的形式出现。多个Linux机器通过网络共享存储设备,每一台机器都可以将网络共享磁盘看作是本地磁盘,如果某台机器对某个文件执行了写操作,则后来访问此文件的机器就会读到写以后的结果
在之前实验的基础上,结合如下拓扑图,在RHCS集群中利用iSCSI共享存储配置cLVM GFS参考之前的文章
CentOS6中RHCS集群的简单实践 CentOS6下配置基于CHAP认证的iSCSI网络存储服务
1)具体测试的环境如上图所示
1)10.20.10.140 node1.walkingcloud.cn node1
2)10.20.10.141 node2.walkingcloud.cn node2
3)10.20.10.142 node3.walkingcloud.cn node3
4) 10.20.10.139 storage.walkingcloud.cn storage
10.20.10.139iscsi服务端已经配置好iscsi-target,LUN大小约为43G,且各个节点也已经全部自动登录target
iscsiadm -m discovery -t sendtargets -p 10.20.10.139
iscsiadm -m node -T iqn.2019-10.cn.walkingcloud:storage.disk -p 10.20.10.139 -l
2)cLVM和GFS相关工具包默认已经在安装cman rgmanager RHCS集群套件时已经安装上了
3)现在先在节点node1上配置cLVM
lvmconf --enable-cluster
ssh node2 "lvmconf --enable-cluster"
ssh node3 "lvmconf --enable-cluster"
4)对iscsi网络存储磁盘进行分区
5)进行LVM的pv vg lv创建操作
pvcreate /dev/sdb1
vgcreate VG_GFS /dev/sdb1
lvcreate -L 10G -n lv_gfs_data VG_GFS
如上图所示,创建lv时有发生报错,重启各个节点的clvmd服务解决
service clvmd restart
6)node1上创建GFS文件系统,挂载并测试读写
mkfs.gfs2 -j 2 -p lock_dlm -t walkingcloud:locktable1 /dev/mapper/VG_GFS-lv_gfs_data
mkdir /GFS_DATA
mount -t gfs2 /dev/mapper/VG_GFS-lv_gfs_data /GFS_DATA/
7)其它节点上只需要挂载即可
8)由于创建GFS文件系统时的-j 数量为2,在节点node3上挂载提示数量不足
这时可以在node1上增加GFS文件系统节点数量
gfs2_jadd -j 1 /dev/mapper/VG_GFS-lv_gfs_data
然后回到node3重新挂载即可,这样三个节点就可以对这个LVM 逻辑卷进行共享读写操作了
9)扩展cLVM的逻辑卷大小
vgdisplay VG_GFS
lvextend -L 8G /dev/mapper/VG_GFS-lv_gfs_data
gfs2_grow /dev/mapper/VG_GFS-lv_gfs_data
可以看到node2,node3上的lvm卷也自动变为18G了