牧羊犬(Sheepdog) 是由NTT的3名日本研究员开发的开源项目,提供分布式存储管理功能。牧羊犬提供高可用性的KVM提供块级存储卷类似亚马逊电子交易系统(弹性块存储虚拟机)的客户机。目前国内阿里等一些大公司在使用。
一、Sheepdog架构图
如上图:
采用无中心节点的全对称架构,无单点故障,存储容量和性能可线性扩展;
新增节点通过简单配置可自动加入(IP:PORT),数据自动实现负载均衡;
节点故障时,数据可自动恢复;
直接支持QEMU/KVM应用;
二、数据具体存储方式
如上图:
以VDI Object存储VM数据,向用户暴露的是一个块设备;
包含4种数据对象:VDI、Data Object、属性对象和用于快照的VM实时状态数据对象;
以4M的小文件方式实现OBS,但很容易基于此扩展,如使用使用库替代4M的小文件;
下面我们来具体搭建下,我们将采用Sheepdog Zookeeper方式。
环境介绍:
系统:Ubuntu 14.04
软件:Sheepdog,Zookeeper
我们这次采用的是github上的源码下来直接编译制作成deb包来进行安装的。
1.获取sheepdog源码:
root@node1:~# git clone https://github.com/sheepdog/sheepdog.git sheepdog-github
2.切换到最稳定版本0.7.6:
root@node1:~# cd sheepdog-github/
root@node1:~# git checkout v0.7.6
4.执行autogen.sh生成configure,在此之前,可能需要安装依赖:
root@node1:~# apt-get install autoconf libtool make pkg-config
root@node1:~# ./autogen.sh
5.开始编译,sheepdog本身依赖于corosync、zookeeper等集群管理工具,由于我们制作deb包,还依赖于debian的一些工具:
root@node1:~# apt-get install liburcu-dev corosync corosync-dev zookeeper zookeeperd libzookeeper-mt-dev
root@node1:~# ./configure --enable-zookeeper
root@node1:~# apt-get install debhelper dh-autoreconf devscripts
root@node1:~# make deb
6.开始安装sheepdog:
root@node1:~# cd ..
root@node1:~# dpkg -i sheepdog_0.7.6-1_amd64.deb
7.至此sheepdog已经安装完成,如果你要把这个deb包拷贝到别的机器(node2)进行安装那么就必须在那台机器上安装相应的依赖包:
root@node1:~# apt-get install zookeeperd libcfg4 libcfg6 libcpg4 libzookeeper-mt2 libcoroipcc4
特别注意:在ubuntu14.04上找不到libcfg4的包,因为libcfg4是12.04上的包,需要在/etc/apt/sources.list里面添加一条
deb http://cz.archive.ubuntu.com/ubuntu precise main
8.配置zookeeper:
一般正式环境使用zookeeper作为sheepdog集群的管理工具,需要相关配置。如果只是单节点试用,可以不配置zookeeper。
先修改myid文件,你配置第几个节点就写几,内容是1-255;
root@node1:~# vi /etc/zookeeper/conf/myid
9.然后修改zoo.cfg文件,主要填写各个zookeeper节点的信息:
root@node1:~# vi /etc/zookeeper/conf/zoo.cfg
server.1=10.0.0.18:2888:3888
server.2=10.0.0.19:2889:3889
我有两个节点所有就只有两个,这格式就是server.myid=ip 端口号;
其中第一个端口用来集群成员的信息交换,第二个端口是在leader挂掉时专门用来进行选举leader所用。
10.重启下zookeeper;
root@node1:~# service zookeeper restart
11.启动sheepdog并挂载磁盘;
root@node1:~# mkdir /mnt/sheepdog
root@node1:~# mount -t ext4 -o noatime,barrier=0,user_xattr,data=writeback /dev/sdb1 /mnt/sheepdog
root@node1:~# useradd sheepdog
root@node1:~# chown -R sheepdog:sheepdog /mnt/sheepdog
root@node1:~# sheep /mnt/sheepdog -c zookeeper:10.0.0.18:2181,10.0.0.19:2181
Sheepdog常用命令
设置副本数:
dog cluster format --copies=3 //copies副本数
查看sheepdog节点:两种方式都可以