前言：Ceph是一个目前非常流行且应用广泛的SDS（Software Defined Storage，软件定义存储）解决方案，可同时提供对象、块和文件三种存储。本文将带你了解如何使用星融元 CX-N系列超低时延交换机组网，来承载Ceph存储集群，以及使用Ceph作为存储后端与Openstack的集成对接。
在云技术普及之前，IT行业的常用存储解决方案基本上是DAS、SAN、NAS这三种。目前这三种传统存储解决方案，在各自的应用场景中都存在价格、性能、扩展性，以及部署运维等方面的一些问题，所以，在存储方面目前并没有一个万金油的解决方案，实际的生产环境中我们往往需要根据数据规模、性能需求、资金预算和应用场景，进行多方权衡，而Ceph的出现算是对以上问题的一个折中解决。
一、Ceph存储集群部署方案
Ceph是当前非常流行的开源分布式存储系统，具有高扩展性、高性能、高可靠性等优点，在存储领域，Ceph已经渗透到运营商、金融、教育、电力、大企业、互联网等各行业中。虽然Ceph相较于传统阵列式存储，拥有“无限”扩容、性能可随容量线性增长、建设成本低、管理性强等诸多优点，但是，大规模分布式存储集群存在IO延迟高和数据一致性弱这两个较为突出的问题。
本文，我们选用星融元CX-N系列超低时延交换机进行进行组网，部署一个3节点存储集群，具体型号为CX308P-48Y-N，这款1U交换机拥有48个25G/10G FP28光口，8个100GE/40GE QSFP28光口，交换容量高达4.0Tbps。借助星融元CX-N系列交换机的超低时延能力，可以让分布式存储集群在时延与IOPS等性能指标上能够有显著改善。
01存储集群组件介绍
本次部署的Ceph版本Nautilus 14.2.9（鹦鹉螺）稳定版，各组件功能说明如下：
部署一个最小规模的Ceph集群，必须包含1个MON、1个MGR和2个OSD，否则整个集群是不健康的。因为，Monitor的Leader Elect机制要求集群中的MON最好为奇数，在生产环境中官方推荐使用３个MOＮ来提供高可用性。而2个OSD则是为了满足双副本机制，以确保数据的安全性。
02环境声明与部署前的准备
（1）服务器系统与集群版本：
- Ceph：Nautilus 14.2.9（鹦鹉螺）稳定版；
- 操作系统：Red Hat Enterprise Linux Server 7.6 (Maipo)。
（2）节点配置与网络架构
各节点配置与角色 集群中3个节点的配置信息如上所示。网络方面按官方推荐，使用业务网（前端）和存储网（后端）两个独立的网络，可以显著提高Ceph集群的性能表现。因此，每台节点上必须配备多块物理网卡（最低两块物理网卡）。
实际部署方案的网络拓扑 （3） 部署前的网络环境准备
使用25G光纤模块将服务器与业务网、存储网使用的CX-N超低时延交换机按照上图的拓扑连线。对于此次的验证方案，需要两个二层网络，在交换机上电开机后无需其他配置操作，只需要在完成连线后确认各个端口状态为UP且速率协商正常即可。
（4）部署前的系统环境准备
需要在各个节点上都进行操作，下面的所有配置步骤均以节点node-01为例。包括禁用SELinux、禁用防火墙、配置IP地址、配置主机名、配置国内YUM源。
03安装步骤
首先，需要在集群中的所有节点上，安装Ceph软件包及其依赖。详细安装步骤包括：单节点部署、扩容OSD节点、扩容MON节点、配置MGR服务、配置MDS服务。 邮件联系1694398971@qq.com，获取《Ceph存储集群部署方案》白皮书完整内容。
04常用的监控解决方案
在配置完成的Ceph存储集群上安装监控解决方案Ceph-Dash。
（1）Ceph-Dash
此监控解决方案是一个开源项目，使用Python Flask框架开发，界面干净、简单、整洁，风格让人感到非常舒服。虽然呈现的内容不多，只是将ceph status命令的输出进行了可视化，但是简单的开发框架和界面结构，使得它有二次开发的余地，且便于上手学习。
选择一个 MON 节点部署，或者在所有 MON 节点部署均可：
启动成功后，监控界面如下图所示：
Ceph Dashboard 01 
Ceph Dashboard 02 （2）MGR Dashboard
默认新版本Ceph集群已集成一个Dashboard，并作为一个模块在manager组件里面，只需要启动这个模块，配置其监听的地址与端口，使用命令行终端提示的默认用户名密码，即可登录访问。
在集群中的所有MGR节点上安装相应的软件包：
在集群中的任意MON节点上，开启Dashboard模块：
Web端配置自签名证书、设置用户名密码：
按照提示的地址，使用设置的用户名密码进行登录，界面如下：
Ceph Dashboard 03 二、Ceph存储对接OpenStack开源云平台
OpenStack是一个开源的云计算管理平台项目，由NASA和Rackspace合作研发，以Apache许可证进行开源授权。据统计有75%以上的企业使用开源云平台解决方案OpenStack，来管理数据中心大量的硬件资源，在整个方案中使用Ceph作为OpenStack的后端存储，相较于传统的集中式存储，具有如下优点：
（1）计算节点共享存储，可以保证实例运行时的健壮性，也可以实现各节点间实例的快速迁移；（2）统一平台提供多种类型存储，减轻部署复杂度与工作量，可在运行时灵活扩展；（3）利用COW特性，从而可以实现云平台秒级创建实例。
1、实验环境和集成步骤
邮件联系1694398971@qq.com，获取《Ceph存储对接OpenStack开源云平台》白皮书完整内容。
2、Ceph对接OpenStack开源云平台结果验证
（1）Glance：
Glance服务集成Ceph效果验证
（2）Cinder：
Cinder服务集成Ceph效果验证
（3）Nova：
Nova服务集成Ceph效果验证
