RoCE网络在数据库一体机场景中崭露头角，IB网络逐渐失宠
数据库一体机是一个集成了硬件和软件的设备，专门为数据库场景设计。
以下是数据库一体机的主要优势：
- 简化部署：由于硬件和软件都已经预先集成在一体机中，部署过程变得更加简单快捷。一体机通常会包括预安装的操作系统、数据库软件，以及存储和网络的软硬件。
- 优化性能：数据库一体机的硬件和软件都针对数据库管理进行了优化，组件之间的高度集成，让一体机可以实现更高的吞吐、更低的响应时延。
- 降低维护成本：数据库一体机的硬件和软件都经过了严格的测试和验证，确保各种场景下的稳定性，降低了故障发生的可能性，从而减少了维护成本。另外，还会提供统一的管理界面，使管理和维护变得更加简便。
过去，数据库一体机通常采用X86服务器和InfiniBand网络的硬件环境。然而，InfiniBand网络的部署和维护成本高昂，需要专门的硬件和管理技能。现在，RoCE网络可以提供与InfiniBand网络相当的性能。因此使用RoCE网络替代InfiniBand网络，可以降低成本、提高组网的灵活性和可扩展性，更容易地进行部署和运维。
CX-N系列云交换机可谓是这个场景下所寻找的“梦中情机”，可以帮助用户构建不同规模、灵活、可靠、高品质的低时延RoCE网络，为数据库一体机业务提供卓越的网络服务。
组网方案
01、硬件信息
硬件项目 | 描述 | 数量 |
|---|---|---|
计算节点 | Dell PowerEdge R7525 CPU：2 x 18Cores 内存：8 x 32GB 网卡：2 x Mellanox ConnectX®-5 100GE | 2台 |
存储节点 | H3C UniServer R4900 G3 CPU：2 x 12Cores 内存：4 x 32GB 网卡：2 x Mellanox ConnectX®-5 100GE 数据盘：4 x 3.84TB NVMe SSD | 3台 |
管理节点 | Linux 虚拟机 | 1台 |
交换机 | Asterfusion CX532P-N（32 * 100GE） | 2台 |
02、组网拓扑
测试用例
01、RoCE组网与功能测试
RoCE组网测试
前提条件 | 1. 软硬件环境已准备完成 |
|---|---|
测试步骤 | 1. 业务网段1内RDMA流量互通 2. 业务网段2内RDMA流量互通 3. 两个网段跨网段RDMA流量互通 4. 管理网段流量互通 |
测试结果 | 所有测试均通过 |
数据库一体机功能测试
前提条件 | RoCE组网已完成 |
|---|---|
测试步骤 | 通过数据库一体机管理平台完成如下步骤： 1. 配置管理计算和存储节点 2. 创建存储资源 3. 给计算节点分配存储 4. 创建Oracle RAC数据库 |
测试结果 | 数据库创建成功，数据库实例运行正常 |
02、存储性能测试
前提条件 | 卷已映射至计算节点 |
|---|---|
测试步骤 | 通过FIO工具测试存储性能 |
测试结果 | 使用FIO完成存储性能测试，性能达到预期 |
存储性能测试结果
测试项 | 带宽（MB/s） | IOPS（万） | 延迟（毫秒） | IO深度 | 单卷JOB数 |
|---|---|---|---|---|---|
8k随机读 | 14271 | 182.7 | 0.4 | 8 | 2 |
1M顺序读 | 17767 | 17.7 | / | / | / |
03、高可用测试
前提条件 | 卷已映射至计算节点 |
|---|---|
测试步骤 | 1. 使用FIO对计算节点上挂载的存储卷进行压测 2. 拔掉任意节点上其中一个网口的线缆 3. 拔掉交换机互联链路的任意一根线缆 4. 重启一台交换机 5. 断电一台交换机 |
测试结果 | 分别进行2～5步骤操作，IO恢复的时间不超过10s，高可用测试通过。 |
测试结论
本次测试完成了组网方案的可用性测试、存储性能测试，以及高可用测试，经过多场景验证，结论如下：
- 数据库一体机通过使用星融元CX532P-N超低时延云交换机，成功实现了从IB组网方案向RoCE方案的切换
- 同样的配置下，性能与IB媲美 ，实测存储性能为IOPS：8K随机读189万，带宽：18GB/s
- 数据库一体机系统各项功能正常，测试通过
- 高可用场景测试通过
