大家好，又见面了，我是你们的朋友全栈君。
企业目前上云，有多种选择，那么对于中小企业，从成本和规模考虑，如何搭建自己的私有云环境，笔者这里根据自己的一个实践环境，尝试搭建一套小型私有云环境，功能并不完善，但基本能满足中小企业的需求。
硬件环境准备 环境的搭建，硬件成本是必须的，没有物理设备，那么巧妇难为无米之炊~~
服务器设备：
建议采购3台以上X86两路服务器，CPU配置根据需求，建议5218金牌。内存配置256G以上。配置SSD卡（32G以上、2块RAID-1）、SSD硬盘（512G以上、2块以上）、大容量4T的SATA硬盘（根据预算，配置8块以上，同时也考虑实际使用情况扩容）。配置万兆网卡2口2块（实现冗余）、配置千兆网卡4口2块（实现冗余）。
这样的硬件设备，配置较好的CPU、SSD硬盘、大容量SATA硬盘，可以实现计算和存储节点在一块，也有一些超融合的概念。
配套网络设备
万兆网络交换机
千兆网络交换机
软件准备 相信很多企业都在使用VMware的Exsi，VMware的价格还是比较高的，那么再新建一套虚拟化环境，从成本考虑采用开源的免费软件，这里选择了Proxmox，目前版本是6.0.（下载地址：https://pve.proxmox.com/wiki/Downloads）
Proxmox集成了Ceph功能，配合上述说的计算存储统一部署，那么选择Proxmox节省了很多部署上的问题，使得整个部署更简单。
有了虚拟化软件，那么还需要一套云管平台，统一来纳管资源，包括VMware和新的虚拟化资源池。
支持Vmware的云管平台很多，但是同时支持VMware和Proxmox的云管平台比较少，有些云管平台支持早期的Proxmox版本，但是最新的都需要自定义开发，这里选择了某厂商的一个云管平台，对Proxmox6.0支持并不完全。
迁移，如果需要迁移一部分VMware虚拟机到Proxmox，这里可以参考VMware导出OVA模板，在导出模板后加一个Ios后缀，上传至Proxmox，解压-导入。具体可参考：https://blog.csdn.net/zebra2011/article/details/83046841
安装配置 系统安装
Proxmox目前网络上有很多安装文档，大致雷同，这里就不在重复累赘，截取需要注意的几部分：
使用U盘或者刻盘安装都可以，基本都是下一步点击，这里注意：
选择系统安装硬盘，因为服务器中有多个盘，这里记得选择下。
网卡配置，记得这里有多块网卡，要区分做管理网段的网卡、业务网段网卡、Ceph集群网卡。
接下来按部就班完成安装即可。
假设目前环境中已经有ntp服务器，那么上诉服务器能链接外网，强烈建议
apt-get install ntp 如果设备你在内网那么ntp安装稍微麻烦一点，首先Proxmox基于Debian，那么要去Debian官网去下载相关软件包进行安装。https://www.debian.org/distrib/packages 搜索安装包离线安装，同时会有一些依赖，依次下载安装。
地址配置
每台设备安装完成后，根据需求，一般正式环境有管理网段、生产网段、Ceph网段。使用nano命令打开文件进行配置。
nano /etc/network/interface 配置网卡eth0的IP地址 auto eth0 表示网卡随系统自动请 iface eth0 inet static 表示网卡为静态ip地址 address 192.168.2.147 表示设置ip地址 netmask 255.255.255.0 表示子网掩码 gateway 192.168.2.1 表示网关。 配置多块网卡，记得根据接入的交换机，网关地址不设置。 理论上多块网卡配置业务网卡bond绑定，Ceph网络bond绑定，管理网卡可考虑单口 考虑Ceph模块的在线下载，那么编辑 /etc/resolv.conf 配置DNS
完成后重启网络服务即可。systemctl restart networking
注意：这里没有ifconfig命令，查看IP请用ip addr
集群配置
在每天设备的/etc/hosts配置好相应的IP和主机名，通过浏览器登录：https://IP:8006 登录名为：root密码为安装时候设置的密码。
选择其中一台主机来创建集群，这些都可以在页面上操作完成，然后把其余的几台设备添加进来，这时候建议ssh登录服务器，执行：
pvecm add IP yes 查看输出，成功即可 输入：
pvecm status 查看集群状态 登录之前的浏览器页面
这时候Proxmox集群就完成了。
Ceph模块安装
Ceph模块安装还是建议先把设备连接至外网，点击之前浏览器页面中每台主机的ceph选项，在外网通讯正常情况下会自动安装。
之前先进行网络配置或者检查网络配置
配置Ceph网卡，Proxmox其实是一个定制化的Debian。
nano /etc/network/interface 中选择万兆网卡，其实写入配置文件。 配置网卡eth0的IP地址 auto eth0 表示网卡随系统自动请 iface eth0 inet static 表示网卡为静态ip地址 address IP地址 表示设置ip地址 netmask 255.255.255.0 表示子网掩码 gateway 网关地址不需要，因为之前业务网卡已经配置过网关，这里选择另外网段的地址来作为ceph的网络 如果设备链接在外网，那么Proxmox6版本中，点击左侧ceph，自动会进行安装，4台机器都安装ceph。
另外一种方式，通过登录服务器命令行去安装：
pveceph install –version 需要的版本 –每个节点安装ceph软件包 pveceph init –network 192.168.10.0/24 初始化ceph的网络 pveceph createmon –创建mon
配置ntp服务，对于Ceph来说，ntp服务是必须的，如果有内网ntp可以通过设置ntpdate来进行时间同步，不然会一直报错。
之后登录网页管理控制台，在其余三个节点都创建mon。
之后再创建OSD，把目前系统上识别出来的硬盘，逐步添加：
注意：Ceph配置完成后记得创建pool，这也只需要页面点击即可，命名，size=3表示是三副本（正常），min_size表示最小数据副本，这里需要注意pg_num,一般要保证每一个硬盘上不少于30个，不然整个ceph集群中会有警告，那么根据自身的硬盘数量来设置，后期也可以改，那么就需要去重平衡，这个时间会比较久~
创建RBD存储池，点击左侧存储，添加即可，选择之前的节点即可。
云管平台纳管 选择一款云管平台，接入纳管VMware和Proxmox，编辑工单实现资源的分配、扩容、销毁等功能。
新建用户：
设计相关流程和工单：
虚拟机新建 熟悉VMware的，其实用Proxmox很容易上手，点击主机，右键选择新建即可：
选择Ceph存储，其他选项下一步根据实际情况来选择。
整个集群状态
虚拟机状态
常用命令
整个搭建过程并不复杂，登录服务器，常用命令如下：
qm是最重要的命令：
USAGE: qm [ARGS] [OPTIONS] qm cloudinit dump qm guest cmd qm guest exec-status qm guest passwd [OPTIONS] qm guest exec [] [OPTIONS] qm clone [OPTIONS] qm config [OPTIONS] qm create [OPTIONS] qm delsnapshot [OPTIONS] qm destroy [OPTIONS] qm list [OPTIONS] qm listsnapshot qm migrate [OPTIONS] qm move_disk [OPTIONS] qm pending qm reset [OPTIONS] qm resize [OPTIONS] qm resume [OPTIONS] qm rollback qm sendkey [OPTIONS] qm set [OPTIONS] qm shutdown [OPTIONS] qm snapshot [OPTIONS] qm start [OPTIONS] qm stop [OPTIONS] qm suspend [OPTIONS] qm template [OPTIONS] qm unlink –idlist [OPTIONS] qm cleanup qm importdisk [OPTIONS] qm importovf [OPTIONS] qm monitor qm mtunnel qm nbdstop qm rescan [OPTIONS] qm showcmd [OPTIONS] qm status [OPTIONS] qm terminal [OPTIONS] qm unlock qm vncproxy qm wait [OPTIONS]
查看当前主机的虚拟机 root@pve1:~# qm list VMID NAME STATUS MEM(MB) BOOTDISK(GB) PID 103 redhat6o11g stopped 16384 150.00 0
ceph命令，熟悉ceph的同学，ceph的命令在这边都是适用的。
如查看集群状态： root@pve1:~# ceph -s cluster: id: 580f4d51-b80e-4842-b394-484cbd3ad0b6 health: HEALTH_OK services: mon: 4 daemons, quorum pve1,pve2,pve3,pve4 (age 4d) mgr: pve1(active, since 3d) osd: 40 osds: 40 up (since 3d), 40 in (since 4d) data: pools: 2 pools, 640 pgs objects: 105.74k objects, 410 GiB usage: 237 GiB used, 130 TiB / 130 TiB avail pgs: 640 active clean
注意事项：
1.Proxmox中新建的虚拟机需要添加到HA集群。
2.云管平台纳管，需要有相应的自定义开发，Proxmox接入自动化实现目前还有问题。
3.Ceph集群偶尔会报节点不可用，这个时候只能重启故障节点，出现概率不高。
4.Proxmox迁移虚拟机的速度比VMware要慢不少。 ———————————————— 版权声明：本文为CSDN博主「投河自尽的鱼」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。 原文链接：https://blog.csdn.net/sxjinmingjie/article/details/101694507
发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/151198.html原文链接：https://javaforall.cn
