一 基础准备
参考《002.Ceph安装部署》文档部署一个基础集群。
二 扩展集群
2.1 扩展架构
需求:添加Ceph元数据服务器node1。然后添加Ceph Monitor和Ceph Manager node2,node3以提高可靠性和可用性。
2.2 添加元数据(metadata)服务器
1 [[email protected] my-cluster]$ ceph-deploy mds create node1
提示:要使用CephFS,您至少需要一个元数据服务器。
2.3 添加监视(Monitor)服务器
1 [[email protected] my-cluster]$ ceph-deploy mon add node2 2 [[email protected] my-cluster]$ ceph-deploy mon add node3 3 [[email protected] ~]# ceph quorum_status --format json-pretty #查看仲裁(quorum)状态信息
提示:若出现如图所示报错,需要在ceph.conf中添加Public_network,并重新推相关配置文件,操作如下:
1 [manag[email protected] my-cluster]$ vi ceph.conf 2 [global] 3 #…… 4 public_network = 172.24.8.0/24 5 [[email protected] my-cluster]$ ceph-deploy --overwrite-conf mon add node2 6 [[email protected] my-cluster]$ ceph-deploy --overwrite-conf mon add node3
提示:Ceph存储集群需要至少运行一个Ceph Monitor和Ceph Manager。为了实现高可用性,Ceph存储集群通常运行多个Ceph监视器,因此单个Ceph监视器的故障不会导致Ceph存储集群崩溃。Ceph使用Paxos算法,该算法需要大多数监视器(即,大于N/2,其中N是监视器的数量)才能形成法定人数。虽然这不是必需的,但监视器的数量往往更好。
2.4 添加管理员
1 [[email protected] my-cluster]$ ceph-deploy mgr create node2 node3 2 [[email protected] my-cluster]$ ssh node1 sudo ceph -s #查看验证
提示:Ceph Manager守护进程以active/standby模式运行。部署其他管理器守护程序可确保在一个守护程序或主机发生故障时,另一个守护程序或主机可以在不中断服务的情况下接管。
2.5 添加RGW
1 [[email protected] my-cluster]$ ceph-deploy rgw create node1
提示:要使用组件,必须部署实例;
默认情况下,实例将侦听端口7480.可以通过在运行的节点上编辑ceph.conf来更改此设置。
三 客户端存储示例
3.1 创建pool
1 [[email protected] my-cluster]$ ssh node1 sudo ceph osd pool create mytest 64 2 [[email protected] my-cluster]$ ssh node1 sudo rados lspools 3 [[email protected] my-cluster]$ ssh node1 sudo ceph osd lspools 4 [[email protected] my-cluster]$ ssh node1 sudo ceph osd dump | grep pool
提示:以上三可以查看已经存在的pool信息,第三种方式查看的结果最为详细。
3.2 客户端模拟
1 [[email protected] ~]# echo 'This is my test file!' >> test.txt #创建模拟文件 2 [[email protected] ~]# rados put test-object-1 test.txt --pool=mytest
3.3 查看确认
1 [[email protected] my-cluster]$ ssh node1 sudo rados -p mytest ls #查看存储的对 2 test-object-1