首页 > 其他分享> 文章详细

Ceph学习全过程基于N版

2021-11-12 18:00:49 阅读：217 来源： 互联网

标签：ceph 基于 img -- Ceph 全过程 node1 rbd osd

Ceph学习全过程

1.安装ceph

1.1 ceph概述

ceph monitor
客户端从monitor进程获取整个集群得信息，一般确保是奇数个就好，所以要确保它得高可用性。

osd进程
存储数据得地方，osd会定期把状态上报给monitor，monitor也会定期检测osd。

monitor map 记录集群得状况
osd map 对象得副本
pg map 类似一个目录数据放在pg，pg再把数据放到osd
crush map 数据可以存放在磁盘上面

1.2 ceph安装

环境配置

主机名	public IP	cluster IP	数据盘
node1	192.168.1.2	172.16.1.2	/dev/sdb、/dev/sdc
node2	192.168.1.3	172.16.1.3	/dev/sdb、/dev/sdc
node3	192.168.1.4	172.16.1.4	/dev/sdb、/dev/sdc

hosts文件

cat>>/etc/hosts<<EOF
192.168.1.2 node1
192.168.1.3 node2
192.168.1.4 node3
EOF

配置ssh相互免密
关闭防火墙
关闭selinux
关闭NetworkManager

很简单不做笔记。

1.2.1 先同步时间

ntpdate ntp1.aliyun.com

1.2.2 更改yum源

cat>/etc/yum.repos.d/ceph.repo<<EOF
[ceph]
name=Ceph packages for \$basearch
baseurl=https://mirrors.aliyun.com/ceph/rpm-nautilus/el7/\$basearch
enabled=1
priority=2
gpgcheck=1
gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc

[ceph-noarch]
name=Ceph noarch packages
baseurl=https://mirrors.aliyun.com/ceph/rpm-nautilus/el7/noarch
enabled=1
priority=2
gpgcheck=1
gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc

[ceph-source]
name=Ceph source packages
baseurl=https://mirrors.aliyun.com/ceph/rpm-nautilus/el7/SRPMS
enabled=0
priority=2
gpgcheck=1
gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc
EOF

# 装不上，执行下yum clean all

1.2.3 安装ceph-deploy工具

# 在任意节点安装，只是个安装ceph集群的工具。它会通过ssh的方式来控制节点。
yum -y install ceph-deploy python-setuptools

# 后面的操作都在这个文件目录里面操作
mkdir my-cluster && cd my-cluster

1.2.4 创建monitor

# 将node1变为monitor
ceph-deploy new --public-network 192.168.1.0/24 --cluster-network 172.16.1.0/24 node1
--public-network      # 用户访问ceph
--cluster-network     #集群内数据同步

# 实际上是生成一个ceph.conf的配置文件。

1.2.5 安装ceph组件

# 如果直接使用ceph-deploy install hostname 会更改成为官方的yum源，导致安装超时而报错。
# 在三个高可用的节点安装.我选择的是node1、2、3
yum -y install ceph ceph-mon ceph-mgr ceph-radosgw ceph-mds

ceph     是核心组件在集群中要在所有的节点中安装。

1.2.6 初始化monitor

# 初始化监控节点
ceph-deploy mon create-initial

	# 实际执行了
	systemctl start ceph-mon@node1

1.2.7 分发集群管理密钥

ceph-deploy admin node1 node2 node3

1.2.8 创建管理节点

ceph-deploy mgr create node1

	# 执行了这个
	systemctl start ceph-mgr@node1

1.2.9 添加osd

# 添加osd
ceph-deploy osd create node1 --data /dev/sdb
ceph-deploy osd create node2 --data /dev/sdb
ceph-deploy osd create node3 --data /dev/sdb

1.2.10 查看osd

[root@node1 ~]# ceph osd tree
ID CLASS WEIGHT  TYPE NAME      STATUS REWEIGHT PRI-AFF 
-1       0.11691 root default                           
-3       0.03897     host node1                         
 0   hdd 0.01949         osd.0      up  1.00000 1.00000 
-5       0.03897     host node2                         
 1   hdd 0.01949         osd.1      up  1.00000 1.00000 
-7       0.03897     host node3                         
 2   hdd 0.01949         osd.2      up  1.00000 1.00000 
 
 ceph -s
 
 # 正常状态是HEALTH_OK

2.ceph集群管理

2.1 扩展monitor节点

ceph-deploy mon add node2
	# 实际执行了
        systemctl start ceph-mon@node3

2.2 查看monitor选举状态

# 三个可以保障高可用性
mon: 3 daemons, quorum node1,node2,node3 (age 11m)

# 查看状态
ceph quorum_status --format json-pretty
ceph mon stat
ceph mon dump

2.3 扩展mgr

ceph-deploy mgr create node3

	# 实际执行了这步骤
	systemctl start ceph-mgr@node2

因为其投票机制，三个能保障高可用性，只有一个是active状态
mgr: node1(active, since 24m), standbys: node2, node3

2.4 创建资源池

ceph osd lspools
ceph osd pool create ceph-demo 64 64

2.5 查看pg

# 查看pg数量
ceph osd pool get ceph-demo pg_num
pg_num: 64

# 查看pgp数量
ceph osd pool get ceph-demo pgp_num
pgp_num: 64

2.6 设置副本数量

# 查看副本数
ceph osd pool get ceph-demo size

# 设置副本数量为2
ceph osd pool set ceph-demo size 2

3.RBD块设备管理

3.1 创建块设备

在pool1池中创建一个10G大小的镜像
rbd create -p pool1 --image rbd-demo.img --size 10G

或者
rbd create pool1/rbd-demo1.img --size 5G

3.2 查看块设备文件

# 查看块设备文件

rbd info pool1/rbd-demo.img
或者
rbd info -p pool1 --image rbd-demo.img 
rbd info pool1/rbd-demo.img

rbd image 'rbd-demo.img':
	size 10 GiB in 2560 objects
	order 22 (4 MiB objects)
	snapshot_count: 0
	id: 12217a4473f9
	block_name_prefix: rbd_data.12217a4473f9
	format: 2
	features: layering, exclusive-lock, object-map, fast-diff, deep-flatten
	op_features: 
	flags: 
	create_timestamp: Thu Feb  4 17:35:44 2021
	access_timestamp: Thu Feb  4 17:35:44 2021
	modify_timestamp: Thu Feb  4 17:35:44 2021
注意: CentOS7 内核只支持这种特性 layering

3.2 删除镜像

rbd rm -p pool1 rbd-demo1.img

3.3 查看资源池里面的块设备

rbd -p pool1 ls

3.4 映射块设备到本地

rbd map pool1/rbd-demo.img

rbd: sysfs write failed
RBD image feature set mismatch. You can disable features unsupported by the kernel with "rbd feature disable pool1/rbd-demo.img object-map fast-diff deep-flatten".
In some cases useful info is found in syslog - try "dmesg | tail".
rbd: map failed: (6) No such device or address
因为有的特性内核不支持。

根据提示执行命令
rbd feature disable pool1/rbd-demo.img object-map fast-diff deep-flatten

3.5 查看映射关系

rbd device list

3.6 查看块设备的对象object

block_name_prefix: rbd_data.12217a4473f9
rados -p pool1 ls |grep rbd_data.12217a4473f9

3.7 查看odject的详细信息

rados -p pool1 stat rbd_data.12217a4473f9.00000000000008c0
pool1/rbd_data.12217a4473f9.00000000000008c0 mtime 2021-02-04 17:56:25.000000, size 16384

3.8 块设备扩容

resize2fs 块设备    ext4 文件系统
xfs_growfs 挂载点        xfs文件系统

3.9 设置资源池的类型

ceph osd pool application enable pool1 rbd

3.10 获取资源池信息

ceph osd pool application get pool1

4.告警处理

告警状态1:
2 daemons hava recently crashed （两个守护进程坠毁了）

1.先查看坠毁的日志

ceph crash ls

2.得到crash的id，查看它的详细信息

> ceph crash info id

3.使用命令查看进程是否存在。如果存在可能是误报

>　systemctl status ceph-mgr@node1
　ceph -s
         将报错信息打包
         ceph crash archive id
再次ceph -s查看，没有报错信息了

5.RGW对象存储

5.1 需要安装包

yum -y install ceph-radowgw

5.2 创建rgw进程

ceph-deploy rgw create
    执行了 systemctl start ceph-radosgw@rgw.node1
	# 开放端口 7480
	netstat -lntup|grep 7480

5.3 访问测试

curl node1:7580

结果
<?xml version="1.0" encoding="UTF-8"?>
<ListAllMyBucketsResult xmlns="http://s3.amazonaws.com/doc/2006-03-01/">
<Owner>
    <ID>anonymous</ID>
    <DisplayName></DisplayName>
</Owner><Buckets>
</Buckets>
</ListAllMyBucketsResult>

5.4 更改rgw的默认端口

vi ceph.conf
......末尾追加......
[client.rgw.node1]
rgw_frontends = "civetweb port=80"

将配置文件分发到节点

ceph-deploy --overwrite-conf config push node1 node2 node3

重启服务

systemctl restart ceph-radosgw.target

5.5 创建s3风格rgw的认证

radosgw-admin user create --uid ceph-s3-user --display-name "Ceph S3 User Demo"

{
    "user_id": "ceph-s3-user",
    "display_name": "Ceph S3 User Demo",
    "email": "",
    "suspended": 0,
    "max_buckets": 1000,
    "subusers": [],
    "keys": [
        {
            "user": "ceph-s3-user",
            "access_key": "J99IN8Z2GQZUGPBBHGP4",
            "secret_key": "NzEBgJYkkbPHBYCSM1RG1bDWF1cO36hOvWNnqreD"
        }
    ],
    "swift_keys": [],
    "caps": [],
    "op_mask": "read, write, delete",
    "default_placement": "",
    "default_storage_class": "",
    "placement_tags": [],
    "bucket_quota": {
        "enabled": false,
        "check_on_raw": false,
        "max_size": -1,
        "max_size_kb": 0,
        "max_objects": -1
    },
    "user_quota": {
        "enabled": false,
        "check_on_raw": false,
        "max_size": -1,
        "max_size_kb": 0,
        "max_objects": -1
    },
    "temp_url_keys": [],
    "type": "rgw",
    "mfa_ids": []
}

5.6 查看方法

radosgw-admin user info --uid ceph-s3-user

5.7 访问方法

省略

5.8 swift风格

创建用户
radosgw-admin subuser create --uid ceph-s3-user --subuser=ceph-s3-user:swift --access=full
{
    "user_id": "ceph-s3-user",
    "display_name": "Ceph S3 User Demo",
    "email": "",
    "suspended": 0,
    "max_buckets": 1000,
    "subusers": [
        {
            "id": "ceph-s3-user:swift",
            "permissions": "full-control"
        }
    ],
    "keys": [
        {
            "user": "ceph-s3-user",
            "access_key": "J99IN8Z2GQZUGPBBHGP4",
            "secret_key": "NzEBgJYkkbPHBYCSM1RG1bDWF1cO36hOvWNnqreD"
        }
    ],
    "swift_keys": [
        {
            "user": "ceph-s3-user:swift",
            "secret_key": "NoOKd6rqIcL0266zlYqJwko2tM21g7pT9BR50HoZ"
        }
    ],
    "caps": [],
    "op_mask": "read, write, delete",
    "default_placement": "",
    "default_storage_class": "",
    "placement_tags": [],
    "bucket_quota": {
        "enabled": false,
        "check_on_raw": false,
        "max_size": -1,
        "max_size_kb": 0,
        "max_objects": -1
    },
    "user_quota": {
        "enabled": false,
        "check_on_raw": false,
        "max_size": -1,
        "max_size_kb": 0,
        "max_objects": -1
    },
    "temp_url_keys": [],
    "type": "rgw",
    "mfa_ids": []
}

###########################################
radosgw-admin subuser create --uid ceph-s3-user --subuser=ceph-s3-user:swift  --key-type=swift --gen-secret
{
    "user_id": "ceph-s3-user",
    "display_name": "Ceph S3 User Demo",
    "email": "",
    "suspended": 0,
    "max_buckets": 1000,
    "subusers": [
        {
            "id": "ceph-s3-user:swift",
            "permissions": "full-control"
        }
    ],
    "keys": [
        {
            "user": "ceph-s3-user",
            "access_key": "J99IN8Z2GQZUGPBBHGP4",
            "secret_key": "NzEBgJYkkbPHBYCSM1RG1bDWF1cO36hOvWNnqreD"
        }
    ],
    "swift_keys": [
        {
            "user": "ceph-s3-user:swift",
            "secret_key": "JjWAwZMLbwr9ncGMmX6WRD7FFYCoOreAhc9r7cxy"
        }
    ],
    "caps": [],
    "op_mask": "read, write, delete",
    "default_placement": "",
    "default_storage_class": "",
    "placement_tags": [],
    "bucket_quota": {
        "enabled": false,
        "check_on_raw": false,
        "max_size": -1,
        "max_size_kb": 0,
        "max_objects": -1
    },
    "user_quota": {
        "enabled": false,
        "check_on_raw": false,
        "max_size": -1,
        "max_size_kb": 0,
        "max_objects": -1
    },
    "temp_url_keys": [],
    "type": "rgw",
    "mfa_ids": []
}

5.9 swift客户端访问

yum -y install python-pip
pip install python-swiftclient


测试命令
swift -V 1 -A http://{IP ADDRESS}:{port}/auth -U testuser:swift -K '{swift_secret_key}' list
swift -A http://192.168.1.2/auth -U ceph-s3-user:swift -K JjWAwZMLbwr9ncGMmX6WRD7FFYCoOreAhc9r7cxy list

swift list 出来帮助命令
不使用这些参数
export ST_AUTH="http://192.168.1.2/auth"
export ST_USER="ceph-s3-user:swift"
export ST_KEY="JjWAwZMLbwr9ncGMmX6WRD7FFYCoOreAhc9r7cxy"

5.10 创建一个bucket

swift post swift-demo

5.11 上传一个文件

swift upload swift-demo /etc/passwd

6.ceph-fs文件系统

6.1 安装组件

至少需要一个mds(metadata server),为了保障高可靠性部署三台。
# 创建一个元数据服务器

如果启动了三个mds服务，在没有文件系统的情况下，三个都会是standby状态。
ceph-deploy mds create node1
	systemctl start ceph-mds@node1

6.2 创建两个资源池

ceph osd pool create cephfs_data 16 16
ceph osd pool create cephfs_metadata 16 16

6.3 创建文件系统

ceph fs new cephfs-demo cephfs_metadata cephfs_data
cephfs-demo 文件系统名称

# 查看详情
ceph fs ls

6.4 挂载文件系统

# 挂载文件系统内核态
mount -t ceph node1:6789:/ /mnt/cephfs -o name=admin

#用户态方式挂载
ceph-fuse -m node1:6789,node2:6789,node3:6789 /opt
使用三个节点的话，在其中一个节点挂了，业务不受影响。

7.CEPH集群运维

7.1 集群扩容

横向扩容
	增加更多的节点
	
osd纵向扩容
	在单节点增加更多的磁盘
	
# 查看磁盘
ceph-deploy disk list node1

# 这个命令会把指定的设备的分区表给删除掉。
ceph-deploy disk zap [node] [disk]

# 在纵向扩展的时候，pg会重新填充osd，这样可能会降低集群的性能，可以把下面两个功能临时的关闭。
ceph osd set nobackfill
ceph osd set(unset) norebalance

ceph df

7.2 osd坏盘更换

ceph osd perf
# 查看磁盘的延迟，如果延迟很大，可能是有坏道了，但是还没有坏。
1.先踢出盘
ceph osd out osd.3
权重变为0

2.删除crush的缓存
ceph osd crush rm osd.3

3.删除盘
ceph osd rm osd.3

4.删除设备的认证信息
ceph auth rm osd.3

7.3 进程管理

# 这个服务器名会把所有的ceph服务给启动起来，停止的话会把所有的服务给停止。
systemctl start ceph.target

根据服务类型
systemctl start ceph-osd.target       # 如果这台节点上有多个osd会把全部的osd停掉
systemctl start ceph-mon.target
systemctl start ceph-mds.target

systemctl start ceph-osd@{id}        # 停掉某一个osd

7.4 日志分析

默认的ceph日志存放路径 /var/log/ceph/

7.5 集群状态

ceph osd stat
ceph osd tree
ceph -s
ceph osd df
ceph df
ceph mon stat
ceph mon dump
ceph quorum_status
# 
ceph --admin-daemon /var/run/ceph/ceph-mon.node1.asok config show
ceph --admin-daemon /var/run/ceph/ceph-mon.node1.asok help

7.6 资源池管理

资源池的分类
ceph osd pool application get pool1 
# 设置资源池
ceph osd pool application enable pool1 rbd
# 设置最大刻印obj
ceph osd pool get-quota pool1
ceph osd pool set-quota pool1 max_objects 100

统计
rados df

PG
对象存储在pg上；pg通过crash算法把数据存放在osd上面。

总的pg = osd * 100 / 资源池副本数
然后取2的次方的最近的那个值。
官方说明每个osd最多承受250个pg

7.6.1 删除资源池

ceph osd pool rm pool1 pool1 --yes-i-really-really-mean-it
# 临时调整
ceph --admin-daemon /var/run/ceph/ceph-mon.node1.asok config set mon_allow_pool_delete True

# 永久生效
1.编辑配置文件
[root@node1 ~/my-cluster]# vi ceph.conf 
[global]
fsid = 634074c2-c593-4d68-896d-3a8a11151bf7
public_network = 192.168.1.0/24
cluster_network = 172.16.1.0/24
mon_initial_members = node1
mon_host = 192.168.1.2
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx
rgw_multipart_part_upload_limit = 100000
mon_max_pg_per_osd = 1000
mon_allow_pool_delete = true

[client.rgw.node1]
rgw_frontends = "civetweb port=80"

2.发送配置文件
ceph-deploy --overwrite-conf config push node1 node2 node3

3.重启各个节点的mon服务
for i in {1..3};do ssh node${i} systemctl restart ceph-mon.target;done

8.crush Map 规则

规定了数据怎样存储在集群中，以主机为单位，以osd为单位，以机柜为单位，数据中心，区域。

8.1 更改crash map规则

# 导出crush规则，是二进制文件
ceph osd getcrushmap -o crushmao.bin

# 转换成txt文件
crushtool -d crushmap.bin -o crushmap.txt

cat crushmap1.txt 
# begin crush map
tunable choose_local_tries 0
tunable choose_local_fallback_tries 0
tunable choose_total_tries 50
tunable chooseleaf_descend_once 1
tunable chooseleaf_vary_r 1
tunable chooseleaf_stable 1
tunable straw_calc_version 1
tunable allowed_bucket_algs 54

# devices
# 标记了每一块osd是什么类型
device 0 osd.0 class ssd
device 1 osd.1 class ssd
device 2 osd.2 class ssd
device 3 osd.3 class hdd
device 4 osd.4 class hdd
device 5 osd.5 class hdd

# types
type 0 osd
type 1 host
type 2 chassis
type 3 rack
type 4 row
type 5 pdu
type 6 pod
type 7 room
type 8 datacenter
type 9 zone
type 10 region
type 11 root

# buckets
# 主机
host node1 {
	id -3		# do not change unnecessarily
        # 标记个类型
	id -4 class hdd		# do not change unnecessarily
	# weight 0.039
	alg straw2
	hash 0	# rjenkins1
        # osd.3的权重
	item osd.3 weight 0.019
}
host node2 {
	id -5		# do not change unnecessarily
	id -6 class hdd		# do not change unnecessarily
	# weight 0.039
	alg straw2
	hash 0	# rjenkins1
	item osd.4 weight 0.019
}
host node3 {
	id -7		# do not change unnecessarily
	id -8 class hdd		# do not change unnecessarily
	# weight 0.039
	alg straw2
	hash 0	# rjenkins1
	item osd.5 weight 0.019
}
host node1-ssd {
        # weight 0.039
        alg straw2
        hash 0  # rjenkins1
        item osd.0 weight 0.019
}
host node2-ssd {
        # weight 0.039
        alg straw2
        hash 0  # rjenkins1
        item osd.1 weight 0.019
}
host node3-ssd {
        # weight 0.039
        alg straw2
        hash 0  # rjenkins1
        item osd.2 weight 0.019
}

root default {
	id -1		# do not change unnecessarily
	id -2 class hdd		# do not change unnecessarily
	# weight 0.117
	alg straw2
	hash 0	# rjenkins1
	item node1 weight 0.019
	item node2 weight 0.019
	item node3 weight 0.019
}

# 指定规则
root ssd {
        # weight 0.117
        alg straw2
        hash 0  # rjenkins1
        # 引用上面的主机
        item node1-ssd weight 0.019
        item node2-ssd weight 0.019
        item node3-ssd weight 0.019
}

# rules
rule replicated_rule {
	id 0
	type replicated
	min_size 1
	max_size 10
	step take default
	step chooseleaf firstn 0 type host
	step emit
}
# 制定规则
rule ssd_rule {
        id 1
        type replicated
        min_size 1
        max_size 10
        # 引用上面的规则
        step take ssd
        step chooseleaf firstn 0 type host
        step emit
}

# end crush map

# 把crushmaptxt转换成bin格式
crushtool -c crushmap.txt -o crushmap-new.bin

# 设置定义的规则
ceph osd setcrushmap -i crushmap-new.bin

# 查看资源池绑定的的crush规则
ceph osd pool get ceph-demo crush_rule

# 查看有哪些规则
ceph osd crush rule ls

# 给资源池设置crush_map
ceph osd pool set ceph-demo crush_rule demo_rule
# 这样设置可以实现，不同的资源池把数据放置到不同的osd上面去。在没有数据的时候做，有数据的时候有风险。

8.2 手动更改规则

# 创建一个bucket
类型root；名称ssd
ceph osd crush add-bucket ssd root

# 
类型是host
ceph osd crush add-bucket node1-ssd host
ceph osd crush add-bucket node2-ssd host
ceph osd crush add-bucket node3-ssd host

# 把host加入root
ceph osd crush move node1-ssd root=ssd
ceph osd crush move node2-ssd root=ssd
ceph osd crush move node3-ssd root=ssd

# 把osd移动到host
ceph osd crush move osd.0 host=node1-ssd root=ssd
ceph osd crush move osd.1 host=node2-ssd root=ssd
ceph osd crush move osd.2 host=node3-ssd root=ssd

效果
[root@node1 ~]# ceph osd tree
ID  CLASS WEIGHT  TYPE NAME          STATUS REWEIGHT PRI-AFF 
 -9       0.05846 root ssd                                   
-10       0.01949     host node1-ssd                         
  0   hdd 0.01949         osd.0          up  1.00000 1.00000 
-11       0.01949     host node2-ssd                         
  1   hdd 0.01949         osd.1          up  1.00000 1.00000 
-12       0.01949     host node3-ssd                         
  2   hdd 0.01949         osd.2          up  1.00000 1.00000 
 -1       0.05846 root default                               
 -3       0.01949     host node1                             
  3   hdd 0.01949         osd.3          up  1.00000 1.00000 
 -5       0.01949     host node2                             
  4   hdd 0.01949         osd.4          up  1.00000 1.00000 
 -7       0.01949     host node3                             
  5   hdd 0.01949         osd.5          up  1.00000 1.00000

# 定义规则
ceph osd crush rule create-replicated ssd-demo ssd host hdd

# 查看
[root@node1 ~]# ceph osd crush rule ls
replicated_rule
ssd-demo

# 注意事项
1.在更改的时候，做好配置文件备份。
2.调整crush map的时候最好是在集群初始的时候，有数据的时候容易造成数据丢失。
3.手动更改crushMap需要更改配置，保证集群在增加或者减少osd的话会自动更改crushmap规则。更改规则会造成数据大量迁移。

......
[osd]
osd_crush_update_on_start = false
# 然后推送出去
ceph-deploy --overwrite-conf config push node1 node2 node3

systemctl restart ceph-osd.target
# 查看是否生效
ceph daemon /var/run/ceph/ceph-osd.0.asok config show|grep on_start

9.RBD高级功能

9.1 回收站

# 创建一个 镜像
rbd create volumes/ceph-trash.img --size 10G

# 删除镜像
这样删除在回收站里面也看不到
rbd rm volumes/ceph-trash.img

# 把一个镜像放入回收站
rbd trash move volumes/ceph-trash.img --expires-at 20210306
facf28ce8a57 ceph-trash.img            # 指定的镜像
facf28ce8a57 ceph-trash.img            # 到了这个时间就会把这个删除

# 查看回收站的内容
rbd trash -p volumes ls
facf28ce8a57 ceph-trash.img

# 把镜像恢复回来。
rbd trash restore -p volumes facf28ce8a57

9.2 rbd制作快照

它针对的是块设备级别的，如果文件系统是损坏的那么，制作出来的快照也是坏的。

# 创建一个5G的块设备
rbd create volumes/rbd-test.img --image-feature layering --size 5G

rbd info volumes/rbd-test.img

# 映射到本地
rbd device map volumes/rbd-test.img

# 格式化
mkfs.ext4 /dev/rbd0
mount /dev/rbd0 /mnt/
cd /mnt	
touch filetxt-1

# 创建快照
rbd snap create volumes/rbd-test.img@snap_20210308

# 查看快照
rbd snap ls volumes/rbd-test.img

# 恢复快照
rbd snap rollback volumes/rbd-test.img@snap_20210308
注意：需要把挂在上的设备卸载再挂载。

# 删除快照
rbd snap rm volumes/rbd-test.img@snap_20210308

9.3 快照的高级特性copy-on-write

快照的高级特性copy-on-write

创建新的镜像时候，创建了一个链接指向父镜像，父镜像只读，创建出来的新镜像，可以写入数据。这样新建镜像的速度
就变得快速了。父镜像不能够删除，删除之后就会出问题(有一个镜像保护机制)。还可以节省空间。

# 示例过程
rbd snap create volumes/rbd-test.img@snap_2021

# 保护镜像
rbd snap protect volumes/rbd-test.img@snap_2021

# 克隆镜像
rbd clone volumes/rbd-test.img@snap_2021 volumes/vm1-clone

# 查看克隆过的信息
rbd -p volumes info vm1-clone

# 根据模板镜像创建出来的镜像内容都是和模板镜像一样的。

# 把克隆出来的镜像取消父子关系
会占用独立的空间。

查看快照克隆出来的镜像
rbd children volumes/rbd-test.img@snap_2021

# 把克隆出来的子镜像独立出来
rbd flatten volumes/vm1-clone

# 查看映射到本地的块设备
rbd device ls

9.4 rbd快照的导出。

rbd export volumes/rbd-test.img@snap-demo /root/snap-demo
导出的名称 snap-demo

# rbd的导入
rbd import /root/snap-demo volumes/rbd-test-new.img

rbd device map volumes/rbd-test-new.img
rbd feature disable volumes/rbd-test-new.img object-map fast-diff deep-flatten
rbd device map volumes/rbd-test-new.img
mount /dev/rbd1 /mnt/
# 数据就回来了
[root@node1 ~]# ls /mnt/
filetxt-1  lost+found

9.5 数据的增量备份

    # 创建快照
[root@node1 ~]# rbd device  ls
id pool    namespace image            snap device    
0  volumes           rbd-test.img     -    /dev/rbd0 
1  volumes           rbd-test-new.img -    /dev/rbd1

# df -h
/dev/rbd1       4.8G   20M  4.6G   1% /mnt

[root@node1 /mnt]# ls
filetxt-1  lost+found
[root@node1 /mnt]# echo 123 > filetxt-2
[root@node1 /mnt]# ls
filetxt-1  filetxt-2  lost+found

    # 导出增加的部分
rbd snap create volumes/rbd-test-new.img@s1
rbd export-diff volumes/rbd-test-new.img@s1 /root/diff-s2
    # 导入数据(恢复)
rbd import-diff s2 volumes/rbd-test-new.img

10.RGW高可用

10.1 安装radosgw

yum -y install ceph-radosgw

[root@node1 ~/my-cluster]# ceph-deploy rgw create node1 node2

10.1 更改rgw的端口

vi ~/my-cluster/ceph.conf
......
[client.rgw.node1]
rgw_frontends = "civetweb port=81"

[client.rgw.node2]
rgw_frontends = "civetweb port=81"
......

ceph-deploy --overwrite-conf config push node1 node2

node1和node2
systemctl restart ceph-radosgw.target

10.2 安装keepalived

yum -y install keepalived

10.2.1 Master的配置文件


[root@node1 ~]# cat /etc/keepalived/keepalived.conf
global_defs {                   #全局配置
    router_id node1             #就是一个身份标识(用主机名也可以用其它的)
}

vrrp_script check_haproxy {
    script "killall -0 haproxy"    #要执行的脚本或者命令，如果返回的结果是非0就会weight -20
    interval 2                     #每隔两秒执行一次上面script的内容
    weight -20                     #权重-20，减的是priority，它的优先级小了自然就成了backup 
}

vrrp_instance rgw {             #rgw实例的名称
    state MASTER                #标识角色状态
    interface eth0              #网卡绑定接口
    virtual_router_id 50        #虚拟路由id,同一个实例保持一致
    priority 150                #优先级
    advert_int 1                #监测间隔时间
    authentication {            #认证
        auth_type PASS          #认证方式
        auth_pass 1111          #认证密码
    }
    virtual_ipaddress {         
        192.168.1.10                #虚拟的VIP地址
    } 
    track_script {
        check_haproxy               # 调用上面的脚本执行
    }
}

10.2.2 Backup的配置文件

[root@node2 ~]# cat /etc/keepalived/keepalived.conf 
global_defs {
    router_id node2
}

vrrp_instance rgw {            
    state BACKUP
    interface eth0
    virtual_router_id 50
    priority 140
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {         
        192.168.1.10
    }
}

11.Ceph集群测试

11.1 mon高可用测试

3个mon只允许挂掉一个。
在生产环境中一般三个mon节点是没问题的。当挂掉两个的时候集群就会出现问题。

5个mon只允许挂掉两个。
systemctl status ceph-mon

11.2 mds高可用

ceph-fs的组件
ceph-fs的高可用只有一个服务在就行，但是集群因为没有高可用之后，会有一个warnning的告警。
systemctl status ceph-mds

11.3 rgw高可用

对象存储网关
使用haproxy和keepalived来进行高可用。
systemctl status ceph-radosgw

mgr 是用来管理的一般不会对集群产生影响

11.4 OSD坏盘测试

单个节点或者是单盘出现问题，因为有副本所以不会产生影响。

11.5 fio性能压测评估

ceph osd perf       # 可以查看磁盘的状况

fio -filename=/mnt/test.img -direct=1 -iodepth 1 -thread -rw=randwrite -ioengine=psync -bs=4k -size=100M -numjobs=2 -runtime= -group_reporting -name=rand_100write_4k

吞吐量可以把bs调大一点

-numjobs=2          # 调整为CPU核心的2^n

rbd bench压力测试
rbd help bench
rbd bench volumes/rbd-test.img --io-size 4K --io-threads 4 --io-total 200M --io-pattern rand --io-type write
rbd bench volumes/rbd-test.img --io-size 4K --io-threads 4 --io-total 200M --io-pattern rand --io-type read

标签：ceph,基于,img,--,Ceph,全过程,node1,rbd,osd
来源： https://www.cnblogs.com/gshelldon/p/15545802.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

Ceph学习全过程 基于N版