9. 管理 Crushmap


CRUSH 算法通过计算数据存储位置来确定如何存储和检索。 CRUSH 授权 Ceph 客户端直接连接 OSD ,而非通过一个中央服务器或代理。数据存储、检索算法的使用,使 Ceph 避免了单点故障、性能瓶颈、和伸缩的物理限制。

CRUSH 需要一张集群的 Map,且使用 CRUSH Map 把数据伪随机地、尽量平均地分布到整个集群的 OSD 里。CRUSH Map 包含 OSD 列表、把设备汇聚为物理位置的“桶”列表、和指示 CRUSH 如何复制存储池里的数据的规则列表。

完全手动管理 CRUSH Map 也是可能的,在配置文件中设定:

  1. osd crush update on start = false

9.1 编辑 CRUSH Map

要编辑现有的 CRUSH Map:

  1. 获取 CRUSH Map;
  2. 反编译 CRUSH 图;
  3. 至少编辑一个设备、桶、规则;
  4. 重编译 CRUSH Map;
  5. 注入 CRUSH Map。

要激活 CRUSH Map 里某存储池的规则,找到通用规则集编号,然后把它指定到那个规则集。详情参见本手册第一部分 8. 操作 Pool 中调整存储池选项值部分。

获取 CRUSH Map

要获取集群的 CRUSH Map,执行命令:

  1. ceph osd getcrushmap -o {compiled-crushmap-filename}

Ceph 将把 CRUSH 输出( -o )到你指定的文件,由于 CRUSH Map 是已编译的,所以编辑前必须先反编译。

反编译 CRUSH Map

要反编译 CRUSH Map,执行命令:

  1. crushtool -d {compiled-crushmap-filename} -o {decompiled-crushmap-filename}

Ceph 将反编译( -d )二进制 CRUSH Map,且输出( -o )到你指定的文件。

编译 CRUSH Map

要编译 CRUSH Map,执行命令:

  1. crushtool -c {decompiled-crush-map-filename} -o {compiled-crush-map-filename}

Ceph 将把已编译的 CRUSH Map 保存到你指定的文件。

注入 CRUSH Map

要把 CRUSH Map 应用到集群,执行命令:

  1. ceph osd setcrushmap -i {compiled-crushmap-filename}

Ceph 将把你指定的已编译 CRUSH Map 注入到集群。

9.2 CRUSH Map 参数

CRUSH Map 主要有 4 个段落。

  1. 设备:由任意对象存储设备组成,即对应一个 ceph-osd进程的存储器。 Ceph 配置文件里的每个 OSD 都应该有一个设备。
  2. 桶类型: 定义了 CRUSH 分级结构里要用的桶类型( types ),桶由逐级汇聚的存储位置(如行、机柜、机箱、主机等等)及其权重组成。
  3. 桶实例: 定义了桶类型后,还必须声明主机的桶类型、以及规划的其它故障域。
  4. 规则: 由选择桶的方法组成。
CRUSH Map 之设备

为把 PG 映射到 OSD , CRUSH Map 需要 OSD 列表(即配置文件所定义的 OSD 守护进程名称),所以它们首先出现在 CRUSH Map 里。要在 CRUSH Map 里声明一个设备,在设备列表后面新建一行,输入 device 、之后是唯一的数字 ID 、之后是相应的 ceph-osd 守护进程实例名字。

  1. # devices
  2. device {num} {osd.name}

例如:

  1. # devices
  2. device 0 osd.0
  3. device 1 osd.1
  4. device 2 osd.2
  5. device 3 osd.3
CRUSH Map 之桶类型

CRUSH Map 里的第二个列表定义了 bucket (桶)类型,桶简化了节点和叶子层次。节点(或非叶子)桶在分级结构里一般表示物理位置,节点汇聚了其它节点或叶子,叶桶表示 ceph-osd 守护进程及其对应的存储媒体。

要往 CRUSH Map 中增加一种 bucket 类型,在现有桶类型列表下方新增一行,输入 type 、之后是惟一数字 ID 和一个桶名。按惯例,会有一个叶子桶为 type 0 ,然而你可以指定任何名字(如 osd 、 disk 、 drive 、 storage 等等):

  1. # types
  2. type {num} {bucket-name}

例如:

  1. # types
  2. type 0 osd
  3. type 1 host
  4. type 2 chassis
  5. type 3 rack
  6. type 4 row
  7. type 5 pdu
  8. type 6 pod
  9. type 7 room
  10. type 8 datacenter
  11. type 9 region
  12. type 10 root
CRUSH Map 之桶层次

CRUSH 算法根据各设备的权重、大致统一的概率把数据对象分布到存储设备中。 CRUSH 根据你定义的集群运行图分布对象及其副本, CRUSH Map 表达了可用存储设备以及包含它们的逻辑单元。

要把 PG 映射到跨故障域的 OSD ,一个 CRUSH Map 需定义一系列分级桶类型(即现有 CRUSH Map 的 # type 下)。创建桶分级结构的目的是按故障域隔离叶子节点,像主机、机箱、机柜、电力分配单元、机群、行、房间、和数据中心。除了表示叶子节点的 OSD ,其它分级结构都是任意的,你可以按需定义。

声明一个桶实例时,你必须指定其类型、惟一名称(字符串)、惟一负整数 ID (可选)、指定和各条目总容量/能力相关的权重、指定桶算法(通常是 straw )、和哈希(通常为 0 ,表示哈希算法 rjenkins1 )。一个桶可以包含一到多个条目,这些条目可以由节点桶或叶子组成,它们可以有个权重用来反映条目的相对权重。

你可以按下列语法声明一个节点桶:

  1. [bucket-type] [bucket-name] {
  2. id [a unique negative numeric ID]
  3. weight [the relative capacity/capability of the item(s)]
  4. alg [the bucket type: uniform | list | tree | straw ]
  5. hash [the hash type: 0 by default]
  6. item [item-name] weight [weight]
  7. }

例如,我们可以定义两个主机桶和一个机柜桶,机柜桶包含两个主机桶, OSD 被声明为主机桶内的条目:

  1. host node1 {
  2. id -1
  3. alg straw
  4. hash 0
  5. item osd.0 weight 1.00
  6. item osd.1 weight 1.00
  7. }
  8. host node2 {
  9. id -2
  10. alg straw
  11. hash 0
  12. item osd.2 weight 1.00
  13. item osd.3 weight 1.00
  14. }
  15. rack rack1 {
  16. id -3
  17. alg straw
  18. hash 0
  19. item node1 weight 2.00
  20. item node2 weight 2.00
  21. }
调整桶的权重

Ceph 用双精度类型数据表示桶权重。权重和设备容量不同,我们建议用 1.00 作为 1TB 存储设备的相对权重,这样 0.5 的权重大概代表 500GB 、 3.00 大概代表 3TB 。较高级桶的权重是所有叶子桶的权重之和。

一个桶的权重是一维的,你也可以计算条目权重来反映存储设备性能。例如,如果你有很多 1TB 的硬盘,其中一些数据传输速率相对低、其他的数据传输率相对高,即使它们容量相同,也应该设置不同的权重(如给吞吐量较低的硬盘设置权重 0.8 ,较高的设置 1.20 )。

CRUSH Map 之规则

CRUSH Map 支持“ CRUSH 规则”的概念,用以确定一个存储池里数据的分布。CRUSH 规则定义了归置和复制策略、或分布策略,用它可以规定 CRUSH 如何放置对象副本。对大型集群来说,你可能创建很多存储池,且每个存储池都有它自己的 CRUSH 规则集和规则。默认的 CRUSH Map 里,每个存储池有一条规则、一个规则集被分配到每个默认存储池。

注意: 大多数情况下,你都不需要修改默认规则。新创建存储池的默认规则集是 0

规则格式如下:

  1. rule <rulename> {
  2. ruleset <ruleset>
  3. type [ replicated | erasure ]
  4. min_size <min-size>
  5. max_size <max-size>
  6. step take <bucket-type>
  7. step [choose|chooseleaf] [firstn|indep] <N> <bucket-type>
  8. step emit
  9. }

参数说明:

  • ruleset:区分一条规则属于某个规则集的手段。给存储池设置规则集后激活。
  • type:规则类型,目前仅支持 replicatederasure ,默认是 replicated
  • min_size:可以选择此规则的存储池最小副本数。
  • max_size:可以选择此规则的存储池最大副本数。
  • step take <bucket-name>:选取起始的桶名,并迭代到树底。
  • step choose firstn {num} type {bucket-type}:选取指定类型桶的数量,这个数字通常是存储池的副本数(即 pool size )。如果 {num} == 0 , 选择 pool-num-replicas 个桶(所有可用的);如果 {num} > 0 && < pool-num-replicas ,就选择那么多的桶;如果 {num} < 0 ,它意味着选择 pool-num-replicas - {num} 个桶。
  • step chooseleaf firstn {num} type {bucket-type}:选择 {bucket-type} 类型的桶集合,并从各桶的子树里选择一个叶子节点。桶集合的数量通常是存储池的副本数(即 pool size )。如果 {num} == 0 ,选择 pool-num-replicas 个桶(所有可用的);如果 {num} > 0 && < pool-num-replicas ,就选择那么多的桶;如果 {num} < 0 ,它意味着选择 pool-num-replicas - {num} 个桶。
  • step emit:输出当前值并清空堆栈。通常用于规则末尾,也适用于相同规则应用到不同树的情况。

9.3 主亲和性

某个 Ceph 客户端读写数据时,总是连接 acting set 里的主 OSD (如 [2, 3, 4] 中, osd.2 是主的)。有时候某个 OSD 与其它的相比并不适合做主 OSD (比如其硬盘慢、或控制器慢)。最大化硬件利用率时为防止性能瓶颈(特别是读操作),你可以调整 OSD 的主亲和性,这样 CRUSH 就尽量不把它用作 acting set 里的主 OSD 了。

  1. ceph osd primary-affinity <osd-id> <weight>

主亲和性默认为 1 (就是说此 OSD 可作为主 OSD )。此值合法范围为 0-1 ,其中 0 意为此 OSD 不能用作主的, 1 意为 OSD 可用作主的。此权重 < 1 时, CRUSH 选择主 OSD 时选中它的可能性就较低。

9.4 增加/移动 OSD

要增加或移动在线集群里 OSD 所对应的 CRUSH Map 条目,执行 ceph osd crush set 命令。

  1. ceph osd crush set {id-or-name} {weight} {bucket-type}={bucket-name} [{bucket-type}={bucket-name} ...]

9.5 调整 OSD 的 CRUSH 权重

要调整在线集群中某个 OSD 的 CRUSH 权重,执行命令:

  1. ceph osd crush reweight {name} {weight}

9.6 删除 OSD

要从在线集群里把某个 OSD 彻底踢出 CRUSH Map,或仅踢出某个指定位置的 OSD,执行命令:

  1. ceph osd crush remove {name} {<ancestor>}

9.7 增加桶

要在运行集群的 CRUSH Map 中新建一个桶,用 ceph osd crush add-bucket 命令:

  1. ceph osd crush add-bucket {bucket-name} {bucket-type}

9.8 移动桶

要把一个桶移动到 CRUSH Map 里的不同位置,执行命令:

  1. ceph osd crush move {bucket-name} {bucket-type}={bucket-name} [{bucket-type}={bucket-name} ...]

9.9 删除桶

要把一个桶从 CRUSH Map 的分级结构中删除,可用此命令:

  1. ceph osd crush remove {bucket-name}

注意:从 CRUSH 分级结构里删除时必须是空桶。

9.10 可调选项

从 v0.74 起,如果 CRUSH 可调选项不是最优值( v0.73 版里的默认值) Ceph 就会发出健康告警,有两种方法可消除这些告警:

1、调整现有集群上的可调选项。注意,这可能会导致一些数据迁移(可能有 10% 之多)。这是推荐的办法,但是在生产集群上要注意此调整对性能带来的影响。此命令可启用较优可调选项:

  1. ceph osd crush tunables optimal

如果切换得不太顺利(如负载太高)且切换才不久,或者有客户端兼容问题(较老的 cephfs 内核驱动或 rbd 客户端、或早于 bobtail 的 librados 客户端),你可以这样切回:

  1. ceph osd crush tunables legacy

2、不对 CRUSH 做任何更改也能消除报警,把下列配置加入 ceph.conf[mon] 段下:

  1. mon warn on legacy crush tunables = false

为使变更生效需重启所有监视器,或者执行下列命令:

  1. ceph tell mon.\* injectargs --no-mon-warn-on-legacy-crush-tunables

9.11 CRUSH Map 实例

假设你想让大多数存储池映射到使用大容量硬盘的 OSD 上,但是其中一些存储池映射到使用高速 SSD 的 OSD 上。在同一个 CRUSH Map 内有多个独立的 CRUSH 层级结构是可能的,定义两棵树、分别有自己的根节点 —— 一个用于机械硬盘(如 root platter )、一个用于 SSD (如 root ssd ),具体的 CRUSH Map 内容如下:

  1. # devices
  2. device 0 osd.0
  3. device 1 osd.1
  4. device 2 osd.2
  5. device 3 osd.3
  6. device 4 osd.4
  7. device 5 osd.5
  8. device 6 osd.6
  9. device 7 osd.7
  10. # types
  11. type 0 osd
  12. type 1 host
  13. type 2 root
  14. # buckets
  15. host ceph-osd-ssd-server-1 {
  16. id -1
  17. alg straw
  18. hash 0
  19. item osd.0 weight 1.00
  20. item osd.1 weight 1.00
  21. }
  22. host ceph-osd-ssd-server-2 {
  23. id -2
  24. alg straw
  25. hash 0
  26. item osd.2 weight 1.00
  27. item osd.3 weight 1.00
  28. }
  29. host ceph-osd-platter-server-1 {
  30. id -3
  31. alg straw
  32. hash 0
  33. item osd.4 weight 1.00
  34. item osd.5 weight 1.00
  35. }
  36. host ceph-osd-platter-server-2 {
  37. id -4
  38. alg straw
  39. hash 0
  40. item osd.6 weight 1.00
  41. item osd.7 weight 1.00
  42. }
  43. root platter {
  44. id -5
  45. alg straw
  46. hash 0
  47. item ceph-osd-platter-server-1 weight 2.00
  48. item ceph-osd-platter-server-2 weight 2.00
  49. }
  50. root ssd {
  51. id -6
  52. alg straw
  53. hash 0
  54. item ceph-osd-ssd-server-1 weight 2.00
  55. item ceph-osd-ssd-server-2 weight 2.00
  56. }
  57. # rules
  58. rule replicated_ruleset {
  59. ruleset 0
  60. type replicated
  61. min_size 1
  62. max_size 10
  63. step take default
  64. step chooseleaf firstn 0 type host
  65. step emit
  66. }
  67. rule platter {
  68. ruleset 1
  69. type replicated
  70. min_size 0
  71. max_size 10
  72. step take platter
  73. step chooseleaf firstn 0 type host
  74. step emit
  75. }
  76. rule ssd {
  77. ruleset 2
  78. type replicated
  79. min_size 0
  80. max_size 4
  81. step take ssd
  82. step chooseleaf firstn 0 type host
  83. step emit
  84. }
  85. rule ssd-primary {
  86. ruleset 3
  87. type replicated
  88. min_size 5
  89. max_size 10
  90. step take ssd
  91. step chooseleaf firstn 1 type host
  92. step emit
  93. step take platter
  94. step chooseleaf firstn -1 type host
  95. step emit
  96. }

然后你可以设置一个存储池,让它使用 SSD 规则:

  1. ceph osd pool set <poolname> crush_ruleset 2

同样,用 ssd-primary 规则将使存储池内的各归置组用 SSD 作主 OSD ,普通硬盘作副本。