CRUSH 图

CRUSH 算法通过计算数据存储位置来确定如何存储和检索。 CRUSH 授权 Ceph 客户端直接连接 OSD ，而非通过一个中央服务器或经纪人。数据存储、检索算法的使用，使 Ceph 避免了单点故障、性能瓶颈、和伸缩的物理限制。

CRUSH 需要一张集群的地图，且使用 CRUSH 把数据伪随机地存储、检索于整个集群的 OSD 里。 CRUSH 的讨论详情参见 CRUSH - 可控、可伸缩、分布式地归置多副本数据 。

CRUSH 图包含 OSD 列表、把设备汇聚为物理位置的“桶”列表、和指示 CRUSH 如何复制存储池里的数据的规则列表。由于对所安装底层物理组织的表达， CRUSH 能模型化、并因此定位到潜在的相关失败设备源头，典型的源头有物理距离、共享电源、和共享网络，把这些信息编码到集群运行图里， CRUSH 归置策略可把对象副本分离到不同的失败域，却仍能保持期望的分布。例如，要定位同时失败的可能性，可能希望保证数据复制到的设备位于不同机架、不同托盘、不同电源、不同控制器、甚至不同物理位置。

当你写好配置文件，用 ceph-deploy 部署 Ceph 后，它生成了一个默认的 CRUSH 图，对于你的沙盒环境来说它很好。然而，部署一个大规模数据集群的时候，应该好好设计自己的 CRUSH 图，因为它帮你管理 Ceph 集群、提升性能、和保证数据安全性。

例如，如果一个 OSD 挂了， CRUSH 图可帮你定位此事件中 OSD 所在主机的物理数据中心、房间、行和机架，据此你可以请求在线支持或替换硬件。

类似地， CRUSH 可帮你更快地找出问题。例如，如果一个机架上的所有 OSD 同时挂了，问题可能在于机架的交换机或电源，而非 OSD 本身。

定制的 CRUSH 图也能在归置组降级时，帮你找出冗余副本所在主机的物理位置。

Note

文本框里的代码实例可能超出了边界，读或拷贝时注意滚动。

CRUSH 位置

用 CRUSH 图层次结构所表示的 OSD 位置被称为“ crush 位置”，它用键/值对列表来表示。例如，一 OSD 位于某特定行、机柜、机架、和主机，且是 CRUSH 图里名为 default 树的一部分，那么其 crush 位置可表示如下：

root=default row=a rack=a2 chassis=a2a host=a2a1

注：

• 注意键（关键词）与顺序无关；
• 键名（ = 左边）必须是 CRUSH 内的合法 type ，默认情况下，它包含 root 、 datacenter 、 room 、 row 、 pod 、 pdu 、 rack 、 chassis 、和 host ，但这些类型可修改 CRUSH 图任意定义。
• 并非所有键都需指定，例如，默认情况下 Ceph 会自动把 ceph-osd 守护进程的位置设置为 root=defaulthost=HOSTNAME （即是 hostname-s ）。

ceph-crush-location 挂钩

osd crush update on start = false

osd crush location hook = /path/to/script

$ ceph-crush-location —cluster CLUSTER —id ID —type TYPE

ceph osd getcrushmap -o {compiled-crushmap-filename}

crushtool -d {compiled-crushmap-filename} -o {decompiled-crushmap-filename}

crushtool -c {decompiled-crush-map-filename} -o {compiled-crush-map-filename}

ceph osd setcrushmap -i  {compiled-crushmap-filename}

#devicesdevice {num} {osd.name}

#devicesdevice 0 osd.0device 1 osd.1device 2 osd.2device 3 osd.3

#typestype {num} {bucket-name}

# typestype 0 osdtype 1 hosttype 2 chassistype 3 racktype 4 rowtype 5 pdutype 6 podtype 7 roomtype 8 datacentertype 9 regiontype 10 root

[bucket-type] [bucket-name] {        id [a unique negative numeric ID]        weight [the relative capacity/capability of the item(s)]        alg [the bucket type: uniform | list | tree | straw ]        hash [the hash type: 0 by default]        item [item-name] weight [weight]}

host node1 {        id -1        alg straw        hash 0        item osd.0 weight 1.00        item osd.1 weight 1.00}host node2 {        id -2        alg straw        hash 0        item osd.2 weight 1.00        item osd.3 weight 1.00}rack rack1 {        id -3        alg straw        hash 0        item node1 weight 2.00        item node2 weight 2.00}

rule <rulename> {        ruleset <ruleset>        type [ replicated | erasure ]        min_size <min-size>        max_size <max-size>        step take <bucket-type>        step [choose|chooseleaf] [firstn|indep] <N> <bucket-type>        step emit}

Important

把规则集编号设置到存储池，才能用一个通用规则集编号激活一或多条规则。

主亲和性

一 Ceph 客户端读写数据时，总是连接 acting set 里的主 OSD （如 [2,3,4] 中， osd.2 是主的）。有时候某个 OSD 与其它的相比并不适合做主 OSD （比如其硬盘慢、或控制器慢），最大化硬件利用率时为防止性能瓶颈（特别是读操作），你可以调整 OSD 的主亲和性，这样 CRUSH 就尽量不把它用作 acting set 里的主 OSD 了。

ceph osd primary-affinity <osd-id> <weight>

主亲和性默认为 1 （就是说此 OSD 可作为主 OSD ）。此值合法范围为 0-1 ，其中 0 意为此 OSD 不能用作主的， 1 意为 OSD 可用作主的；此权重小于 1 时， CRUSH 选择主 OSD 时选中它的可能性低。

给存储池指定 OSD

假设你想让大多数存储池坐落到使用大硬盘的 OSD 上，但是其中一些存储池映射到使用高速 SSD 的 OSD 上。在同一个 CRUSH 图内有多个独立的 CRUSH 树是可能的，定义两棵树、分别有自己的根节点——一个用于硬盘（如 root platter ）、一个用于 SSD （如 root ssd ），如：

device 0 osd.0
device 1 osd.1
device 2 osd.2
device 3 osd.3
device 4 osd.4
device 5 osd.5
device 6 osd.6
device 7 osd.7
 
      host ceph-osd-ssd-server-1 {
              id -1
              alg straw
              hash 0
              item osd.0 weight 1.00
              item osd.1 weight 1.00
      }
 
      host ceph-osd-ssd-server-2 {
              id -2
              alg straw
              hash 0
              item osd.2 weight 1.00
              item osd.3 weight 1.00
      }
 
      host ceph-osd-platter-server-1 {
              id -3
              alg straw
              hash 0
              item osd.4 weight 1.00
              item osd.5 weight 1.00
      }
 
      host ceph-osd-platter-server-2 {
              id -4
              alg straw
              hash 0
              item osd.6 weight 1.00
              item osd.7 weight 1.00
      }
 
      root platter {
              id -5
              alg straw
              hash 0
              item ceph-osd-platter-server-1 weight 2.00
              item ceph-osd-platter-server-2 weight 2.00
      }
 
      root ssd {
              id -6
              alg straw
              hash 0
              item ceph-osd-ssd-server-1 weight 2.00
              item ceph-osd-ssd-server-2 weight 2.00
      }
 
      rule data {
              ruleset 0
              type replicated
              min_size 2
              max_size 2
              step take platter
              step chooseleaf firstn 0 type host
              step emit
      }
 
      rule metadata {
              ruleset 1
              type replicated
              min_size 0
              max_size 10
              step take platter
              step chooseleaf firstn 0 type host
              step emit
      }
 
      rule rbd {
              ruleset 2
              type replicated
              min_size 0
              max_size 10
              step take platter
              step chooseleaf firstn 0 type host
              step emit
      }
 
      rule platter {
              ruleset 3
              type replicated
              min_size 0
              max_size 10
              step take platter
              step chooseleaf firstn 0 type host
              step emit
      }
 
      rule ssd {
              ruleset 4
              type replicated
              min_size 0
              max_size 4
              step take ssd
              step chooseleaf firstn 0 type host
              step emit
      }
 
      rule ssd-primary {
              ruleset 5
              type replicated
              min_size 5
              max_size 10
              step take ssd
              step chooseleaf firstn 1 type host
              step emit
              step take platter
              step chooseleaf firstn -1 type host
              step emit
      }

然后你可以设置一个存储池，让它使用 SSD 规则：

ceph osd pool set <poolname> crush_ruleset 4

同样，用 ssd-primary 规则将使存储池内的各归置组用 SSD 作主 OSD ，普通硬盘作副本。

增加/移动 OSD

要增加或删除在线集群里 OSD 所对应的 CRUSH 图条目，执行 cephosdcrushset 命令。对于 v0.48 版，执行下列：

ceph osd crush set {id} {name} {weight} pool={pool-name}  [{bucket-type}={bucket-name} ...]

Bobtail (v0.56) 可执行下列：

ceph osd crush set {id-or-name} {weight} root={pool-name}  [{bucket-type}={bucket-name} ...]

其中：

下例把 osd.0 添加到分级结构里、或者说从前一个位置挪动一下。

ceph osd crush set osd.0 1.0 root=default datacenter=dc1 room=room1 row=foo rack=bar host=foo-bar-1

调整一 OSD 的 CRUSH 权重

要调整在线集群中一 OSD 的 CRUSH 权重，执行命令：

ceph osd crush reweight {name} {weight}

其中：

删除 OSD

要从在线集群里把一 OSD 踢出 CRUSH 图，执行命令：

ceph osd crush remove {name}

其中：

增加桶

要在运行集群的 CRUSH 图中新建一个桶，用 cephosdcrushadd-bucket 命令：

ceph osd crush add-bucket {bucket-name} {bucket-type}

其中：

下例把 rack12 桶加入了分级结构：

ceph osd crush add-bucket rack12 rack

移动桶

要把一个桶挪动到 CRUSH 图里的不同位置，执行命令：

ceph osd crush move {bucket-name} {bucket-type}={bucket-name}, [...]

其中：

删除桶

要把一个桶从 CRUSH 图的分级结构中删除，可用此命令：

ceph osd crush remove {bucket-name}

Note

从 CRUSH 分级结构里删除时必须是空桶。

其中：

下例从分级结构里删除了 rack12 。

ceph osd crush remove rack12

可调选项

New in version 0.48.

在 CRUSH 最初实现时加入的几个幻数，现在看来已成问题。作为过渡方法，较新版的 CRUSH （从 0.48 起）允许调整这些值。

最近发布的 Ceph 允许在 CRUSH 图里使用可调值，然而老客户端和守护进程不会正确地和调整过的 CRUSH 图交互，为应对这种情况，现在多了个功能位 CRUSH_TUNABLES （值 0x40000 ）和 CRUSH_TUNABLES2 来反映支持可调值。

如果 ceph-mon 或 ceph-osd 进程现在用的 OSDMap 有非遗留值，它将要求连接它的客户端和守护进程有 CRUSH_TUNABLES 或 CRUSH_TUNABLES2 功能位。

将来，新建集群的可调值其默认值会更好。这要等到此功能进入内核客户端的时间足够长，对大多数用户来说已是无痛的过渡。

过时值的影响

遗留值导致几个不当行为：

• 如果分级结构的支部只有少量设备，一些 PG 的副本数小于期望值，这通常出现在一些子结构里， host 节点下少数 OSD 嵌套到了其他 OSD 里。
• 大型集群里，小部分 PG 映射到的 OSD 数目小于期望值，有多层结构（如：机架行、机架、主机、 OSD ）时这种情况更普遍。
• 当一些 OSD 标记为 out 时，数据倾向于重分布到附近 OSD 而非整个分级结构。

CRUSH_TUNABLES

• choose_local_tries: 本地重试次数。以前是 2 ，最优值是 0 。
• choose_local_fallback_tries: 以前 5 ，现在是 0 。
• choose_total_tries: 选择一个条目的最大尝试次数。以前 19 ，后来的测试表明，对典型的集群来说 50 更合适。最相当大的集群来说，更大的值也许必要。

CRUSH_TUNABLES2

• chooseleaf_descend_once: 是否重递归叶子选择，或只试一次、并允许最初归置组重试。以前默认 0 ，最优为 1 。

CRUSH_TUNABLES3

• chooseleaf_vary_r: 根据父节点已做过多少尝试，递归选叶是否应该以非零值 r 开始。原先的默认值是 0 ，但是用此值的话 CRUSH 有时候会找不到映射关系；较优的值（计算代价和正确性合理）是 1 。然而，较老的集群里面已经有大量数据，从 0 改为 1 会导致大量的数据迁移； 4 或 5 时 CRUSH 也能正确找到映射，而且数据迁移少的多。

支持 CRUSH_TUNABLES 的客户端版本

• argonaut 系列， v0.48.1 或更高版
• v0.49 或更高版
• Linux 内核版本大于 v3.6 （对文件系统和 RBD 客户端都一样）

支持 CRUSH_TUNABLES2 的客户端版本

• v0.55 或更高版，包括 bobtail 系列 (v0.56.x)
• Linux 内核版本大于 v3.9 （对文件系统和 RBD 客户端都一样）

支持 CRUSH_TUNABLES3 的客户端版本

• v0.78 (firefly) 或更高版
• Linux 内核版本大于 v3.15 （对文件系统和 RBD 客户端都一样）

可调选项非最优时发出警告

从 v0.74 起，如果 CRUSH 可调选项不是最优值（ v0.73 版里的默认值） Ceph 就会发出健康告警，有两种方法可消除这些告警：

• 调整现有集群上的可调选项。注意，这可能会导致一些数据迁移（可能有 10% 之多）。这是推荐的办法，但是在生产集群上要注意此调整对性能带来的影响。此命令可启用较优可调选项：

ceph osd crush tunables optimal

如果切换得不太顺利（如负载太高）且切换才不久，或者有客户端兼容问题（较老的 cephfs 内核驱动或 rbd 客户端、或早于 bobtail 的 librados 客户端），你可以这样切回：

ceph osd crush tunables legacy

• 不对 CRUSH 做任何更改也能消除报警，把下列配置加入 ceph.conf 的 [mon] 段下：

mon warn on legacy crush tunables = false

为使变更生效需重启所有监视器，或者执行下列命令：

ceph tell mon.\* injectargs --no-mon-warn-on-legacy-crush-tunables

一些要点

• 调整这些值将使一些 PG 在存储节点间移位，如果 Ceph 集群已经存储了大量数据，做好移动一部分数据的准备。
• 一旦更新运行图， ceph-osd 和 ceph-mon 就会开始向新建连接要求功能位，然而，之前已经连接的客户端如果不支持新功能将行为失常。
• 如果 CRUSH 可调值更改过、然后又改回了默认值， ceph-osd 守护进程将不要求支持此功能，然而， OSD 连接建立进程要能检查和理解旧地图。因此，集群如果用过非默认 CRUSH 值就不应该再运行版本小于 0.48.1 的 ceph-osd ，即使最新版地图已经回滚到了遗留默认值。

调整 CRUSH

更改 crush 可调值的最简方法就是改到一个已知配置，它们有：

• legacy: 采用 argonaut 及更低版本的行为；
• argonaut: 采用 argonaut 版最初的配置；
• bobtail: 采用 bobtail 版的配置；
• firefly: 采用 firefly 版的配置；
• optimal: 采用当前最佳配置；
• default: 新建集群可采用当前默认值。

你可以在运行着的集群上选择一个配置：

ceph osd crush tunables {PROFILE}

要注意，这可能产生一些数据迁移。

调整 CRUSH ——强硬方法

如果你能保证所有客户端都运行最新代码，你可以这样调整可调值：从集群抽取 CRUSH 图、修改值、重注入。

• 提抽取最新 CRUSH 图：

  ceph osd getcrushmap -o /tmp/crush

• 调整可调参数。这些值在我们测试过的大、小型集群上都有最佳表现。在极端情况下，你需要给 crushtool 额外指定 —enable-unsafe-tunables 参数才行：

  crushtool -i /tmp/crush —set-choose-local-tries 0 —set-choose-local-fallback-tries 0 —set-choose-total-tries 50 -o /tmp/crush.new

• 重注入修改的图。

  ceph osd setcrushmap -i /tmp/crush.new

遗留值

CRUSH 可调参数的遗留值可以用下面命令设置：

crushtool -i /tmp/crush --set-choose-local-tries 2 --set-choose-local-fallback-tries 5 --set-choose-total-tries 19 --set-chooseleaf-descend-once 0 --set-chooseleaf-vary-r 0 -o /tmp/crush.legacy

再次申明， —enable-unsafe-tunables 是必需的，而且前面也提到了，回退到遗留值后慎用旧版 ceph-osd 进程，因为此功能位不是完全强制的。