Compaction Action

该 API 用于查看某个 BE 节点总体的 compaction 状态,或者指定 tablet 的 compaction 状态。也可以用于手动触发 Compaction。

查看 Compaction 状态

节点整体 compaction 状态

  1. curl -X GET http://be_host:webserver_port/api/compaction/run_status

返回 JSON 格式

  1. {
  2. "CumulativeCompaction": {
  3. "/home/disk1" : [10001, 10002],
  4. "/home/disk2" : [10003]
  5. },
  6. "BaseCompaction": {
  7. "/home/disk1" : [10001, 10002],
  8. "/home/disk2" : [10003]
  9. }
  10. }

该结构表示某个数据目录下,正在执行 compaction 任务的 tablet 的 id,以及 compaction 的类型。

指定 tablet 的 compaction 状态

  1. curl -X GET http://be_host:webserver_port/api/compaction/show?tablet_id=xxxx\&schema_hash=yyyy

若 tablet 不存在,返回 JSON 格式的错误:

  1. {
  2. "status": "Fail",
  3. "msg": "Tablet not found"
  4. }

若 tablet 存在,则返回 JSON 格式的结果:

  1. {
  2. "cumulative policy type": "NUM_BASED",
  3. "cumulative point": 50,
  4. "last cumulative failure time": "2019-12-16 18:13:43.224",
  5. "last base failure time": "2019-12-16 18:13:23.320",
  6. "last cumu success time": ,
  7. "last base success time": "2019-12-16 18:11:50.780",
  8. "rowsets": [
  9. "[0-48] 10 DATA OVERLAPPING 574.00 MB",
  10. "[49-49] 2 DATA OVERLAPPING 574.00 B",
  11. "[50-50] 0 DELETE NONOVERLAPPING 574.00 B",
  12. "[51-51] 5 DATA OVERLAPPING 574.00 B"
  13. ],
  14. "stale version path": [
  15. {
  16. "path id": "2",
  17. "last create time": "2019-12-16 18:11:15.110 +0800",
  18. "path list": "2-> [0-24] -> [25-48]"
  19. },
  20. {
  21. "path id": "1",
  22. "last create time": "2019-12-16 18:13:15.110 +0800",
  23. "path list": "1-> [25-40] -> [40-48]"
  24. }
  25. ]
  26. }

结果说明:

  • cumulative policy type:当前tablet所使用的 cumulative compaction 策略。
  • cumulative point:base 和 cumulative compaction 的版本分界线。在 point(不含)之前的版本由 base compaction 处理。point(含)之后的版本由 cumulative compaction 处理。
  • last cumulative failure time:上一次尝试 cumulative compaction 失败的时间。默认 10min 后才会再次尝试对该 tablet 做 cumulative compaction。
  • last base failure time:上一次尝试 base compaction 失败的时间。默认 10min 后才会再次尝试对该 tablet 做 base compaction。
  • rowsets:该 tablet 当前的 rowset 集合。如 [0-48] 表示 0-48 版本。第二位数字表示该版本中 segment 的数量。DELETE 表示 delete 版本。DATA 表示数据版本。OVERLAPPINGNONOVERLAPPING 表示segment数据是否重叠。
  • stale version path:该 table 当前被合并rowset集合的合并版本路径,该结构是一个数组结构,每个元素表示一个合并路径。每个元素中包含了三个属性:path id 表示版本路径id,last create time 表示当前路径上最近的 rowset 创建时间,默认在这个时间半个小时之后这条路径上的所有 rowset 会被过期删除。

示例

  1. curl -X GET http://192.168.10.24:8040/api/compaction/show?tablet_id=10015\&schema_hash=1294206575

手动触发 Compaction

  1. curl -X POST http://be_host:webserver_port/api/compaction/run?tablet_id=xxxx\&schema_hash=yyyy\&compact_type=cumulative

当前仅能执行一个手动compaction任务,其中compact_type取值为base或cumulative

若 tablet 不存在,返回 JSON 格式的错误:

  1. {
  2. "status": "Fail",
  3. "msg": "Tablet not found"
  4. }

若 compaction 执行任务触发失败时,返回 JSON 格式的错误:

  1. {
  2. "status": "Fail",
  3. "msg": "fail to execute compaction, error = -2000"
  4. }

若 compaction 执行触发成功时,则返回 JSON 格式的结果:

  1. {
  2. "status": "Success",
  3. "msg": "compaction task is successfully triggered."
  4. }

结果说明:

  • status:触发任务状态,当成功触发时为Success;当因某些原因(比如,没有获取到合适的版本)时,返回Fail。
  • msg:给出具体的成功或失败的信息。

示例

  1. curl -X POST http://192.168.10.24:8040/api/compaction/run?tablet_id=10015\&schema_hash=1294206575\&compact_type=cumulative

手动 Compaction 执行状态

  1. curl -X GET http://be_host:webserver_port/api/compaction/run_status?tablet_id=xxxx\&schema_hash=yyyy

若 tablet 不存在,返回 JSON 格式:

  1. {
  2. "status": "Fail",
  3. "msg": "Tablet not found"
  4. }

若 tablet 存在并且 tablet 不在正在执行 compaction,返回 JSON 格式:

  1. {
  2. "status" : "Success",
  3. "run_status" : false,
  4. "msg" : "this tablet_id is not running",
  5. "tablet_id" : 11308,
  6. "schema_hash" : 700967178,
  7. "compact_type" : ""
  8. }

若 tablet 存在并且 tablet 正在执行 compaction,返回 JSON 格式:

  1. {
  2. "status" : "Success",
  3. "run_status" : true,
  4. "msg" : "this tablet_id is running",
  5. "tablet_id" : 11308,
  6. "schema_hash" : 700967178,
  7. "compact_type" : "cumulative"
  8. }

结果说明:

  • run_status:获取当前手动 compaction 任务执行状态

示例

  1. curl -X GET http://192.168.10.24:8040/api/compaction/run_status?tablet_id=10015\&schema_hash=1294206575