注：manual compact功能从1.8.1版本开始支持。

原理

RocksDB除了根据需要自动触发compaction外，还能通过接口手动触发compaction，这个功能称之为Manual Compaction。其提供了CompactRange()接口，如下：

  1. // CompactRangeOptions is used by CompactRange() call.
  2. struct CompactRangeOptions {
  3.   // If true, no other compaction will run at the same time as this
  4.   // manual compaction
  5.   bool exclusive_manual_compaction = true;
  6.   // If true, compacted files will be moved to the minimum level capable
  7.   // of holding the data or given level (specified non-negative target_level).
  8.   bool change_level = false;
  9.   // If change_level is true and target_level have non-negative value, compacted
  10.   // files will be moved to target_level.
  11.   int target_level = -1;
  12.   // Compaction outputs will be placed in options.db_paths[target_path_id].
  13.   // Behavior is undefined if target_path_id is out of range.
  14.   uint32_t target_path_id = 0;
  15.   // By default level based compaction will only compact the bottommost level
  16.   // if there is a compaction filter
  17.   BottommostLevelCompaction bottommost_level_compaction =
  18.       BottommostLevelCompaction::kIfHaveCompactionFilter;
  19. };
  20.  
  21. // Compact the underlying storage for the key range [*begin,*end].
  22. // The actual compaction interval might be superset of [*begin, *end].
  23. // In particular, deleted and overwritten versions are discarded,
  24. // and the data is rearranged to reduce the cost of operations
  25. // needed to access the data.  This operation should typically only
  26. // be invoked by users who understand the underlying implementation.
  27. //
  28. // begin==nullptr is treated as a key before all keys in the database.
  29. // end==nullptr is treated as a key after all keys in the database.
  30. // Therefore the following call will compact the entire database:
  31. //    db->CompactRange(options, nullptr, nullptr);
  32. // Note that after the entire database is compacted, all data are pushed
  33. // down to the last level containing any data. If the total data size after
  34. // compaction is reduced, that level might not be appropriate for hosting all
  35. // the files. In this case, client could set options.change_level to true, to
  36. // move the files back to the minimum level capable of holding the data set
  37. // or a given level (specified by non-negative options.target_level).
  38. virtual Status CompactRange(const CompactRangeOptions& options,
  39.                             ColumnFamilyHandle* column_family,
  40.                             const Slice* begin, const Slice* end) = 0;

对应地，Pegasus对该功能在上层进行了封装，提供了表级别的Manual Compact功能，其作用是：

  • 通过compaction去掉垃圾数据，减少数据量，降低文件层数，提升读操作的性能。
  • 对最高层做compaction，可以清理掉Delete标记数据。

  • 配合Usage Scenario功能中表的bulk_load模式，可以在灌数据完成后执行一次Manual Compact，去除垃圾数据，整理数据和文件夹结构，提升读性能。 实现方式：

  • 扩展RocksDB，在Manifest中记录上一次执行Manual Compact的时间，并提供GetLastManualCompactFinishTime()方法来获取该时间。

  • 利用Table环境变量，来设置两类Manual Compect的环境变量：

    • 单次Manual Compact：
      • manual_compact.once.trigger_time：格式为Unix时间戳的秒数，可通过shell命令date +%s获取当前时间戳。如果LastManualCompactFinishTime旧于该trigger_time，就触发Manual Compaction的执行。
      • manual_compact.once.target_level：用于设置CompactRangeOptions::target_level。如果不设置，则使用默认值-1。
      • manual_compact.once.bottommost_level_compaction：可设置为skip或者force。如果是skip，则不对最高层做compaction；如果是force，则强制对最高层做compaction。如果不设置，则默认为skip。
    • 周期Manual Compact：
      • manual_compact.periodic.trigger_time：格式为逗号分隔的时钟，譬如3:00,21:00，表示每一天的3:00和21:00都触发一次Manual Compaction的执行。
      • manual_compact.periodic.target_level：用于设置CompactRangeOptions::target_level。如果不设置，则使用默认值-1。
      • manual_compact.periodic.bottommost_level_compaction：可设置为skip或者force。如果是skip，则不对最高层做compaction；如果是force，则强制对最高层做compaction。如果不设置，则默认为skip。
    • Manual Compact总开关：
      • manual_compact.disabled(从1.9.0版本开始支持)：如果为true，则关闭Manual Compact功能，并且取消正在执行中的Manual Compact动作。如果不设置，默认为false。
      • manual_compact.max_concurrent_running_count(从1.11.3版本开始支持)：指定最大并发数。实际上，可执行的最大并发数由该env参数和服务端MANUAL_COMPACT_THRAD_POOL的线程数共同决定，取两者的较小值。 注意：

  • Manual Compact功能是分派到独立的Compact线程池中执行的，每个线程同一时刻只能处理一个replica的full compaction，因为并发处理量与Compact线程池的线程数量有关，可以通过配置文件的worker_count进行配置，如果使用Manual Compact比较频繁，建议调大线程数量（譬如设置为cpu core数量接近）：

  1. [threadpool.THREAD_POOL_COMPACT]
  2. name = compact
  3. partitioned = false
  4. max_input_queue_length = 128
  5. worker_priority = THREAD_xPRIORITY_NORMAL
  6. worker_count = 16
  • Manual Compact属于CPU和IO密集型操作，处理过程中会使CPU使用率长期处于高位，容易对集群的读写性能造成影响，所以建议在流量低峰时段进行操作。如果启动后发现读写性能下降影响了业务，可以立即通过设置该表的环境变量manual_compact.disabled=true来中止。
  • Manual Compact过程中可能需要较多的额外磁盘空间。因为compaction前后文件变化较大，而Pegasus一般又会保留最近3个版本的checkpoint，所以基本上额外需要的磁盘空间量大约等于执行Manual Compact的表的数据存储量。所以，在执行Manual Compact前需确认集群有足够的存储空间，同时在执行过程中关注磁盘空间使用情况，避免因为磁盘空间耗尽导致集群节点宕机，影响集群可用度。

如何设置

通过shell设置

既然Manual Compact功能是利用Table环境变量触发的，那么可以直接通过shell功能的set_app_envs命令来设置。需要设置的环境变量参照上面的描述，环境变量设置后不会立即生效，大约需要等几十秒后才能在所有replica上生效。

由于需要设置的环境变量比较多，且对数据格式有要求，所以强烈建议不要自己直接设置，而是通过我们提供的脚本工具来设置，如下所示。

通过脚本设置

我们提供了一个脚本工具scripts/pegasus_manual_compact.sh来方便地设置，用法：

  1. $ ./scripts/pegasus_manual_compact.sh 
  2. This tool is for manual compact specified table(app).
  3. USAGE: ./scripts/pegasus_manual_compact.sh -c cluster -a app-name [-t periodic|once] [-w] [-g trigger_time] [...]
  4. Options:
  5.   -h|--help                   print help message
  7.   -c|--cluster <str>          cluster meta server list, default is "127.0.0.1:34601,127.0.0.1:34602"
  9.   -a|--app_name <str>         target table(app) name
  11.   -t|--type <str>             manual compact type, should be periodic or once, default is once
  13.   -w|--wait_only              this option is only used when the type is once!
  14.                               not trigger but only wait the last once compact to finish
  16.   -g|--trigger_time <str>     this option is only used when the type is periodic!
  17.                               specify trigger time of periodic compact in 24-hour format,
  18.                               e.g. "3:00,21:00" means 3:00 and 21:00 everyday
  20.   --target_level <num>        number in range of [-1,num_levels], -1 means automatically, default is -1
  22.   --bottommost_level_compaction <skip|force>
  23.                               skip or force, default is skip
  24.                               more details: https://github.com/facebook/rocksdb/wiki/Manual-Compaction
  26.   --max_concurrent_running_count <num>
  27.                               max concurrent running count limit, should be positive integer.
  28.                               if not set, means no limit.
  30. for example:
  32.   1) Start once type manual compact with default options:
  34.       ./scripts/pegasus_manual_compact.sh -c 127.0.0.1:34601,127.0.0.1:34602 -a temp
  36.   2) Only wait last once type manual compact to finish:
  38.       ./scripts/pegasus_manual_compact.sh -c 127.0.0.1:34601,127.0.0.1:34602 -a temp -w
  40.   3) Config periodic type manual compact with specified options:
  42.       ./scripts/pegasus_manual_compact.sh -c 127.0.0.1:34601,127.0.0.1:34602 -a temp -t periodic -g 3:00,21:00 \
  43.            --target_level 2 --bottommost_level_compaction force

该工具不仅会调用shell命令设置Table环境变量，对于once类型还会等待所有的replica上的操作都执行完成，使用起来十分方便。

譬如，在bulk load完成后执行once manual compact如下：

  1. $ ./scripts/pegasus_manual_compact.sh -c 127.0.0.1:34601,127.0.0.1:34602 -a temp