Storage 配置

本文介绍 storaged 配置文件。配置文件默认在 /usr/local/nebula/etc/ 目录下。如果您已指定 Nebula Graph 安装路径，则配置文件目录为 $pwd/nebula/etc/。

• *.default 文件为日常调试使用，也是服务启动时默认使用的配置文件
• *.production 文件为推荐生产时使用的的文件，生产时请去掉 .production 后缀

Basics 基础配置

logging 日志相关

例如，下面命令可以增加 storage 的日志详细程度 v=1.

nebula> UPDATE CONFIGS storage:v=1;

networking 网络通信相关

storage 数据持久化设置

多块硬盘时可以逗号分隔多个目录，每个目录对应一个 Rocksdb 实例，以有更好的并发能力。例如

--data_path=/disk1/storage/,/disk2/storage/,/disk3/storage/

RocksDB Options

rocksdb_db_options

max_total_wal_size
delete_obsolete_files_period_micros
max_background_jobs
stats_dump_period_sec
compaction_readahead_size
writable_file_max_buffer_size
bytes_per_sync
wal_bytes_per_sync
delayed_write_rate
avoid_flush_during_shutdown
max_open_files
enable_write_thread_adaptive_yield
max_subcompactions              -- level0 到 level1 的 compact 启用多线程。默认为 1，动态修改重启后生效
max_background_jobs             -- 使用多线程进行 compact。默认为 1，动态修改重启后生效

以上参数都可通过 UPDATE CONFIGS 语法进行动态修改，也可以写在本地配置文件中。具体作用和修改是否需要重启请参考 RocksDB 手册。

rocksdb_column_family_options

write_buffer_size
max_write_buffer_number
level0_file_num_compaction_trigger
level0_slowdown_writes_trigger
level0_stop_writes_trigger
target_file_size_base
target_file_size_multiplier
max_bytes_for_level_base
max_bytes_for_level_multiplier
disable_auto_compactions       -- 停止写入数据时候的自动 compact，默认 false。动态修改立刻生效。

以上参数都可通过 UPDATE CONFIGS 语法进行动态修改，也可以写在本地配置文件中。具体作用和修改是否需要重启请参考RocksDB手册。

以上参数可通过命令行如下设置

nebula> UPDATE CONFIGS storage:rocksdb_column_family_options = \
        { disable_auto_compactions = false, level0_file_num_compaction_trigger = 10 };
        -- 该命令会整个覆盖 rocksdb_column_family_options，请注意是否会覆盖其他子项
nebula> UPDATE CONFIGS storage:rocksdb_db_options  = \
        { max_subcompactions = 10, max_background_jobs = 10};
nebula> UPDATE CONFIGS storage:max_edge_returned_per_vertex = 10; -- 该参数解释见下文

可在配置文件中如下设置

    rocksdb_db_options = {"stats_dump_period_sec":"200", "":"false", "write_thread_max_yield_usec":"600"}
    rocksdb_column_family_options = {"max_write_buffer_number":"4", "min_write_buffer_number_to_merge":"2", "max_write_buffer_number_to_maintain":"1"}
    rocksdb_block_based_table_options = {"block_restart_interval":"2"}

说明：稠密点处理（出入边数量极多的点）

针对图遍历过程中，遇到稠密点的情况，目前有两种截断策略：

1. 直接截断。设置 enable_reservoir_sampling = false，截取前 max_edge_returned_per_vertex 个边，多余的边不返回。
2. 蓄水池采样。对出边进行等概率采样，从未知数量的所有出边中，等概率采样 max_edge_returned_per_vertex 个边。对于出边数量超过 max_edge_returned_per_vertex 的稠密点，蓄水池采样方法的性能相对直接截取方法要差，但对某些业务场景更有应用价值。

直接截断方法

Reservoir Sampling 蓄水池采样算法方式