Pegasus KV

• 特性开发
  • 稳定性改进
    • DDD（三备份Dead状态）诊断功能：已完成
    • 修复failure detection的bug：已完成
    • 负载均衡改进：
      • 检查负载均衡状态：已完成
      • SSD盘分布均衡：进行中
      • 机架感知
    • Server端连接数限制：进行中
    • MetaServer中增加ReplicaServer白名单机制：进行中
  • 客户端：
    • 版本协商：进行中
    • 支持DNS寻址：进行中
  • Geo功能支持：已完成
  • 表级默认TTL：已完成
  • Redis适配：MGET、容器支持
  • 单行事务
    • incr：已完成
    • check_and_set：已完成
    • check_and_mutate：已完成
  • Partition Split：进行中
  • 跨机房热备：进行中
  • 安全与多租户
    • 身份认证：进行中
    • 权限控制：进行中
    • 操作审计
    • multi-tenant：讨论中
    • Server端流控：已完成
    • Quota管理
    • 服务隔离
  • 细粒度统计与成本分摊：读写次数、数据量、报表、服务质量、机器利用率
    • RocksDB统计信息：内存使用
    • CPU与磁盘使用：falcon收集
    • Capacity Unit统计：进行中
• 性能优化
  • 寻找性能瓶颈：perf+flamegraph工具
  • 支持配置不同的备份数量：进行中
  • RocksDB支持更多的压缩：进行中
  • 客户端提供压缩工具：zstd支持
  • BlockingQueue优化：进行中
  • 优化aio写数据过程中的memory copy：已完成
  • 服务端支持zstd/lz4压缩算法：已完成
  • 服务端支持按level配置不同的压缩算法：已完成
  • 服务端支持表级配置+动态修改压缩算法：进行中
  • 客户端支持warmup功能：进行中
  • 客户端支持backup request以优化长尾问题：进行中
  • 优化跨机房同步延迟：进行中
  • 移除shared log
  • 替换PacificA协议为Raft
  • batch write优化
  • rocksdb调优
  • 写放大优化(WiscKey&HashKV)：考虑中
  • 锁使用分析与优化
  • learn过程优化
  • dfs优化
  • bulk load优化
  • 针对写多读少场景的优化
• 重构化简
  • 进行中
• 文档建设
  • Wiki建设：主要部分已完成
  • 技术文章
  • 技术分享
    • 融合云技术分享(2018/10/31)：已完成
    • 字节跳动技术交流：已完成
    • 滴滴技术交流：已推迟
    • 小米开源技术峰会：已完成
• 分布式部署与运维
  • docker support：进行中
  • cloud deploy
• 可视化监控
  • Web Monitor：进行中
  • 支持open-falcon
  • 支持prometheus：调研中
• ETL工具
  • 完善DataX工具：考虑中
  • 数据快速批量导入：考虑中
  • 读冷备份数据的离线Reader：考虑中
• 业务申请与运维的自动化
  • 测试集群上线公司内部融合云：已完成
  • 运维事务交给SER：机器初始化、集群部署、集群升级、扩容缩容
• 参加会议与发表论文
  • VLDB 2018：已参会
• 新硬件探索
  • 与MemVerge的KV团队交流合作
• 申请Apache项目

New SQL

• 跨行事务
• SQL支持
  • MyPegasus(MySQL on Pegasus)：Prototype进行中-Prototype)