Redis适配

架构

在pegasus上添加了redis proxy后，用户可以通过redis协议直接访问proxy，从而间接访问pegasus服务。整体架构如下：

redis proxy

redis客户端与redis proxy之间使用redis协议，目前proxy已支持所有redis 数据类型（Simple Strings、Errors、Integers、Bulk Strings、Arrays）。

redis proxy与pegasus集群之间使用pegasus的thrift协议，proxy在这里就类似一个普通的pegasus client，从meta server查询meta信息、与replica server进行用户数据的读写。

提供服务的形式

跟redis服务一样，以host:port形式提供，如果服务压力大，可以提供多个host:port来避免单点压力过大造成瓶颈。当提供多个redis proxy地址时，由于后端访问的都是同一个集群的同一张表，数据是完全相同的。用户可以round robin, hash等方式进行负载均衡。

配置

redis proxy的配置文件规则遵循配置说明，参考示例

在redis proxy中有几项特有的配置项需要注意：

  1. [apps.proxy]
  2. name = proxy
  3. type = proxy
  4. ; which pegasus cluster and table dose this proxy redirect to
  5. ; if using GEO APIs, an extra table name which store geo index data should be appened, i.e.
  6. ; arguments = redis_cluster temp temp_geo
  7. arguments = redis_cluster temp
  8. ; port serve for redis clients
  9. ports = 6379
  10. pools = THREAD_POOL_DEFAULT
  11. run = true

APIs

redis的原生命令请见这里

以下接口说明都兼容redis原生命令，但支持的参数可能少于redis，以下接口说明中都给出了目前Pegasus代理所支持的所有参数，未给出的目前不支持。

KEY规则

KV API

对于redis的普通key-value操作，key对应到Pegasus中的hashkey，而Pegasus中的sortkey被设置为空串""。如SET, GET, TTL, INCR等。

GEO API

在原生redis中，GEO*接口操作的数据是通过GEOADD key longitude latitude member添加到数据库中的，这时key是一个namespace的概念，而不是SET操作时的key。

而pegasus proxy的GEO接口操作的数据是通过SET接口添加到数据库中的，SET的key对应于GEO接口的member，而GEO*接口的key则只能是""。也就是说，在pegasus 的redis GEO数据中，不再有namespace的概念，全部数据在同一空间""下，若要区分key空间，则可以在pegasus层创建新的table实现。具体参考后面的示例。

SET

  1. SET key value [EX seconds]

GET

  1. GET key

DEL

  1. DEL key

SETEX

  1. SETEX key seconds value

TTL

  1. TTL key

PTTL

  1. PTTL key

INCR

  1. INCR key

INCRBY

  1. INCRBY key increment

DECR

  1. DECR key

DECRBY

  1. DECRBY key decrement

GEODIST

GEO接口的实现原理

  1. GEODIST key member1 member2 [unit]

注意：

  • key规则遵循GEO AP的key规则：这里的key只能是""，而这里member对应于SET操作时的key。

GEORADIUS

  1. GEORADIUS key longitude latitude radius m|km|ft|mi [WITHCOORD][WITHDIST] [WITHHASH][COUNT count] [ASC|DESC]

注意：

  • key规则遵循GEO AP的key规则：这里的key只能是""，而这里member对应于SET操作时的key。
  • 我们对redis的WITHHASH参数进行了修改，使用它将会返回该member的value。

GEORADIUSBYMEMBER

  1. GEORADIUSBYMEMBER key member radius m|km|ft|mi [WITHCOORD][WITHDIST] [WITHHASH][COUNT count] [ASC|DESC]

注意：

  • key规则同上，这里的key只能是""，而这里member对应于SET操作时的key。
  • 我们对redis的WITHHASH参数进行了修改，使用它将会返回该member的value。

示例

  1. 127.0.0.1:6379> SET abc 1 EX 60
  2. OK
  3. 127.0.0.1:6379> GET abc
  4. "1"
  5. 127.0.0.1:6379> TTL abc
  6. (integer) 52
  7. 127.0.0.1:6379> INCR abc
  8. (integer) 2
  10. // 以下是GEO API, 注意需要提前创建好geo表
  11. 127.0.0.1:6379> SET 1cc0001000010290050356f "1cc0001000010290050356f|2018-06-10 23:59:59|2018-06-11 13:00:00|wx5j5ff05|116.886447|40.269031|4.863045|20.563248|0|-1"
  12. OK
  13. 127.0.0.1:6379> SET 2cc0001000010290050356f "2cc0001000010290050356f|2018-06-10 23:59:59|2018-06-11 13:00:00|wx5j5ff05|115.886447|41.269031|4.863045|20.563248|0|-1"
  14. OK
  15. 1) 1) "1cc0001000010290050356f"
  16.    2) "838.600772"
  17.    3) 1) "116.886447"
  18.       2) "40.269031"
  19.    4) "1cc0001000010290050356f|2018-06-10 23:59:59|2018-06-11 13:00:00|wx5j5ff05|116.886447|40.269031|4.863045|20.563248|0|-1"
  20. 127.0.0.1:6379> GEORADIUSBYMEMBER "" 1cc0001000010290050356f 1000 m WITHCOORD WITHDIST WITHHASH
  21. 1) 1) "1cc0001000010290050356f"
  22.    2) "0.000000"
  23.    3) 1) "116.886447"
  24.       2) "40.269031"
  25.    4) "1cc0001000010290050356f|2018-06-10 23:59:59|2018-06-11 13:00:00|wx5j5ff05|116.886447|40.269031|4.863045|20.563248|0|-1"
  26. 127.0.0.1:6379> GEODIST "" 1cc0001000010290050356f 2cc0001000010290050356f m
  27. "139483.293598"