背景

dubbo provider中的服务配置项有接近30个配置项。 排除注册中心服务治理需要之外,很大一部分配置项是provider自己使用,不需要透传给消费者。这部分数据不需要进入注册中心,而只需要以key-value形式持久化存储。 dubbo consumer中的配置项也有20+个配置项。在注册中心之中,服务消费者列表中只需要关注application,version,group,ip,dubbo版本等少量配置,其他配置也可以以key-value形式持久化存储。 这些数据是以服务为维度注册进入注册中心,导致了数据量的膨胀,进而引发注册中心(如zookeeper)的网络开销增大,性能降低。
除了上述配置项的存储之外,dubbo服务元数据信息也需要被存储下来。元数据信息包括服务接口,及接口的方法信息。这些信息将被用于服务mock,服务测试。

目标

需要将注册中心原来的数据信息和元数据信息保存到独立的key-value的存储中,这个key-value可以是DB,redis或者其他持久化存储。核心代码中支持了zookeeper,redis(推荐)的默认支持。

provider存储内容的格式,参见:org.apache.dubbo.metadata.definition.model.FullServiceDefinition。是该类型gson化之后的存储。 Consumer存储内容,为Map格式。从Consumer端注册到注册中心的URL中的获取参数信息。即通过URL.getParameterMap()获取到的Map,进行gson化之后进行存储。

详细的内容,可以参考下面的sample输出。

配置

默认的元数据存储,额外支持以下几个特性:

  • 失败重试
  • 每天定时重刷

失败重试

失败重试可以通过retrytimes (重试次数,默认100),retryperiod(重试周期,默认3000ms)进行设置。

定时刷新

默认开启,可以通过设置cycleReport=false进行关闭。

完整的配置项:

  1. dubbo.metadata-report.address=zookeeper://127.0.0.1:2181
  2. dubbo.metadata-report.username=xxx ##非必须
  3. dubbo.metadata-report.password=xxx ##非必须
  4. dubbo.metadata-report.retry-times=30 ##非必须,default值100
  5. dubbo.metadata-report.retry-period=5000 ##非必须,default值3000
  6. dubbo.metadata-report.cycle-report=false ##非必须,default值true

如果元数据地址(dubbo.metadata-report.address)也不进行配置,整个元数据的写入不会生效,但是不影响程序运行。

接下来看几个sample的配置。无论哪种配置方式,都需要引入maven依赖:

  1. <dependency>
  2. <groupId>org.apache.dubbo</groupId>
  3. <artifactId>dubbo-metadata-report-zookeeper</artifactId>
  4. </dependency>

如果需要使用redis,可以引入对应的redis的依赖:

  1. <dependency>
  2. <groupId>org.apache.dubbo</groupId>
  3. <artifactId>dubbo-metadata-report-redis</artifactId>
  4. </dependency>

完整的sample,查看sample-2.7

方式一:在配置中心配置

参考sample:dubbo-samples-metadata-report/dubbo-samples-metadata-report-configcenter 工程。

配置中心配置

配置中心的配置,可以参考configcenter的文档。配置的内容如下:

  1. dubbo.registry.address=zookeeper://127.0.0.1:2181
  2. ### 注意驼峰式风格
  3. dubbo.metadata-report.address=zookeeper://127.0.0.1:2181 ###元数据存储的地址

在sample中,使用了Zookeeper作为配置中心。启动本地zookeeper服务之后,直接运行:org.apache.dubbo.samples.metadatareport.configcenter.ZKTools 就可以完成写入。 如果配置中心使用了nacos,apollo,这些产品本身支持ops配置。

应用配置
  1. ###dubbo.properties
  2. dubbo.config-center.address=zookeeper://127.0.0.1:2181
  3. ...

完成上述两步之后,注册中心地址、元数据地址将从配置中心进行获取。现在可以依次运行Provider类和Consumer类,会在console中得到对应的输出或者直接通过zookeeper的cli查看。

Provider配置

provider端存储的元数据内容如下:

  1. {
  2. "parameters": {
  3. "side": "provider",
  4. "methods": "sayHello",
  5. "dubbo": "2.0.2",
  6. "threads": "100",
  7. "interface": "org.apache.dubbo.samples.metadatareport.configcenter.api.AnnotationService",
  8. "threadpool": "fixed",
  9. "version": "1.1.1",
  10. "generic": "false",
  11. "revision": "1.1.1",
  12. "valid": "true",
  13. "application": "metadatareport-configcenter-provider",
  14. "default.timeout": "5000",
  15. "group": "d-test",
  16. "anyhost": "true"
  17. },
  18. "canonicalName": "org.apache.dubbo.samples.metadatareport.configcenter.api.AnnotationService",
  19. "codeSource": "file:/Users/cvictory/workspace/work-mw/dubbo-samples/dubbo-samples-metadata-report/dubbo-samples-metadata-report-configcenter/target/classes/",
  20. "methods": [{
  21. "name": "sayHello",
  22. "parameterTypes": ["java.lang.String"],
  23. "returnType": "java.lang.String"
  24. }],
  25. "types": [{
  26. "type": "java.lang.String",
  27. "properties": {
  28. "value": {
  29. "type": "char[]"
  30. },
  31. "hash": {
  32. "type": "int"
  33. }
  34. }
  35. }, {
  36. "type": "int"
  37. }, {
  38. "type": "char"
  39. }]
  40. }

provider存储的内容包括了provider服务往注册中心填写的全部参数,以及服务的方法信息(方法名,入参出参的格式)。

Consumer配置:
  1. {
  2. "valid": "true",
  3. "side": "consumer",
  4. "application": "metadatareport-configcenter-consumer",
  5. "methods": "sayHello",
  6. "default.timeout": "6666",
  7. "dubbo": "2.0.2",
  8. "interface": "org.apache.dubbo.samples.metadatareport.configcenter.api.AnnotationService",
  9. "version": "1.1.1",
  10. "revision": "1.1.1",
  11. "group": "d-test"
  12. }

consumer端存储了consumer往注册中心填写的全部参数。

上面的例子,主要是将元数据地址放在配置中心,在元数据区存储下来的provider端服务信息和consumer端服务信息的展示。 接下来的两个例子,主要讲解在工程中配置:xml方式,annotation方式。

方式二:配置在项目中-properties方式引入配置

参考sample:dubbo-samples-metadata-report/dubbo-samples-metadata-report-local-xml工程。

dubbo.properties
  1. dubbo.metadata-report.address=zookeeper://127.0.0.1:2181

配置完成这个之后,其余的不用特别关注。也可以直接查看对应的provider和consumer端的服务信息。

provider存储的某个服务的内容:
  1. {
  2. "parameters": {
  3. "valid": "true",
  4. "async": "true",
  5. "side": "provider",
  6. "application": "metadatareport-local-xml-provider",
  7. "methods": "sayHello",
  8. "dubbo": "2.0.2",
  9. "interface": "org.apache.dubbo.samples.metadatareport.local.xml.api.DemoService",
  10. "generic": "false",
  11. "anyhost": "true"
  12. },
  13. "canonicalName": "org.apache.dubbo.samples.metadatareport.local.xml.api.DemoService",
  14. "codeSource": "file:/Users/cvictory/workspace/work-mw/dubbo-samples/dubbo-samples-metadata-report/dubbo-samples-metadata-report-local-xml/target/classes/",
  15. "methods": [{
  16. "name": "sayHello",
  17. "parameterTypes": ["java.lang.String"],
  18. "returnType": "java.lang.String"
  19. }],
  20. "types": [{
  21. "type": "int"
  22. }, {
  23. "type": "char"
  24. }, {
  25. "type": "java.lang.String",
  26. "properties": {
  27. "value": {
  28. "type": "char[]"
  29. },
  30. "hash": {
  31. "type": "int"
  32. }
  33. }
  34. }]
  35. }
consumer端存储的内容:
  1. {
  2. "valid": "true",
  3. "side": "consumer",
  4. "application": "metadatareport-local-xml-consumer",
  5. "methods": "sayHello",
  6. "dubbo": "2.0.2",
  7. "interface": "org.apache.dubbo.samples.metadatareport.local.xml.api.DemoService"
  8. }

方式三:配置在项目中-annotation方式引入配置

参考sample:dubbo-samples-metadata-report/dubbo-samples-metadata-report-local-annotaion工程。

@Bean 引入bean
  1. @Bean
  2. public MetadataReportConfig metadataReportConfig() {
  3. MetadataReportConfig metadataReportConfig = new MetadataReportConfig();
  4. metadataReportConfig.setAddress("zookeeper://127.0.0.1:2181");
  5. return metadataReportConfig;
  6. }

引入Bean之后,其余的地方也不需要特别配置。直接查看对应的服务信息:

provider存储的某个服务的内容:
  1. {
  2. "parameters": {
  3. "side": "provider",
  4. "methods": "sayHello",
  5. "dubbo": "2.0.2",
  6. "interface": "org.apache.dubbo.samples.metadatareport.local.annotation.api.AnnotationService",
  7. "version": "1.1.8",
  8. "generic": "false",
  9. "revision": "1.1.8",
  10. "valid": "true",
  11. "application": "metadatareport-local-annotaion-provider",
  12. "default.timeout": "1000",
  13. "group": "d-test",
  14. "anyhost": "true"
  15. },
  16. "canonicalName": "org.apache.dubbo.samples.metadatareport.local.annotation.api.AnnotationService",
  17. "codeSource": "file:/Users/cvictory/workspace/work-mw/dubbo-samples/dubbo-samples-metadata-report/dubbo-samples-metadata-report-local-annotaion/target/classes/",
  18. "methods": [{
  19. "name": "sayHello",
  20. "parameterTypes": ["java.lang.String"],
  21. "returnType": "java.lang.String"
  22. }],
  23. "types": [{
  24. "type": "int"
  25. }, {
  26. "type": "java.lang.String",
  27. "properties": {
  28. "value": {
  29. "type": "char[]"
  30. },
  31. "hash": {
  32. "type": "int"
  33. }
  34. }
  35. }, {
  36. "type": "char"
  37. }]
  38. }
consumer端存储的内容:
  1. {
  2. "valid": "true",
  3. "side": "consumer",
  4. "application": "metadatareport-local-annotaion-consumer",
  5. "methods": "sayHello",
  6. "dubbo": "2.0.2",
  7. "interface": "org.apache.dubbo.samples.metadatareport.local.annotation.api.AnnotationService",
  8. "version": "1.1.8",
  9. "revision": "1.1.8",
  10. "group": "d-test"
  11. }

扩展

SPI定义

参考:org.apache.dubbo.metadata.store.MetadataReportFactory , org.apache.dubbo.metadata.store.MetadataReport

  1. @SPI("redis")
  2. public interface MetadataReportFactory {
  3. @Adaptive({"protocol"})
  4. MetadataReport getMetadataReport(URL url);
  5. }

自定义元数据的存储

下面以Redis存储为例进行说明。

新建一个project,需要支持以下修改:

扩展AbstractMetadataReport

  1. public class RedisMetadataReport extends AbstractMetadataReport {
  2. private final static Logger logger = LoggerFactory.getLogger(RedisMetadataReport.class);
  3. final JedisPool pool;
  4. public RedisMetadataReport(URL url) {
  5. super(url);
  6. pool = new JedisPool(new JedisPoolConfig(), url.getHost(), url.getPort());
  7. }
  8. @Override
  9. protected void doStoreProviderMetadata(ProviderMetadataIdentifier providerMetadataIdentifier, String serviceDefinitions) {
  10. this.storeMetadata(providerMetadataIdentifier, serviceDefinitions);
  11. }
  12. @Override
  13. protected void doStoreConsumerMetadata(ConsumerMetadataIdentifier consumerMetadataIdentifier, String value) {
  14. this.storeMetadata(consumerMetadataIdentifier, value);
  15. }
  16. private void storeMetadata(MetadataIdentifier metadataIdentifier, String v) {
  17. try (Jedis jedis = pool.getResource()) {
  18. jedis.set(metadataIdentifier.getIdentifierKey() + META_DATA_SOTRE_TAG, v);
  19. } catch (Throwable e) {
  20. logger.error("Failed to put " + metadataIdentifier + " to redis " + v + ", cause: " + e.getMessage(), e);
  21. throw new RpcException("Failed to put " + metadataIdentifier + " to redis " + v + ", cause: " + e.getMessage(), e);
  22. }
  23. }
  24. }

扩展AbstractMetadataReportFactory

  1. public class RedisMetadataReportFactory extends AbstractMetadataReportFactory {
  2. @Override
  3. public MetadataReport createMetadataReport(URL url) {
  4. return new RedisMetadataReport(url);
  5. }
  6. }

增加META-INF/dubbo/internal/org.apache.dubbo.metadata.store.MetadataReportFactory

  1. redis=org.apache.dubbo.metadata.store.redis.RedisMetadataReportFactory

只要将上面的修改和project打包成jar包,然后配置元数据中心的url:redis://10.20.153.10:6379。

至此,一个自定义的元数据存储就可以运行了。