简介

Sharding-JDBC直接封装JDBC API,可以理解为增强版的JDBC驱动,旧代码迁移成本几乎为零:

  • 可适用于任何基于java的ORM框架,如:JPA, Hibernate, Mybatis, Spring JDBC Template或直接使用JDBC。
  • 可基于任何第三方的数据库连接池,如:DBCP, C3P0, BoneCP, Druid等。
  • 理论上可支持任意实现JDBC规范的数据库。目前支持MySQL,Oracle,SQLServer和PostgreSQL。

Sharding-JDBC定位为轻量级java框架,使用客户端直连数据库,以jar包形式提供服务,未使用中间层,无需额外部署,无其他依赖,DBA也无需改变原有的运维方式。采用”半理解”理念的SQL解析引擎,以达到性能与兼容性的最大平衡。

Sharding-JDBC功能灵活且全面:

  • 分片策略灵活,可支持=,BETWEEN,IN等多维度分片,也可支持多分片键共用。
  • SQL解析功能完善,支持聚合,分组,排序,Limit,TOP等查询,并且支持Binding Table以及笛卡尔积的表查询。
  • 支持柔性事务(目前仅最大努力送达型)。
  • 支持读写分离。
  • 支持分布式生成全局主键。

Sharding-JDBC配置多样:

  • 支持Java编码和YAML的配置方式
  • 支持自定义Spring命名空间与Spring boot starter
  • 灵活多样的inline表达式

分布式治理能力突出: (2.0 only)

  • 配置集中化与动态化,可支持数据源、表与分片策略的动态切换 (2.0.0.M1)
  • 客户端的数据库治理,运行实例禁用启用 (2.0.0.M2)
  • 基于Open Tracing协议的APM信息输出,读写分离Slave数据源禁用启用及ConfigMap支持 (2.0.0.M3)

整体架构图

整体架构图

柔性事务-最大努力送达型

快速入门

引入maven依赖

  1. <!-- 引入sharding-jdbc核心模块 -->
  2. <dependency>
  3. <groupId>io.shardingjdbc</groupId>
  4. <artifactId>sharding-jdbc-core</artifactId>
  5. <version>${latest.release.version}</version>
  6. </dependency>

规则配置

Sharding-JDBC的分库分表通过规则配置描述,以下例子是根据user_id取模分库, 且根据order_id取模分表的两库两表的配置。

可以通过Java编码的方式配置:

  1. // 配置真实数据源
  2. Map<String, DataSource> dataSourceMap = new HashMap<>();
  3. // 配置第一个数据源
  4. BasicDataSource dataSource1 = new BasicDataSource();
  5. dataSource1.setDriverClassName("com.mysql.jdbc.Driver");
  6. dataSource1.setUrl("jdbc:mysql://localhost:3306/ds_0");
  7. dataSource1.setUsername("root");
  8. dataSource1.setPassword("");
  9. dataSourceMap.put("ds_0", dataSource1);
  10. // 配置第二个数据源
  11. BasicDataSource dataSource2 = new BasicDataSource();
  12. dataSource2.setDriverClassName("com.mysql.jdbc.Driver");
  13. dataSource2.setUrl("jdbc:mysql://localhost:3306/ds_1");
  14. dataSource2.setUsername("root");
  15. dataSource2.setPassword("");
  16. dataSourceMap.put("ds_1", dataSource2);
  17. // 配置Order表规则
  18. TableRuleConfiguration orderTableRuleConfig = new TableRuleConfiguration();
  19. orderTableRuleConfig.setLogicTable("t_order");
  20. orderTableRuleConfig.setActualDataNodes("ds_${0..1}.t_order_${0..1}");
  21. // 配置分库策略
  22. orderTableRuleConfig.setDatabaseShardingStrategyConfig(new InlineShardingStrategyConfiguration("user_id", "ds_${user_id % 2}"));
  23. // 配置分表策略
  24. orderTableRuleConfig.setTableShardingStrategyConfig(new InlineShardingStrategyConfiguration("order_id", "t_order_${order_id % 2}"));
  25. // 配置分片规则
  26. ShardingRuleConfiguration shardingRuleConfig = new ShardingRuleConfiguration();
  27. shardingRuleConfig.getTableRuleConfigs().add(orderTableRuleConfig);
  28. // 省略配置order_item表规则...
  29. // 获取数据源对象
  30. DataSource dataSource = ShardingDataSourceFactory.createDataSource(dataSourceMap, shardingRuleConfig, new ConcurrentHashMap(), new Properties());

或通过YAML方式配置,与以上配置等价:

  1. dataSources:
  2. ds_0: !!org.apache.commons.dbcp.BasicDataSource
  3. driverClassName: com.mysql.jdbc.Driver
  4. url: jdbc:mysql://localhost:3306/ds_0
  5. username: root
  6. password:
  7. ds_1: !!org.apache.commons.dbcp.BasicDataSource
  8. driverClassName: com.mysql.jdbc.Driver
  9. url: jdbc:mysql://localhost:3306/ds_1
  10. username: root
  11. password:
  12. tables:
  13. t_order:
  14. actualDataNodes: ds_${0..1}.t_order_${0..1}
  15. databaseStrategy:
  16. inline:
  17. shardingColumn: user_id
  18. algorithmInlineExpression: ds_${user_id % 2}
  19. tableStrategy:
  20. inline:
  21. shardingColumn: order_id
  22. algorithmInlineExpression: t_order_${order_id % 2}
  23. t_order_item:
  24. actualDataNodes: ds_${0..1}.t_order_item_${0..1}
  25. databaseStrategy:
  26. inline:
  27. shardingColumn: user_id
  28. algorithmInlineExpression: ds_${user_id % 2}
  29. tableStrategy:
  30. inline:
  31. shardingColumn: order_id
  32. algorithmInlineExpression: t_order_item_${order_id % 2}
  1. DataSource dataSource = ShardingDataSourceFactory.createDataSource(yamlFile);

规则配置包括数据源配置、表规则配置、分库策略和分表策略组成。这只是最简单的配置方式,实际使用可更加灵活,如:读写分离、多分片键、默认分片规则、分布式主键、级联表绑定等。

使用原生JDBC接口

通过ShardingDataSourceFactory工厂和规则配置对象获取ShardingDataSource,ShardingDataSource实现自JDBC的标准接口DataSource。然后可通过DataSource选择使用原生JDBC开发,或者使用JPA, MyBatis等ORM工具。以JDBC原生实现为例:

  1. DataSource dataSource = ShardingDataSourceFactory.createDataSource(dataSourceMap, shardingRuleConfig);
  2. String sql = "SELECT i.* FROM t_order o JOIN t_order_item i ON o.order_id=i.order_id WHERE o.user_id=? AND o.order_id=?";
  3. try (
  4. Connection conn = dataSource.getConnection();
  5. PreparedStatement preparedStatement = conn.prepareStatement(sql)) {
  6. preparedStatement.setInt(1, 10);
  7. preparedStatement.setInt(2, 1001);
  8. try (ResultSet rs = preparedStatement.executeQuery()) {
  9. while(rs.next()) {
  10. System.out.println(rs.getInt(1));
  11. System.out.println(rs.getInt(2));
  12. }
  13. }
  14. }

使用Spring命名空间配置

  1. <?xml version="1.0" encoding="UTF-8"?>
  2. <beans xmlns="http://www.springframework.org/schema/beans"
  3. xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  4. xmlns:context="http://www.springframework.org/schema/context"
  5. xmlns:sharding="http://shardingsphere.io/schema/shardingjdbc/sharding"
  6. xsi:schemaLocation="http://www.springframework.org/schema/beans
  7. http://www.springframework.org/schema/beans/spring-beans.xsd
  8. http://www.springframework.org/schema/context
  9. http://www.springframework.org/schema/context/spring-context.xsd
  10. http://shardingsphere.io/schema/shardingjdbc/sharding
  11. http://shardingsphere.io/schema/shardingjdbc/sharding/sharding.xsd
  12. ">
  13. <context:property-placeholder location="classpath:conf/conf.properties" ignore-unresolvable="true" />
  14. <bean id="ds_0" class="org.apache.commons.dbcp.BasicDataSource" destroy-method="close">
  15. <property name="driverClassName" value="com.mysql.jdbc.Driver" />
  16. <property name="url" value="jdbc:mysql://localhost:3306/ds_0" />
  17. <property name="username" value="root" />
  18. <property name="password" value="" />
  19. </bean>
  20. <bean id="ds_1" class="org.apache.commons.dbcp.BasicDataSource" destroy-method="close">
  21. <property name="driverClassName" value="com.mysql.jdbc.Driver" />
  22. <property name="url" value="jdbc:mysql://localhost:3306/ds_1" />
  23. <property name="username" value="root" />
  24. <property name="password" value="" />
  25. </bean>
  26. <sharding:inline-strategy id="databaseStrategy" sharding-column="user_id" algorithm-expression="ds_${user_id % 2}" />
  27. <sharding:inline-strategy id="orderTableStrategy" sharding-column="order_id" algorithm-expression="t_order_${order_id % 2}" />
  28. <sharding:inline-strategy id="orderItemTableStrategy" sharding-column="order_id" algorithm-expression="t_order_item_${order_id % 2}" />
  29. <sharding:data-source id="shardingDataSource">
  30. <sharding:sharding-rule data-source-names="ds_0,ds_1">
  31. <sharding:table-rules>
  32. <sharding:table-rule logic-table="t_order" actual-data-nodes="ds_${0..1}.t_order_${0..1}" database-strategy-ref="databaseStrategy" table-strategy-ref="orderTableStrategy" />
  33. <sharding:table-rule logic-table="t_order_item" actual-data-nodes="ds_${0..1}.t_order_item_${0..1}" database-strategy-ref="databaseStrategy" table-strategy-ref="orderItemTableStrategy" />
  34. </sharding:table-rules>
  35. </sharding:sharding-rule>
  36. </sharding:data-source>
  37. </beans>