Sharding 是一个高性能的 Gorm 分表中间件。它基于 Conn 层做 SQL 拦截、AST 解析、分表路由、自增主键填充，带来的额外开销极小。对开发者友好、透明，使用上与普通 SQL、Gorm 查询无差别，只需要额外注意一下分表键条件。 为您提供高性能的数据库访问。

https://github.com/go-gorm/sharding

功能特点

  • 非侵入式设计， 加载插件，指定配置，既可实现分表。
  • 轻快， 非基于网络层的中间件，像 Go 一样快
  • 支持多种数据库。 PostgreSQL 已通过测试，MySQL 和 SQLite 也在路上。
  • 多种主键生成方式支持（Snowflake, PostgreSQL Sequence, 以及自定义支持）Snowflake 支持从主键中确定分表键。

使用说明

配置 Sharding 中间件，为需要分表的业务表定义他们分表的规则。 查看 Godoc 获取配置详情。

  1. import (
  2.     "fmt"
  4.     "gorm.io/driver/postgres"
  5.     "gorm.io/gorm"
  6.     "gorm.io/sharding"
  7. )
  9. dsn := "postgres://localhost:5432/sharding-db?sslmode=disable"
  10. db, err := gorm.Open(postgres.New(postgres.Config{DSN: dsn}))
  12. db.Use(sharding.Register(sharding.Config{
  13.     ShardingKey:         "user_id",
  14.     NumberOfShards:      64,
  15.     PrimaryKeyGenerator: sharding.PKSnowflake,
  16. }, "orders").Register(sharding.Config{
  17.     ShardingKey:         "user_id",
  18.     NumberOfShards:      256,
  19.     PrimaryKeyGenerator: sharding.PKSnowflake,
  20.     // This case for show up give notifications, audit_logs table use same sharding rule.
  21. }, Notification{}, AuditLog{}))

依然保持原来的方式使用 db 来查询数据库。 你只需要注意在 CURD 动作的时候，明确知道 Sharding Key 对应的分表，查询条件带 Sharding Key，以确保 Sharding 能理解数据需要对应到哪一个子表。

  1. // GORM 创建示例，这会插入到 orders_02 表
  2. db.Create(&Order{UserID: 2})
  3. // sql: INSERT INTO orders_2 ...
  5. // 原生 SQL 插入示例，这会插入到 orders_03 表
  6. db.Exec("INSERT INTO orders(user_id) VALUES(?)", int64(3))
  8. // 这会抛出 ErrMissingShardingKey 错误，因此此处没有提供 sharding key
  9. db.Create(&Order{Amount: 10, ProductID: 100})
  10. fmt.Println(err)
  12. // Find 方法，这会检索 order_02 表
  13. var orders []Order
  14. db.Model(&Order{}).Where("user_id", int64(2)).Find(&orders)
  15. fmt.Printf("%#v\n", orders)
  17. // 原生 SQL 也是支持的
  18. db.Raw("SELECT * FROM orders WHERE user_id = ?", int64(3)).Scan(&orders)
  19. fmt.Printf("%#v\n", orders)
  21. // 这会抛出 ErrMissingShardingKey 错误，因为 WHERE 条件没有包含 sharding key
  22. err = db.Model(&Order{}).Where("product_id", "1").Find(&orders).Error
  23. fmt.Println(err)
  25. // Update 和 Delete 方法与创建、查询类似
  26. db.Exec("UPDATE orders SET product_id = ? WHERE user_id = ?", 2, int64(3))
  27. err = db.Exec("DELETE FROM orders WHERE product_id = 3").Error
  28. fmt.Println(err) // ErrMissingShardingKey

完整示例演示 Example。