5.4 validator请求校验

社区里曾经有人用图 5-10来嘲笑PHP:

validate 流程

图 5-10 validator流程

实际上这是一个语言无关的场景,需要进行字段校验的情况有很多,Web系统的Form或JSON提交只是一个典型的例子。我们用Go来写一个类似上图的校验示例。然后研究怎么一步步对其进行改进。

5.4.1 重构请求校验函数

假设我们的数据已经通过某个开源绑定库绑定到了具体的结构体上。

  1. type RegisterReq struct {
  2. Username string `json:"username"`
  3. PasswordNew string `json:"password_new"`
  4. PasswordRepeat string `json:"password_repeat"`
  5. Email string `json:"email"`
  6. }
  7. func register(req RegisterReq) error{
  8. if len(req.Username) > 0 {
  9. if len(req.PasswordNew) > 0 && len(req.PasswordRepeat) > 0 {
  10. if req.PasswordNew == req.PasswordRepeat {
  11. if emailFormatValid(req.Email) {
  12. createUser()
  13. return nil
  14. } else {
  15. return errors.New("invalid email")
  16. }
  17. } else {
  18. return errors.New("password and reinput must be the same")
  19. }
  20. } else {
  21. return errors.New("password and password reinput must be longer than 0")
  22. }
  23. } else {
  24. return errors.New("length of username cannot be 0")
  25. }
  26. }

我们用Go里成功写出了波动拳开路的箭头型代码。。这种代码一般怎么进行优化呢?

很简单,在《重构》一书中已经给出了方案:Guard Clauses

  1. func register(req RegisterReq) error{
  2. if len(req.Username) == 0 {
  3. return errors.New("length of username cannot be 0")
  4. }
  5. if len(req.PasswordNew) == 0 || len(req.PasswordRepeat) == 0 {
  6. return errors.New("password and password reinput must be longer than 0")
  7. }
  8. if req.PasswordNew != req.PasswordRepeat {
  9. return errors.New("password and reinput must be the same")
  10. }
  11. if emailFormatValid(req.Email) {
  12. return errors.New("invalid email")
  13. }
  14. createUser()
  15. return nil
  16. }

代码更清爽,看起来也不那么别扭了。这是比较通用的重构理念。虽然使用了重构方法使我们的校验过程代码看起来优雅了,但我们还是得为每一个http请求都去写这么一套差不多的validate()函数,有没有更好的办法来帮助我们解除这项体力劳动?答案就是validator。

5.4.2 用validator解放体力劳动

从设计的角度讲,我们一定会为每个请求都声明一个结构体。前文中提到的校验场景我们都可以通过validator完成工作。还以前文中的结构体为例。为了美观起见,我们先把json tag省略掉。

这里我们引入一个新的validator库:

https://github.com/go-playground/validator

  1. import "gopkg.in/go-playground/validator.v9"
  2. type RegisterReq struct {
  3. // 字符串的 gt=0 表示长度必须 > 0,gt = greater than
  4. Username string `validate:"gt=0"`
  5. // 同上
  6. PasswordNew string `validate:"gt=0"`
  7. // eqfield 跨字段相等校验
  8. PasswordRepeat string `validate:"eqfield=PasswordNew"`
  9. // 合法 email 格式校验
  10. Email string `validate:"email"`
  11. }
  12. validate := validator.New()
  13. func validate(req RegisterReq) error {
  14. err := validate.Struct(req)
  15. if err != nil {
  16. doSomething()
  17. return err
  18. }
  19. ...
  20. }

这样就不需要在每个请求进入业务逻辑之前都写重复的validate()函数了。本例中只列出了这个校验器非常简单的几个功能。

我们试着跑一下这个程序,输入参数设置为:

  1. //...
  2. var req = RegisterReq {
  3. Username : "Xargin",
  4. PasswordNew : "ohno",
  5. PasswordRepeat : "ohn",
  6. Email : "alex@abc.com",
  7. }
  8. err := validate(req)
  9. fmt.Println(err)
  10. // Key: 'RegisterReq.PasswordRepeat' Error:Field validation for
  11. // 'PasswordRepeat' failed on the 'eqfield' tag

如果觉得这个validator提供的错误信息不够人性化,例如要把错误信息返回给用户,那就不应该直接显示英文了。可以针对每种tag进行错误信息定制,读者可以自行探索。

5.4.3 原理

从结构上来看,每一个结构体都可以看成是一棵树。假如我们有如下定义的结构体:

  1. type Nested struct {
  2. Email string `validate:"email"`
  3. }
  4. type T struct {
  5. Age int `validate:"eq=10"`
  6. Nested Nested
  7. }

把这个结构体画成一棵树,见图 5-11

struct-tree

图 5-11 validator 树

从字段校验的需求来讲,无论我们采用深度优先搜索还是广度优先搜索来对这棵结构体树来进行遍历,都是可以的。

我们来写一个递归的深度优先搜索方式的遍历示例:

  1. package main
  2. import (
  3. "fmt"
  4. "reflect"
  5. "regexp"
  6. "strconv"
  7. "strings"
  8. )
  9. type Nested struct {
  10. Email string `validate:"email"`
  11. }
  12. type T struct {
  13. Age int `validate:"eq=10"`
  14. Nested Nested
  15. }
  16. func validateEmail(input string) bool {
  17. if pass, _ := regexp.MatchString(
  18. `^([\w\.\_]{2,10})@(\w{1,}).([a-z]{2,4})$`, input,
  19. ); pass {
  20. return true
  21. }
  22. return false
  23. }
  24. func validate(v interface{}) (bool, string) {
  25. validateResult := true
  26. errmsg := "success"
  27. vt := reflect.TypeOf(v)
  28. vv := reflect.ValueOf(v)
  29. for i := 0; i < vv.NumField(); i++ {
  30. fieldVal := vv.Field(i)
  31. tagContent := vt.Field(i).Tag.Get("validate")
  32. k := fieldVal.Kind()
  33. switch k {
  34. case reflect.Int:
  35. val := fieldVal.Int()
  36. tagValStr := strings.Split(tagContent, "=")
  37. tagVal, _ := strconv.ParseInt(tagValStr[1], 10, 64)
  38. if val != tagVal {
  39. errmsg = "validate int failed, tag is: "+ strconv.FormatInt(
  40. tagVal, 10,
  41. )
  42. validateResult = false
  43. }
  44. case reflect.String:
  45. val := fieldVal.String()
  46. tagValStr := tagContent
  47. switch tagValStr {
  48. case "email":
  49. nestedResult := validateEmail(val)
  50. if nestedResult == false {
  51. errmsg = "validate mail failed, field val is: "+ val
  52. validateResult = false
  53. }
  54. }
  55. case reflect.Struct:
  56. // 如果有内嵌的 struct,那么深度优先遍历
  57. // 就是一个递归过程
  58. valInter := fieldVal.Interface()
  59. nestedResult, msg := validate(valInter)
  60. if nestedResult == false {
  61. validateResult = false
  62. errmsg = msg
  63. }
  64. }
  65. }
  66. return validateResult, errmsg
  67. }
  68. func main() {
  69. var a = T{Age: 10, Nested: Nested{Email: "abc@abc.com"}}
  70. validateResult, errmsg := validate(a)
  71. fmt.Println(validateResult, errmsg)
  72. }

这里我们简单地对eq=xemail这两个tag进行了支持,读者可以对这个程序进行简单的修改以查看具体的validate效果。为了演示精简掉了错误处理和复杂情况的处理,例如reflect.Int8/16/32/64reflect.Ptr等类型的处理,如果给生产环境编写校验库的话,请务必做好功能的完善和容错。

在前一小节中介绍的开源校验组件在功能上要远比我们这里的例子复杂的多。但原理很简单,就是用反射对结构体进行树形遍历。有心的读者这时候可能会产生一个问题,我们对结构体进行校验时大量使用了反射,而Go的反射在性能上不太出众,有时甚至会影响到我们程序的性能。这样的考虑确实有一些道理,但需要对结构体进行大量校验的场景往往出现在Web服务,这里并不一定是程序的性能瓶颈所在,实际的效果还是要从pprof中做更精确的判断。

如果基于反射的校验真的成为了你服务的性能瓶颈怎么办?现在也有一种思路可以避免反射:使用Go内置的Parser对源代码进行扫描,然后根据结构体的定义生成校验代码。我们可以将所有需要校验的结构体放在单独的包内。这就交给读者自己去探索了。