下推到 TiKV 的表达式列表

当 TiDB 从 TiKV 中读取数据的时候,TiDB 会尽量下推一些表达式运算到 TiKV 中,从而减少数据传输量以及 TiDB 单一节点的计算压力。本文将介绍 TiDB 已支持下推的表达式,以及如何禁止下推特定表达式。

已支持下推的表达式列表

表达式分类 具体操作
逻辑运算 AND (&&), OR (||), NOT (!)
比较运算 <, <=, =, != (<>), >, >=, <=>, IN(), IS NULL, LIKE, IS TRUE, IS FALSE, COALESCE()
数值运算 +, -, *, /, ABS(), CEIL(), CEILING(), FLOOR(), MOD()
控制流运算 CASE, IF(), IFNULL()
JSON 运算 JSON_TYPE(json_val),
JSON_EXTRACT(json_doc, path[, path] …),
JSON_OBJECT(key, val[, key, val] …),
JSON_ARRAY([val[, val] …]),
JSON_MERGE(json_doc, json_doc[, json_doc] …),
JSON_SET(json_doc, path, val[, path, val] …),
JSON_INSERT(json_doc, path, val[, path, val] …),
JSON_REPLACE(json_doc, path, val[, path, val] …),
JSON_REMOVE(json_doc, path[, path] …)
日期运算 DATE_FORMAT(), SYSDATE()
字符串函数 RIGHT()

禁止特定表达式下推

已支持下推的表达式列表中的函数和运算符,或特定的数据类型(仅限 ENUM 类型BIT 类型)的计算过程因下推而出现异常时,你可以使用黑名单功能禁止其下推,从而快速恢复 TiDB 业务。具体而言,你可以将函数名、运算符名,或数据列类型加入黑名单 mysql.expr_pushdown_blacklist 中,以禁止特定表达式下推。具体方法,请参阅加入黑名单

mysql.expr_pushdown_blacklist 的 schema 如下:

  1. tidb> desc mysql.expr_pushdown_blacklist;
  2. +------------+--------------+------+------+-------------------+-------+
  3. | Field | Type | Null | Key | Default | Extra |
  4. +------------+--------------+------+------+-------------------+-------+
  5. | name | char(100) | NO | | NULL | |
  6. | store_type | char(100) | NO | | tikv,tiflash,tidb | |
  7. | reason | varchar(200) | YES | | NULL | |
  8. +------------+--------------+------+------+-------------------+-------+
  9. 3 rows in set (0.00 sec)

以上结果字段解释如下:

  • name:禁止下推的函数名、运算符名或数据类型。
  • store_type:用于指定希望禁止该函数、运算符或数据类型下推到哪些组件进行计算。组件可选 tidbtikvtiflashstore_type 不区分大小写,如果需要禁止向多个存储引擎下推,各个存储之间需用逗号隔开。
    • store_typetidb 时表示在读取 TiDB 内存表时,是否允许该函数在其他 TiDB Server 上执行。
    • store_typetikv 时表示是否允许该函数在 TiKV Server 的 Coprocessor 模块中执行。
    • store_typetiflash 时表示是否允许该函数在 TiFlash Server 的 Coprocessor 模块中执行。
  • reason:用于记录该函数被加入黑名单的原因。

注意:

tidb 是一种特殊的 store_type,其含义是 TiDB 内存表,比如:PERFORMANCE_SCHEMA.events_statements_summary_by_digest,属于系统表的一种,非特殊情况不用考虑这种存储引擎。

加入黑名单

执行以下步骤,可将一个或多函数名、运算符名或数据类型(仅限 ENUM 类型BIT 类型)加入黑名单:

  1. mysql.expr_pushdown_blacklist 插入以下内容:

    • 希望禁止下推的函数名、运算符名或数据类型
    • 希望禁止下推的存储引擎
  2. 执行 admin reload expr_pushdown_blacklist;

移出黑名单

执行以下步骤,可将一个或多个函数名、运算符名或数据类型移出黑名单:

  1. mysql.expr_pushdown_blacklist 表中删除对应的函数名、运算符名或数据类型。
  2. 执行 admin reload expr_pushdown_blacklist;

黑名单使用示例

以下示例首先将函数 DATE_FORMAT()、运算符 > 及 数据类型 BIT 加入黑名单,然后再将运算符 > 从黑名单中移出。

黑名单是否生效可以从 explain 结果中进行观察(参见如何理解 explain 结果)。

  1. tidb> create table t(a int);
  2. Query OK, 0 rows affected (0.06 sec)
  3. tidb> explain select * from t where a < 2 and a > 2;
  4. +-------------------------+----------+-----------+---------------+------------------------------------+
  5. | id | estRows | task | access object | operator info |
  6. +-------------------------+----------+-----------+---------------+------------------------------------+
  7. | TableReader_7 | 0.00 | root | | data:Selection_6 |
  8. | └─Selection_6 | 0.00 | cop[tikv] | | gt(ssb_1.t.a, 2), lt(ssb_1.t.a, 2) |
  9. | └─TableFullScan_5 | 10000.00 | cop[tikv] | table:t | keep order:false, stats:pseudo |
  10. +-------------------------+----------+-----------+---------------+------------------------------------+
  11. 3 rows in set (0.00 sec)
  12. tidb> insert into mysql.expr_pushdown_blacklist values('date_format()', 'tikv',''), ('>','tikv',''), ('bit','tikv','');
  13. Query OK, 2 rows affected (0.01 sec)
  14. Records: 2 Duplicates: 0 Warnings: 0
  15. tidb> admin reload expr_pushdown_blacklist;
  16. Query OK, 0 rows affected (0.00 sec)
  17. tidb> explain select * from t where a < 2 and a > 2;
  18. +-------------------------+----------+-----------+---------------+------------------------------------+
  19. | id | estRows | task | access object | operator info |
  20. +-------------------------+----------+-----------+---------------+------------------------------------+
  21. | Selection_7 | 10000.00 | root | | gt(ssb_1.t.a, 2), lt(ssb_1.t.a, 2) |
  22. | └─TableReader_6 | 10000.00 | root | | data:TableFullScan_5 |
  23. | └─TableFullScan_5 | 10000.00 | cop[tikv] | table:t | keep order:false, stats:pseudo |
  24. +-------------------------+----------+-----------+---------------+------------------------------------+
  25. 3 rows in set (0.00 sec)
  26. tidb> delete from mysql.expr_pushdown_blacklist where name = '>';
  27. Query OK, 1 row affected (0.01 sec)
  28. tidb> admin reload expr_pushdown_blacklist;
  29. Query OK, 0 rows affected (0.00 sec)
  30. tidb> explain select * from t where a < 2 and a > 2;
  31. +---------------------------+----------+-----------+---------------+--------------------------------+
  32. | id | estRows | task | access object | operator info |
  33. +---------------------------+----------+-----------+---------------+--------------------------------+
  34. | Selection_8 | 0.00 | root | | lt(ssb_1.t.a, 2) |
  35. | └─TableReader_7 | 0.00 | root | | data:Selection_6 |
  36. | └─Selection_6 | 0.00 | cop[tikv] | | gt(ssb_1.t.a, 2) |
  37. | └─TableFullScan_5 | 10000.00 | cop[tikv] | table:t | keep order:false, stats:pseudo |
  38. +---------------------------+----------+-----------+---------------+--------------------------------+
  39. 4 rows in set (0.00 sec)

注意:

  • admin reload expr_pushdown_blacklist 只对执行该 SQL 语句的 TiDB server 生效。若需要集群中所有 TiDB server 生效,需要在每台 TiDB server 上执行该 SQL 语句。
  • 表达式黑名单功能在 v3.0.0 及以上版本中支持。
  • 在 v3.0.3 及以下版本中,不支持将某些运算符的原始名称文本(如 “>”、”+” 和 “is null”)加入黑名单中,部分运算符在黑名单中需使用别名。已支持下推的表达式中,别名与原始名不同的运算符见下表(区分大小写)。
运算符原始名称 运算符别名
< lt
> gt
<= le
>= ge
= eq
!= ne
<> ne
<=> nulleq
| bitor
&& bitand
|| or
! not
in in
+ plus
- minus
* mul
/ div
DIV intdiv
IS NULL isnull
IS TRUE istrue
IS FALSE isfalse