EXPORT

description

  1. 该语句用于将指定表的数据导出到指定位置。
  2. 该功能通过 broker 进程实现。对于不同的目的存储系统,需要部署不同的 broker。可以通过 SHOW BROKER 查看已部署的 broker
  3. 这是一个异步操作,任务提交成功则返回。执行后可使用 SHOW EXPORT 命令查看进度。
  4. 语法:
  5. EXPORT TABLE table_name
  6. [PARTITION (p1[,p2])]
  7. [WHERE [expr]]
  8. TO export_path
  9. [opt_properties]
  10. [broker|S3];
  11. 1. table_name
  12. 当前要导出的表的表名,目前支持engineolapmysql的表的导出。
  13. 2. partition
  14. 可以只导出指定表的某些指定分区
  15. 3. expr
  16. 导出满足 where 条件的行,选填。不填则默认导出所有行。
  17. 4. export_path
  18. 导出的路径,需为目录。支持导出到本地,hdfs,百度boss3协议的其他存储系统。
  19. 5. opt_properties
  20. 用于指定一些特殊参数。
  21. 语法:
  22. [PROPERTIES ("key"="value", ...)]
  23. 可以指定如下参数:
  24. label: 指定一个自定义作业标识。后续可以使用这个标识查看作业状态。
  25. column_separator: 指定导出的列分隔符,默认为\t。支持不可见字符,比如 '\x07'
  26. column: 指定待导出的列,使用英文逗号隔开,如果不填这个参数默认是导出表的所有列。
  27. line_delimiter: 指定导出的行分隔符,默认为\n。支持不可见字符,比如 '\x07'
  28. exec_mem_limit: 导出在单个 BE 节点的内存使用上限,默认为 2GB,单位为字节。
  29. timeout:导入作业的超时时间,默认为1天,单位是秒。
  30. tablet_num_per_task:每个子任务能分配的最大 Tablet 数量。
  31. 6. broker|s3
  32. 指定使用broker导出或者通过S3协议导出
  33. 语法:
  34. WITH [BROKER broker_name | S3] ("key"="value"[,...])
  35. 这里需要指定具体的broker name, 以及所需的broker属性, 如果使用S3协议则无需指定broker name
  36. 对于不同存储系统对应的 broker,这里需要输入的参数不同。具体参数可以参阅:`help broker load` broker 所需属性。
  37. 导出到本地时,不需要填写这部分。
  38. 7. hdfs
  39. 指定导出到hdfs
  40. 语法:
  41. WITH HDFS ("key"="value"[,...])
  42. 可以指定如下参数:
  43. fs.defaultFS: 指定HDFSfs,格式为:hdfs://ip:port
  44. hdfs_user:指定写入HDFSuser

example

  1. 1. testTbl 表中的所有数据导出到 hdfs
  2. EXPORT TABLE testTbl TO "hdfs://hdfs_host:port/a/b/c" WITH BROKER "broker_name" ("username"="xxx", "password"="yyy");
  3. 2. testTbl 表中的分区p1,p2导出到 hdfs
  4. EXPORT TABLE testTbl PARTITION (p1,p2) TO "hdfs://hdfs_host:port/a/b/c" WITH BROKER "broker_name" ("username"="xxx", "password"="yyy");
  5. 3. testTbl 表中的所有数据导出到 hdfs 上,以","作为列分隔符,并指定label
  6. EXPORT TABLE testTbl TO "hdfs://hdfs_host:port/a/b/c" PROPERTIES ("label" = "mylabel", "column_separator"=",") WITH BROKER "broker_name" ("username"="xxx", "password"="yyy");
  7. 4. testTbl 表中 k1 = 1 的行导出到 hdfs 上。
  8. EXPORT TABLE testTbl TO "hdfs://hdfs_host:port/a/b/c" WHERE k1=1 WITH BROKER "broker_name" ("username"="xxx", "password"="yyy");
  9. 5. testTbl 表中的所有数据导出到本地。
  10. EXPORT TABLE testTbl TO "file:///home/data/a";
  11. 6. testTbl 表中的所有数据导出到 hdfs 上,以不可见字符 "\x07" 作为列或者行分隔符。
  12. EXPORT TABLE testTbl TO "hdfs://hdfs_host:port/a/b/c" PROPERTIES ("column_separator"="\\x07", "line_delimiter" = "\\x07") WITH BROKER "broker_name" ("username"="xxx", "password"="yyy")
  13. 7. testTbl 表的 k1, v1 列导出到本地。
  14. EXPORT TABLE testTbl TO "file:///home/data/a" PROPERTIES ("columns" = "k1,v1");
  15. 8. testTbl 表中的所有数据导出到 hdfs 上,以不可见字符 "\x07" 作为列或者行分隔符。
  16. EXPORT TABLE testTbl TO "hdfs://hdfs_host:port/a/b/c" PROPERTIES ("column_separator"="\\x07", "line_delimiter" = "\\x07") WITH HDFS ("fs.defaultFS"="hdfs://hdfs_host:port", "hdfs_user"="yyy")

keyword

  1. EXPORT