Hive CLI

综述

使用Hive Cli任务插件创建Hive Cli类型的任务执行SQL脚本语句或者SQL任务文件。 执行任务的worker会通过hive -e命令执行hive SQL脚本语句或者通过hive -f命令执行资源中心中的hive SQL文件。

Hive CLI任务 VS 连接Hive数据源的SQL任务

在DolphinScheduler中，我们有Hive CLI任务插件和使用Hive数据源的SQL插件提供用户在不同场景下使用，您可以根据需要进行选择。

  • Hive CLI任务插件直接连接HDFS和Hive Metastore来执行hive类型的任务，所以需要能够访问到对应的服务。 执行任务的worker节点需要有相应的Hive jar包以及Hive和HDFS的配置文件。 但是在生产调度中，Hive CLI任务插件能够提供更可靠的稳定性。
  • 使用Hive数据源的SQL插件不需要您在worker节点上有相应的Hive jar包以及Hive和HDFS的配置文件，而且支持 Kerberos认证。 但是在生产调度中，若调度压力很大，使用这种方式可能会遇到HiveServer2服务过载失败等问题。

创建任务

  • 点击项目管理-项目名称-工作流定义，点击”创建工作流”按钮，进入DAG编辑页面。
  • 工具栏中拖动 Hive CLI - 图1 到画板中，即可完成创建。

任务参数

任务参数描述
Hive Cli 任务类型Hive Cli任务执行方式，可以选择FROM_SCRIPT或者FROM_FILE。
Hive SQL 脚本手动填入您的Hive SQL脚本语句。
Hive Cli 选项Hive Cli的其他选项，如—verbose。
资源如果您选择FROM_FILE作为Hive Cli任务类型，您需要在资源中选择Hive SQL文件。

任务样例

Hive CLI任务样例

下面的样例演示了如何使用Hive CLI任务节点执行Hive SQL脚本语句：

demo-hive-cli-from-script

下面的样例演示了如何使用Hive CLI任务节点从资源中心的Hive SQL

demo-hive-cli-from-file