集群配置

集群配置

  1. 集群配置按照公共组件-->资源调度组件-->存储组件-->计算组件的顺序进行配置
  2. 不同厂商Hadoop集群环境各不一样,遇到适配问题,可以尝试修改taier源码支持

环境依赖

  • SFTP服务器
  • Hadoop集群

组件依赖

配置组件前置组件
SFTP
YARNSFTP
HDFSSFTP、YARN
SparkSFTP、YARN、HDFS
ScriptSFTP、YARN、HDFS
Flink-on-yarnSFTP、YARN、HDFS
Flink-on-standaloneSFTP

组件任务支持关系

任务类型依赖组件是否必须
数据同步Flink
Flink SQLFlink
实时采集Flink
Hive SQLHive
Spark SQLSpark、Spark-Thrift
PythonScript
ShellScript