Flink-standalone

启动Flink Standalone环境

1、下载 flink

2、chunjun的插件

  • 拉取最新的chunjun master 版本项目，打包 mvn clean package -DskipTests, 将生成的chunjun-dist 拷贝至 $FLINK_HOME/lib

  • chunjun 有些依赖包依赖是provided，需要将缺省的jar放到$FLINK_HOME/lib 例如：在chunjun-core最新版本中将logback的依赖改为了provided, 需要将以下logback包放到$FLINK_HOME/lib

    logback-core-1.2.11.jar logback-classic-1.2.11.jar

3、flink1.12 standalone服务参数 所有节点都需要配置

  1. # 类加载配置
  2. classloader.resolve-order: parent-first
  3. classloader.check-leaked-classloader: false
  5. # 高可用配置(单机 None)
  6. high-availability: zookeeper
  7. high-availability.zookeeper.quorum: kudu1:2181,kudu2:2181,kudu3:2181
  8. high-availability.zookeeper.path.root: /flink112
  9. high-availability.storageDir: hdfs://ns1/dtInsight/flink112/ha
  10. high-availability.cluster-id: /standalone_ha
  12. # 指标配置
  13. metrics.reporter.promgateway.class: org.apache.flink.metrics.prometheus.PrometheusPushGatewayReporter
  14. metrics.reporter.promgateway.host: 172.16.23.25
  15. metrics.reporter.promgateway.port: 9091
  16. metrics.reporter.promgateway.jobName: flink112
  17. metrics.reporter.promgateway.randomJobNameSuffix: true
  18. metrics.reporter.promgateway.deleteOnShutdown: false

Standalone 控制台参数

参数名含义是否必填 为必填默认值
clusterModeflink部署模式standalone
flinkLibDirflink libs的路径/data/flink112_lib
chunjunDistDirchunjun 插件地址/data/chunjun/chunjun-dist
remoteChunjunDistDirchunjun 插件远端地址/data/chunjun/chunjun-dist
pluginLoadMode加载文件的方式classpath
jobmanager.rpc.addressjobmanager rpc地址
jobmanager.rpc.portjobmanager rpc端口号
rest.portui端口号
high-availability高可用服务类型NONE
high-availability.zookeeper.quorumzookeeper集群地址
high-availability.zookeeper.path.rootflink存储状态在zookeeper的根节点路径
high-availability.storageDirflink高可用模式下存储元数据的文件系统路径(URI)
high-availability.cluster-idflink集群的id， 用于区分多个flink集群
prometheusHostprometheus地址
prometheusPortprometheus端口*
state.backend状态后端jobmanager

新增集群

  1. 进入控制台 > 2. 多集群管理 > 3. 新增集群
    配置集群参考 集群配置
    配置组件参考 组件配置

绑定集群

控制台>资源管理>绑定新租户 会初始化相关目录、schema、默认数据源信息

bing-tenant