Kubernetes设置

本页介绍如何在Kubernetes上部署Flink作业和会话群集

设置Kubernetes

请按照Kubernetes的设置指南来部署Kubernetes集群。如果您想在本地运行Kubernetes,我们建议您使用MiniKube

注意:如果使用MiniKube,请确保minikube ssh 'sudo ip link set docker0 promisc on'在部署Flink群集之前执行否则,Flink组件无法通过Kubernetes服务自行引用自己。

Flink会话群集作为长期运行的Kubernetes部署执行。请注意,您可以在会话群集上运行多个Flink作业。部署群集后,需要将每个作业提交到群集。

Kubernetes中的基本Flink会话群集部署有三个组件:

  • 部署/作业运行JobManager
  • 部署TaskManagers池
  • 公开JobManager的REST和UI端口的服务

使用会话群集的资源定义,使用以下kubectl命令启动群集

  1. kubectl create -f jobmanager-service.yaml
  2. kubectl create -f jobmanager-deployment.yaml
  3. kubectl create -f taskmanager-deployment.yaml

然后,您可以通过kubectl proxy以下方式访问Flink UI

  1. kubectl delete -f jobmanager-deployment.yaml
  2. kubectl delete -f taskmanager-deployment.yaml
  3. kubectl delete -f jobmanager-service.yaml

Flink作业集群是运行单个作业的专用集群。这项工作是镜像的一部分,因此,不需要额外的工作提交。

创建特定于作业的镜像

Flink作业集群映像需要包含启动集群的作业的用户代码jar。因此,需要为每个作业构建专用的容器镜像。请按照这些说明构建Docker镜像。

要在Kubernetes上部署作业集群,请按照这些说明进行 算子操作

高级群集部署

GitHub上提供了早期版本的Flink Helm图表

附录

会话群集资源定义

部署定义使用flink:latest在Docker Hub上找到的预构建映像该映像是从这个Github存储库构建的

jobmanager-deployment.yaml

  1. apiVersion: extensions/v1beta1
  2. kind: Deployment
  3. metadata:
  4. name: flink-jobmanager
  5. spec:
  6. replicas: 1
  7. template:
  8. metadata:
  9. labels:
  10. app: flink
  11. component: jobmanager
  12. spec:
  13. containers:
  14. - name: jobmanager
  15. image: flink:latest
  16. args:
  17. - jobmanager
  18. ports:
  19. - containerPort: 6123
  20. name: rpc
  21. - containerPort: 6124
  22. name: blob
  23. - containerPort: 6125
  24. name: query
  25. - containerPort: 8081
  26. name: ui
  27. env:
  28. - name: JOB_MANAGER_RPC_ADDRESS
  29. value: flink-jobmanager

taskmanager-deployment.yaml

  1. apiVersion: extensions/v1beta1
  2. kind: Deployment
  3. metadata:
  4. name: flink-taskmanager
  5. spec:
  6. replicas: 2
  7. template:
  8. metadata:
  9. labels:
  10. app: flink
  11. component: taskmanager
  12. spec:
  13. containers:
  14. - name: taskmanager
  15. image: flink:latest
  16. args:
  17. - taskmanager
  18. ports:
  19. - containerPort: 6121
  20. name: data
  21. - containerPort: 6122
  22. name: rpc
  23. - containerPort: 6125
  24. name: query
  25. env:
  26. - name: JOB_MANAGER_RPC_ADDRESS
  27. value: flink-jobmanager

jobmanager-service.yaml

  1. apiVersion: v1
  2. kind: Service
  3. metadata:
  4. name: flink-jobmanager
  5. spec:
  6. ports:
  7. - name: rpc
  8. port: 6123
  9. - name: blob
  10. port: 6124
  11. - name: query
  12. port: 6125
  13. - name: ui
  14. port: 8081
  15. selector:
  16. app: flink
  17. component: jobmanager