基于集群资源模型的调度
概览
在将应用程序调度到特定集群时,目标集群的资源状态是一个不容忽视的因素。 例如,当集群资源不足以运行给定的实例时,我们希望调度器尽可能避免这种调度行为。 本文将重点介绍 Karmada 如何基于集群资源模型进行实例的调度。
集群资源模型
在调度过程中,karmada-scheduler 现在根据一系列因素做出决策,其中一个因素是集群的资源状态。 现在 Karmada 有两种不同的基于集群资源的调度方式,其中一种是通用的集群模型,另一种是自定义的集群模型。
通用集群资源模型
使用通用集群资源模型
出于上述目的,Karmada在Cluster API 引入了ResourceSummary的概念。
以下给出了一个ResourceSummary的例子:
resourceSummary:allocatable:cpu: "4"ephemeral-storage: 206291924Kihugepages-1Gi: "0"hugepages-2Mi: "0"memory: 16265856Kipods: "110"allocated:cpu: 950mmemory: 290Mipods: "11"
从上面的例子中,我们可以知道集群的可分配资源和已分配资源。
基于通用集群资源模型的调度
假设在Karmada控制面上注册了三个成员集群,这时过来一个Pod的调度请求。
Member1:
resourceSummary:allocatable:cpu: "4"ephemeral-storage: 206291924Kihugepages-1Gi: "0"hugepages-2Mi: "0"memory: 16265856Kipods: "110"allocated:cpu: 950mmemory: 290Mipods: "11"
Member2:
resourceSummary:allocatable:cpu: "4"ephemeral-storage: 206291924Kihugepages-1Gi: "0"hugepages-2Mi: "0"memory: 16265856Kipods: "110"allocated:cpu: "2"memory: 290Mipods: "11"
Member3:
resourceSummary:allocatable:cpu: "4"ephemeral-storage: 206291924Kihugepages-1Gi: "0"hugepages-2Mi: "0"memory: 16265856Kipods: "110"allocated:cpu: "2"memory: 290Mipods: "110"
假设这个Pod的资源请求是500m CPU。 显然,Member1和Member2有足够的资源来运行这个副本,但Member3没有Pod的配额。 考虑到可用资源的数量,调度器更倾向于将Pod调度到member1。
| Cluster | member1 | member2 | member3 |
|---|---|---|---|
| AvailableReplicas | (4 - 0.95) / 0.5 = 6.1 | (4 - 2) / 0.5 = 4 | 0 |
自定义集群资源模型
背景
ResourceSummary 描述了集群的整体可用资源。 但是,ResourceSummary不够精确,它机械地统计所有节点上的资源,而忽略了节点上的碎片资源。例如,一个有 2000 个节点的集群,每个节点上只剩下1核CPU。 从 ResourceSummary 中我们获知集群还有 2000核CPU,但事实上,这个集群甚至无法运行任何需要1核CPU以上的Pod实例。
因此,我们为每个集群引入了“自定义资源模型”的概念,来记录每个节点的资源画像。 Karmada将收集每个集群的节点和pod信息,并经过计算将这个节点被划分为对应等级的合适的资源模型。
启用自定义资源模型
自定义集群资源模型特性开关从Karmada v1.4后处于Beta阶段,并且默认开启。如果你使用Karmada v1.3,你需要在 karmada-scheduler、karmada-aggregated-server 和 karmada-controller-manager 中开启 CustomizedClusterResourceModeling 特性开关。
例如,你可以使用以下命令打开 karmada-controller-manager 中的特性开关。
kubectl --kubeconfig ~/.kube/karmada.config --context karmada-host edit deploy/karmada-controller-manager -nkarmada-system
- command:- /bin/karmada-controller-manager- --kubeconfig=/etc/kubeconfig- --bind-address=0.0.0.0- --cluster-status-update-frequency=10s- --secure-port=10357- --feature-gates=CustomizedClusterResourceModeling=true- --v=4
在开启特性开关后,当集群注册到 Karmada 控制面时,Karmada会自动为集群设置一个通用的资源模型。你可以在 cluster.spec 中看到它。
默认的资源模型如下:
resourceModels:- grade: 0ranges:- max: "1"min: "0"name: cpu- max: 4Gimin: "0"name: memory- grade: 1ranges:- max: "2"min: "1"name: cpu- max: 16Gimin: 4Giname: memory- grade: 2ranges:- max: "4"min: "2"name: cpu- max: 32Gimin: 16Giname: memory- grade: 3ranges:- max: "8"min: "4"name: cpu- max: 64Gimin: 32Giname: memory- grade: 4ranges:- max: "16"min: "8"name: cpu- max: 128Gimin: 64Giname: memory- grade: 5ranges:- max: "32"min: "16"name: cpu- max: 256Gimin: 128Giname: memory- grade: 6ranges:- max: "64"min: "32"name: cpu- max: 512Gimin: 256Giname: memory- grade: 7ranges:- max: "128"min: "64"name: cpu- max: 1Timin: 512Giname: memory- grade: 8ranges:- max: "9223372036854775807"min: "128"name: cpu- max: "9223372036854775807"min: 1Tiname: memory
自定义你的集群资源模型
在某些情况下,默认的集群资源模型可能与你的集群不相匹配。你可以调整集群资源模型的细粒度,以便更好地向集群下发资源。 例如,你可以使用以下命令编辑 member1 的集群资源模型。
kubectl --kubeconfig ~/.kube/karmada.config --context karmada-apiserver edit cluster/member1
自定义资源模型应满足以下要求:
- 每个模型的等级不应该是相同的。
- 每个模型中资源类型的数量应该相同。
- 目前只支持 cpu, memory, storage, ephemeral-storage四种资源类型。
- 每个资源的最大值必须大于最小值。
- 第一个模型中每个资源的最小值应为 0。
- 最后一个模型中每个资源的最大值应为 MaxInt64。
- 每个模型的资源类型应该相同。
- 从低等级到高等级的模型,资源的范围必须连续且不重叠。
例如:以下给出了一个自定义的集群资源模型:
resourceModels:- grade: 0ranges:- max: "1"min: "0"name: cpu- max: 4Gimin: "0"name: memory- grade: 1ranges:- max: "2"min: "1"name: cpu- max: 16Gimin: 4Giname: memory- grade: 2ranges:- max: "9223372036854775807"min: "2"name: cpu- max: "9223372036854775807"min: 16Giname: memory
上述是一个有三个等级的集群资源模型,每个等级分别定义了CPU和内存这两种资源的资源范围。这时如果一个节点的剩余可用资源为0.5核CPU和2Gi内存,则会被划分为0级的资源模型。如果这个节点的剩余可用资源为1.5核CPU和10Gi内存,则会被划分为1级。
基于自定义集群资源模型的调度
自定义集群资源模型将节点划分为不同区间的等级,并且当一个Pod实例需要调度到特定集群时,karmada-scheduler根据将要调度的实例资源请求比较不同集群中满足要求的节点数,并将实例调度到满足要求的节点数更多的集群。 假设有三个注册在Karmada控制面的成员集群,采用默认设置的集群资源模型,这些集群的剩余可用资源情况如下。
成员集群1:
spec:...- grade: 2ranges:- max: "4"min: "2"name: cpu- max: 32Gimin: 16Giname: memory- grade: 3ranges:- max: "8"min: "4"name: cpu- max: 64Gimin: 32Giname: memory......status:- count: 1grade: 2- count: 6grade: 3
成员集群2:
spec:...- grade: 2ranges:- max: "4"min: "2"name: cpu- max: 32Gimin: 16Giname: memory- grade: 3ranges:- max: "8"min: "4"name: cpu- max: 64Gimin: 32Giname: memory......status:- count: 4grade: 2- count: 4grade: 3
成员集群3:
spec:...- grade: 6ranges:- max: "64"min: "32"name: cpu- max: 512Gimin: 256Giname: memory......status:- count: 1grade: 6
假设这时过来一个Pod的调度请求,Pod的资源请求是3核CPU和20Gi内存。那么,Karmada认为所有满足等级2及以上的节点满足此要求。考虑到不同集群可用节点的数量,调度器更倾向于Pod调度到成员集群3。
| Cluster | member1 | member2 | member3 |
|---|---|---|---|
| AvailableReplicas | 1 + 6 = 7 | 4 + 4 = 8 | 1 * min(32/3, 256/20) = 10 |
假设这时过来一个Pod的调度请求,Pod的资源请求是3核CPU和60Gi内存。那么,这时等级2的节点已经无法满足Pod所需所有资源的要求。考虑到不同集群可用节点的数量,调度器更倾向于Pod调度到成员集群1。
| Cluster | member1 | member2 | member3 |
|---|---|---|---|
| AvailableReplicas | 6 1 = 6 | 4 1 = 4 | 1 * min(32/3, 256/60) = 4 |
禁用集群资源模型
在基于集群可用资源的动态副本分配场景中,调度器总是会参考资源模型来做出调度决策。 在资源建模的过程中,不论是通用集群资源建模还是自定义集群资源建模,Karmada都会从管理的所有集群中收集节点和Pod信息。 这在大规模场景中带来了不小的性能负担。
你可以通过在 karmada-controller-manager 和 karmada-agent 中将 --enable-cluster-resource-modeling 设置为 false 来禁用集群资源模型。