[question]qosclass为 LSE和 LSR类型的pod 能使用超卖资源吗？

[hamstersox]

What happened:
问题1: LSE和 LSR类型的pod 能使用超卖资源吗？
因为我发现我配置 koordinator.sh/qosClass: LSR

但是我pod k8s原生的qosClass 为 BE

What you expected to happen:
因为我的环境所有pod qos都预期是 guaranteed。request都很高，但是资源的实际利用率低，我想提高资源的利用率。

Environment:

• Koordinator version: - v0.6.2
• Kubernetes version (use kubectl version): v1.22.5
• docker/containerd version: containerd 1.5.0
• OS (e.g: cat /etc/os-release): Ubuntu 20.04.4 LTS
• Kernel (e.g. uname -a): Linux 5.10.112-11.al8.x86_64 ✨ Add NodeMetric API #1 SMP Tue May 24 16:05:50 CST 2022 x86_64 x86_64 x86_64 GNU/Linux

Anything else we need to know:

[saintube]

@hamstersox 您好，这是一个好问题。

• LSE pods 的资源不能被超卖，因为定义上该 QoS 等级确保了 cpu 核的强隔离，与其他超卖 pods 互斥，反之也不能申请超卖资源。
• LSR pods 的资源可以被超卖，它的 cpu 核可能和 BE pods 部分共享，但当前 koordinator 不支持绑核超卖，因此 LSR pods 不能申请超卖资源。

您当前提供的 YAML 中，组合使用了 QoS=LSR 和 Batch 资源，这在 koordinator 中是不支持的，因此 LSR 的绑核语义其实没有生效，而是变成了类似 Batch + LS 的模式。
对于您的资源使用场景，可以考虑拆分应用的优先级为 Prod、Batch 进行在离线混部超卖；对于优先级不可分的场景，我们也提供了节点资源放大和 Mid 资源超卖等机制，正在建设中，感兴趣的话可以了解下方案，也欢迎贡献：

• https://github.com/koordinator-sh/koordinator/blob/main/docs/proposals/scheduling/20230811-node-resource-amplification.md
• https://github.com/koordinator-sh/koordinator/blob/main/docs/proposals/20230613-node-prediction.md

[hamstersox]

@hamstersox 您好，这是一个好问题。

• LSE pods 的资源不能被超卖，因为定义上该 QoS 等级确保了 cpu 核的强隔离，与其他超卖 pods 互斥，反之也不能申请超卖资源。
• LSR pods 的资源可以被超卖，它的 cpu 核可能和 BE pods 部分共享，但当前 koordinator 不支持绑核超卖，因此 LSR pods 不能申请超卖资源。

您当前提供的 YAML 中，组合使用了 QoS=LSR 和 Batch 资源，这在 koordinator 中是不支持的，因此 LSR 的绑核语义其实没有生效，而是变成了类似 Batch + LS 的模式。 对于您的资源使用场景，可以考虑拆分应用的优先级为 Prod、Batch 进行在离线混部超卖；对于优先级不可分的场景，我们也提供了节点资源放大和 Mid 资源超卖等机制，正在建设中，感兴趣的话可以了解下方案，也欢迎贡献：

• https://github.com/koordinator-sh/koordinator/blob/main/docs/proposals/scheduling/20230811-node-resource-amplification.md
• https://github.com/koordinator-sh/koordinator/blob/main/docs/proposals/20230613-node-prediction.md

再请教一下

我对mid资源的定义不是理解。想问mid资源和batch资源的区别？
以及为什么我的batch 资源和mid资源为0 ？
slo-controller-config 配置如下

[saintube]

@hamstersox 您好，这是一个好问题。

• LSE pods 的资源不能被超卖，因为定义上该 QoS 等级确保了 cpu 核的强隔离，与其他超卖 pods 互斥，反之也不能申请超卖资源。
• LSR pods 的资源可以被超卖，它的 cpu 核可能和 BE pods 部分共享，但当前 koordinator 不支持绑核超卖，因此 LSR pods 不能申请超卖资源。

您当前提供的 YAML 中，组合使用了 QoS=LSR 和 Batch 资源，这在 koordinator 中是不支持的，因此 LSR 的绑核语义其实没有生效，而是变成了类似 Batch + LS 的模式。 对于您的资源使用场景，可以考虑拆分应用的优先级为 Prod、Batch 进行在离线混部超卖；对于优先级不可分的场景，我们也提供了节点资源放大和 Mid 资源超卖等机制，正在建设中，感兴趣的话可以了解下方案，也欢迎贡献：

• https://github.com/koordinator-sh/koordinator/blob/main/docs/proposals/scheduling/20230811-node-resource-amplification.md
• https://github.com/koordinator-sh/koordinator/blob/main/docs/proposals/20230613-node-prediction.md

再请教一下 我对mid资源的定义不是理解。想问mid资源和batch资源的区别？ 以及为什么我的batch 资源和mid资源为0 ？ slo-controller-config 配置如下

@hamstersox 看起来 configmap 填错了。可以通过以下命令确认 configmap 的填写结果：

kubectl describe configmap -n koordinator-system slo-controller-config
kubectl get nodeslo.slo.koordinator.sh $NODE_NAME  -oyaml

[hamstersox]

@hamstersox 您好，这是一个好问题。

• LSE pods 的资源不能被超卖，因为定义上该 QoS 等级确保了 cpu 核的强隔离，与其他超卖 pods 互斥，反之也不能申请超卖资源。
• LSR pods 的资源可以被超卖，它的 cpu 核可能和 BE pods 部分共享，但当前 koordinator 不支持绑核超卖，因此 LSR pods 不能申请超卖资源。

您当前提供的 YAML 中，组合使用了 QoS=LSR 和 Batch 资源，这在 koordinator 中是不支持的，因此 LSR 的绑核语义其实没有生效，而是变成了类似 Batch + LS 的模式。 对于您的资源使用场景，可以考虑拆分应用的优先级为 Prod、Batch 进行在离线混部超卖；对于优先级不可分的场景，我们也提供了节点资源放大和 Mid 资源超卖等机制，正在建设中，感兴趣的话可以了解下方案，也欢迎贡献：

• https://github.com/koordinator-sh/koordinator/blob/main/docs/proposals/scheduling/20230811-node-resource-amplification.md
• https://github.com/koordinator-sh/koordinator/blob/main/docs/proposals/20230613-node-prediction.md

再请教一下 我对mid资源的定义不是理解。想问mid资源和batch资源的区别？ 以及为什么我的batch 资源和mid资源为0 ？ slo-controller-config 配置如下

@hamstersox 看起来 configmap 填错了。可以通过以下命令确认 configmap 的填写结果：

kubectl describe configmap -n koordinator-system slo-controller-config
kubectl get nodeslo.slo.koordinator.sh $NODE_NAME  -oyaml

执行结果是这样的

[saintube]

执行结果是这样的

@hamstersox 您的配置字段填错了位置，比如 colocation-config 下是没有 cpuSuppressThresholdPercent 的。
请参考以下形式填写：
https://github.com/koordinator-sh/koordinator/blob/main/apis/configuration/slo_controller_config.go#L339

[hamstersox]

执行结果是这样的

@hamstersox 您的配置字段填错了位置，比如 colocation-config 下是没有 cpuSuppressThresholdPercent 的。 请参考以下形式填写： https://github.com/koordinator-sh/koordinator/blob/main/apis/configuration/slo_controller_config.go#L339

我后续更改配置后，节点配置如下，但是我的节点的batch 和 mid资源还是为0

[hamstersox]

我创建了四种类型的qosClass的pod。但是我发现be pod 的cpuset 为0-5，没有和lse的互斥。这是为什么？
lse

lsr

ls

be

[saintube]

我创建了四种类型的qosClass的pod。但是我发现be pod 的cpuset 为0-5，没有和lse的互斥。这是为什么？ lse lsr ls be

如线下讨论，节点同时开启了 kubelet 的 cpu manager 绑核，实际 sharepool 可参考：https://koordinator.sh/docs/designs/fine-grained-cpu-orchestration#compatible-kubelet-cpu-management-policies