【云原生与DevOps】06-K8s大规模集群调度优化：3000节点经验分享

专栏云原生 DevOps难度专家标签Kubernetes调度优化大规模集群scheduler性能前言当 K8s 集群规模到达 1000 节点时默认配置开始出现调度延迟高、Pod 排队积压的问题。本文分享从实际3000节点集群中提炼的调优经验。一、调度瓶颈分析# 查看调度延迟kubectl get events --field-selectorreasonFailedScheduling-A# 查看调度器指标kubectl port-forward-nkube-system svc/kube-scheduler10259:10259curlhttp://127.0.0.1:10259/metrics|grepscheduler_二、Scheduler 配置调优# kube-scheduler-config.yamlapiVersion:kubescheduler.config.k8s.io/v1kind:KubeSchedulerConfigurationprofiles:-schedulerName:default-schedulerplugins:score:enabled:-name:NodeResourcesFit-name:NodeAffinitypluginConfig:-name:NodeResourcesFitargs:scoringStrategy:type:LeastAllocated# 优先调度到资源最空闲的节点percentageOfNodesToScore:50# 只对50%的节点打分大集群关键参数三、节点分组策略# 用节点标签划分资源池kubectl labelnodenode01 node-rolecompute kubectl labelnodenode02 node-rolememory-optimized# 部署时指定节点组nodeSelector: node-role: memory-optimized四、优先级与抢占# 定义优先级类apiVersion:scheduling.k8s.io/v1kind:PriorityClassmetadata:name:high-priorityvalue:100000globalDefault:falsedescription:用于核心业务可抢占低优先级Pod---apiVersion:scheduling.k8s.io/v1kind:PriorityClassmetadata:name:low-priorityvalue:1000五、大规模集群 etcd 优化# etcd性能指标监控etcdctl endpoint status--cluster-wtable# 关键配置--quota-backend-bytes8589934592# 8GB存储上限--auto-compaction-retention1# 自动压缩1小时--snapshot-count50000# 减少快照频率# 独立etcd磁盘最重要# etcd数据目录必须在SSD上不能和系统盘共用结语大规模K8s调优没有捷径核心是理解调度算法原理然后针对性地调整参数。percentageOfNodesToScore 是集群规模上来后最有效的单一参数调整。