在DWSGaussDB日常运维中最消磨人耐心的就是“作业跑得慢”。尤其跑批作业一慢后面一堆下游任务跟着堵塞业务方盯着你你也盯着集群大眼瞪小眼压力全压在数据库管理员一个人身上。我自己在华为云上运维过不少DWS集群也处理过几十起“作业变慢”类工单踩了不少坑今天把整个排查和优化思路完整梳理一遍。这篇内容不针对某一条SQL做“秒级优化科普”而是给出一套真正能在生产环境落地的排查路径适合刚接手DWS运维的工程师也适合已经做了一段时间但总觉得排查没章法的同学参考。1. 先搞清楚“慢”在哪里作业慢的几种典型表现开始动刀之前必须先定位连“慢”的类型都分不清后面一切操作都是盲人摸象。根据我处理工单的经验DWS作业慢通常可以分成三类。1.1 作业排队等资源与真正执行慢的差别第一种“慢”是作业根本没跑起来一直在队列里等着。DWS是分布式MPP架构多个作业并发时系统会根据资源池配置给每个作业分配CPU、内存和并发槽位。如果资源池的并发上限设得低或者当前已经有大量作业在跑新提交的作业就会进入排队状态。这种慢的表现是作业长时间停留在“waiting”状态打开TopSQL界面看到的状态不是running而是类似waiting in queue或queued的字样。这里有个很重要的误区很多人一看到作业慢立刻去翻SQL语句分析执行计划结果折腾半天发现SQL本身一点都不慢问题出在并发排队上。所以第一步必须是区分“排队”和“执行”两种状态。判断方法很简单看TopSQL里的status字段和duration字段如果duration很小但状态一直停在队列态那基本就是资源竞争问题如果状态已经是running那才是SQL本身执行慢。1.2 单条SQL执行慢与集群整体性能下降的区分第二种是单条SQL慢但集群整体表现正常。这种通常是个案问题出在这条SQL本身可能是写法不优、执行计划选错、统计信息过期也可能是数据出现倾斜导致某个DN拖后腿。这种慢相对好定位因为“受害范围”小集中排查SQL层面即可。第三种则是整个集群都慢所有作业都受到牵连。这种往往是集群级别的资源争抢或故障比如某个DN磁盘IO被打满、网络通信异常、内存使用率持续高位、或者磁盘空间不足导致临时文件写不进去。这种慢的排查重点就不在SQL了而是先看集群监控把节点层面的异常找出来否则你优化再多条SQL也是治标不治本。很多时候一个“作业慢”工单里其实同时叠加了多种因素比如集群整体IO偏高恰好那条SQL写得也一般两者一叠加作业时间被放大好几倍。我建议的排查顺序永远是先排除集群级问题再看资源竞争最后才分析SQL本身。顺序反了效率会非常低。2. 第一轮排查让数据说话而不是凭感觉猜定位“慢”的类型之后就要开始上手段收集证据。DWS的排查工具链没有Oracle、MySQL那么“傻瓜化”但只要会用TopSQL和等待视图大部分问题都能在五分钟内锁定大方向。2.1 从TopSQL界面拉起元凶作业TopSQL是DWS排查慢查询的第一利器。在管理控制台的“监控”面板里可以查询当前活跃以及历史执行完成的SQL记录。我一般重点关注几个字段query实际执行的SQL文本可以直接看到是不是某个跑批脚本里的核心语句。start_time和finish_time用于计算实际执行耗时特别注意区分排队时间和执行时间。status区分running、queued、finished等状态。database_name、resource_pool、user_name这些信息能告诉你作业跑在哪个资源池、哪个用户下面方便后续判断资源分配是否合理。实际工作里我通常会先把超过预期耗时的SQL按时长排序从最慢的开始看。如果TopSQL里显示的等待时间waiting time特别长就直接跳转到资源池监控确认是不是并发槽位不够用。2.2 pg_thread_wait_status等待视图的正确打开方式TopSQL能告诉你“哪条SQL慢”但要知道“为什么慢”还得看等待事件。DWS提供了pg_thread_wait_status视图可以查看当前正在执行的SQL在各个线程上的等待状态。这一块是很多DBA忽略的地方其实价值非常高。当一条SQL处于执行状态但迟迟不结束时去查这个视图你能看到类似下面的等待类型acquire lock在等锁。说明有别的会话持有了它需要的表锁或行锁等锁时间越长SQL越慢。wait io在等磁盘IO。通常是扫描大表、写临时文件、或者落盘排序时触发的需要结合磁盘监控进一步看。wait cpu在等CPU调度。常见于并发量大或者SQL本身计算密集。wait memory等待内存分配。通常和work_mem设置、资源池内存上限、或者大结果集排序有关。wait comm等待网络通信。MPP架构下DN之间要传输数据网络性能差或者某DN节点异常会导致这种等待。wait cn等待CN上的协调处理多出现在CN负载过高时。查询方法很简单开启SQL Trace或直接在有权限的库执行SELECT * FROM pg_thread_wait_status WHERE db_name your_db;结合等待事件和等待耗时排序就能清楚看出这条SQL是在等锁、等IO还是在等内存。这一步做完基本可以锁定问题层面后面就是针对性地深挖。2.3 日志和告警别忽视DN侧的执行细节更真实很多人在排查时只看CN上的日志其实分布式架构下DN侧日志往往能暴露出更真实的问题。DWS的每个DN都有独立的日志文件记录了该DN上执行的SQL片段、临时落盘、内存溢出、IO错误等详细信息。我曾经遇到一个案例一条聚合SQL在CN上看执行计划非常正常但作业就是跑不完。后来翻了DN日志发现其中一个DN的磁盘写满导致临时文件无法写入整个任务卡在那个DN上反复重试。这种问题如果只看CN日志根本看不出来。所以排查慢作业时建议把CN和DN的日志都拉出来重点搜索ERROR、WARNING、timeout、disk full等关键字。3. 第二抦排查执行计划是慢查询的“照妖镜”如果排除了集群级故障和资源排队确定是SQL本身执行慢那就到了最考验基本功的环节——执行计划分析。这一步的核心工具是EXPLAIN ANALYZE但怎么用、看什么很多人的姿势其实不对。3.1 EXPLAIN ANALYZE怎么用才不浪费在DWS上最简单的用法是在目标SQL前面加上EXPLAIN ANALYZE执行。但要注意DWS的完整计划信息默认不会全部展示建议加上VERBOSE选项把DN分布、具体DN耗时、数据重分布细节都显示出来EXPLAIN ANALYZE VERBOSE SELECT /* timeout(100000) */ user_id, count(*) FROM fact_order WHERE order_date 2024-01-01 GROUP BY user_id;有一点要特别提醒EXPLAIN ANALYZE是真实执行SQL的在大表上跑生产SQL会有额外的IO和CPU开销。生产环境操作一定要谨慎尽量挑业务低峰期或者先看EXPLAIN不带ANALYZE的预估计划心里有数再真跑。另外DWS的EXPLAIN结果和单机PostgreSQL有个明显区别——你会看到大量Streaming算子。这就是分布式执行的核心子计划在各DN上并行执行然后通过Stream算子把数据汇总到CN或某个DN。理解这一点对后面判断执行计划好坏非常关键。3.2 识别异常算子Seq Scan、Hash Join、Stream拿到执行计划后我习惯按下面的顺序快速扫一遍第一步找Seq Scan。全表扫描本身不一定是坏事比如小表全扫很正常但当大表过滤条件能走索引或分区裁剪却走了Seq Scan就是明显的信号要么统计信息不准导致优化器误判要么索引没建结合适的。DWS列存表上尤其要注意有时候建了索引但因为查询条件写法问题并没有用上。第二步看Join方式。常见的HASH JOIN和MERGE JOIN都比较正常但如果发现Nested Loop且内层表很大那大概率执行计划选错了。Nested Loop在小表驱动大表且内层能走索引时效率很高但大表之间做Nested Loop就是灾难。第三步数一数Streaming算子的数量和方向。Streaming (type: REDISTRIBUTE)表示数据按某个字段重新分布到所有DNStreaming (type: BROADCAST)表示把一个小表广播到所有DN。这两种操作都会引起跨节点数据传输是分布式查询的主要开销来源。如果计划里出现大量REDISTRIBUTE要想想能不能改成REPLICATE表或调整Join顺序减少重分布次数。3.3 统计信息过期优化器“瞎猜”的罪魁祸首执行计划选错的另一个高频原因是统计信息过期。DWS的优化器依赖表的行数、列的唯一值个数、数据分布等信息来决定是否走索引、选择哪种Join顺序。如果表数据量发生了巨大变化但统计信息没有及时更新优化器就会基于“过期的认知”做出错误选择。比如一张事实表从100万行涨到了5000万行但统计信息还停留在100万行优化器可能认为这个表很小选择了BROADCAST广播结果一下子把所有数据广播到几十个DN网络瞬间被拖垮。处理办法是定期对关键表执行ANALYZE或者在批量导入数据后手动跑一次。DWS也支持自动采样但采样比例和时机都需要结合业务配置。我在实际运维中会把日增量超过10%的表列入重点监控每周至少做一次全量ANALYZE大表则采用抽样的方式降低开销ANALYZE fact_order; -- 大表可以抽样小表尽量全量 ANALYZE ROOTPARTITION fact_order;4. 常见瓶颈与优化实战从定位到解决理论讲再多不如看几个实战场景。以下是我在DWS环境里遇到频率最高的几个瓶颈类型和对应的优化方案。4.1 大表Scan慢分区裁剪与列存过滤场景报表查询经常要扫描一张几亿行的订单事实表即使只查最近一个月的数据耗时也居高不下。打开执行计划发现明明表已经按月份做了分区却仍然扫描了所有分区。问题出在哪首先是查询条件是否匹配分区键。比如分区键是order_date但SQL里对order_date做了函数处理例如WHERE date(order_date) 2024-01-01这种写法会导致优化器无法裁剪分区。解决办法是把函数改掉直接写成WHERE order_date 2024-01-01。其次DWS的列存表对于过滤性强的列可以通过PCKPartial Cluster Key来加速。在建表时把常用过滤字段设为PCK能显著减少磁盘扫描量。比如订单表经常按照order_status过滤就可以把order_status加入PCKCREATE TABLE fact_order ( order_id bigint, order_date date, order_status text, ... ) WITH (orientationcolumn, col_compresshigh) DISTRIBUTE BY HASH(order_id) PARTITION BY RANGE(order_date)(...) ORDER BY (order_status);注意PCK列的顺序、重复值比例都会影响效果重复值太高的列比如只有几个枚举值做PCK收益不大反而可能增加膨胀率。建议选区分度合适的列。4.2 Join优化让算子下推减少跨节点数据流通场景两张分布键不同的表做Join执行计划里频繁出现REDISTRIBUTE网络开销巨大作业慢得离谱。在MPP架构中Join时两表的数据最好已经在同一个DN上。目前DWS的默认分布策略是HASH如果Join的等值条件和表的分布键一致数据可以本地关联无需跨节点传播。但如果两表的分布键和Join条件不一致就必须有一个表被重新分布或广播代价很大。优化思路有几个建表时就设计好分布键尽量让高频Join的两张大表使用相同的分布键。比如订单表和订单明细表都以order_id作为分布键订单维度查找时明细数据都在本地DN完全不需要跨节点。如果小表可以广播数据量在百万行以内让优化器选择BROADCAST避免大表REDISTRIBUTE。可以通过SET enable_broadcast on/off控制开关。实在不行考虑把小表改成REPLICATE分布也就是每个DN都存一份全量数据查询时每个DN本地Join完全跳过Stream开销。CREATE TABLE dim_region ( region_id int, region_name text ) WITH (orientationcolumn) DISTRIBUTE BY REPLICATE;REPLICATE表的写入开销虽然高但对读多写少、数据量小的维度表来说收益远大于成本。4.3 数据倾斜一个DN撑起整个集群场景一条SQL在EXPLAIN ANALYZE中显示总耗时30秒但看每个DN的实际执行时间有一个DN跑了28秒其他DN只跑了2秒。这就是典型的数据倾斜。数据倾斜的根源在于分布键选择不当。如果一张表的分布键在业务上取值范围很不均匀比如按status字段分布而95%的数据都处于statuscompleted状态那所有数据几乎都落在同一个DN上并行优势完全丧失。排查方法是在SQL里直接按分布键做分组统计看各DN的数据量差异SELECT node_name, count(*) FROM fact_order GROUP BY node_name;node_name字段在DWS内部代表各个DN节点这个SQL能快速暴露出数据分布是否均匀。如果发现倾斜严重有几个处理办法更换分布键选择唯一性更高的业务字段比如订单ID、用户ID。如果业务查询必须按倾斜字段过滤可以考虑把倾斜字段做加盐处理salted key在原始值后面拼接随机后缀让数据分散到不同DN查询时再按条件过滤后缀。但这属于复杂度较高的改造建议谨慎评估。临时急症处理给SQL加Hint强制走重分布让各个DN分担数据压力。4.4 内存与并发资源池配置不当引发的“假慢”场景所有SQL执行速度都正常单独跑一条SQL也很快但多个并发作业一起跑整体响应时间急剧恶化。这种“假慢”往往出在资源池和并发控制上。DWS通过资源池限制并发度和内存使用。如果资源池的max_concurrency设置太小大量作业会排队如果内存参数设置过低SQL执行过程中必须频繁落盘性能断崖式下跌。排查时先看当前资源池配置SELECT * FROM pg_resource_pool;重点看concurrency_limit并发上限、memory_limit内存上限、statement_mem单SQL内存上限这几个参数。当并发任务多时如果SQL需要的内存超过了statement_memDWS会把部分中间结果写到磁盘执行时间可能翻几倍。遇到这种情况优化的方向不是改SQL而是调整资源配置适当调大statement_mem或并发上限但也要注意节点总内存容量不要过度分配导致OOM。这个平衡需要根据集群规格和业务优先级来定。5. 案例复盘一个“跑批越来越慢”的完整处理过程理论说了一堆用一个我实际处理过的案例把整个流程串起来大家会有更直观的感受。5.1 现象描述客户反馈每日凌晨的跑批作业以前1小时跑完最近两周每天慢20分钟今天已经跑了1.5小时还没结束。业务方非常不满。集群是3节点DWS标准版每节点16核128G内存。5.2 排查过程记录第一步看TopSQL。我拉出了最近半小时耗时最长的SQL锁定一条统计报表类SQL状态为running执行时间已超40分钟。对比历史记录这条SQL之前的平均执行时间是15分钟左右。第二步查等待视图。登录数据库执行pg_thread_wait_status查询发现多个线程显示wait io并且各个DN都在等待IO。这时候我判断是IO层面出了问题但也需要确认是否由SQL本身引起。第三步看DN日志。拉取各DN日志搜索关键字disk和IO发现其中一个DN有大量temporary file write报错警告同时检查系统盘空间发现该DN所在数据盘的剩余空间已经不足20GB。第四步确认原因。进一步分析这条SQL内部有大量排序和去重操作中间结果需要落盘而落盘目录所在的磁盘剩余空间严重不足导致写临时文件的速度急剧下降整个任务被拖慢。同时由于数据增量持续写入表数据量变大中间结果集变大对这个“空间不足”的节点形成了更大压力。5.3 处理与效果处理过程分了两个阶段先紧急扩容磁盘空间清理该节点上的过期日志文件立刻给作业“解绑”然后从根上优化这条SQL的排序逻辑减少中间结果集大小同时调整资源池的statement_mem参数让排序尽量在内存里完成而不是频繁落盘。优化后这条SQL的执行时间从40分钟回落到12分钟跑批整体恢复到了原来的1小时水平。这次案例给了一个很重要的经验慢SQL的根因不一定在SQL写法也可能是系统资源层面。但如果只看执行计划忽视资源状态同样会错过真正的元凶。6. 排查高效避坑清单来自真实工单的教训最后这部分我把处理DWS慢作业过程中踩过的一些坑以及沉淀下来的经验按“最容易犯错”的顺序列出来供大家参考。常见坑表现正确处理一上来就分析执行计划忽略了资源排队/磁盘空间等前置问题先看TopSQL状态和等待视图确认是执行问题再分析计划只改SQL不查统计信息优化器因为统计信息过期选错计划SQL改了也白改先ANALYZE关键表再重新生成执行计划忽略DN侧日志明明单DN故障拖垮整体还在CN侧分析半天排查时同时查看CN和DN日志关注ERROR/WARNING盲目调整并发参数并发调大后内存超限系统OOM重启调整并发时必须同步评估内存容量和work_mem不关注数据倾斜某个DN忙死其他DN空闲整体慢但看不出原因定期用GROUP BY node_name检查数据分布均匀性临时文件落盘异常方向搞反以为是磁盘性能差实际是空间不足先确认剩余空间再看IO延迟指标我再补充一个比较隐蔽的坑在执行EXPLAIN ANALYZE时如果表非常大分析过程中会真实执行所有算子有可能对生产造成额外压力。我建议先查看预估计划确认没有明显的扫描、连接问题后再决定是否真的用ANALYZE跑一遍。如果只是判断执行顺序对不对EXPLAIN不带ANALYZE就够了。另外DWS的pgxc_stat_activity视图也建议养成定期查一下的习惯它能同时看到当前所有CN上正在执行的语句比单CN视角更全面。很多作业慢其实是某个会话阻塞了别的会话这种问题在pgxc_stat_activity里一目了然。还有一点不得不提DWS控制台的告警功能很有用建议把节点磁盘空间使用率、内存使用率、SQL排队数这几个指标配上告警阈值。很多作业慢在变成“慢”之前其实资源指标早就开始报警了只是没人注意到。配置好告警能省掉半天排查时间。写在最后讲完这一整套流程我最大的感受是DWS慢作业排查和优化80%靠的是规范化的排查顺序只有20%靠SQL技巧。逻辑没理顺的时候任何一条慢SQL都会让人挠头沿着“先集群级再资源竞争再执行计划最后SQL写法”的路径走一遍绝大多数问题都能在半小时以内定位到根因。我自己在一次次和慢SQL“搏斗”中越来越体会到统计信息维护的重要性。DWS这类分布式数仓对统计信息的依赖比单机数据库更敏感因为优化器不仅要判断表怎么扫还要决定数据怎么分布、怎么流。数据倾斜和统计信息一乱整个执行计划就会跟着乱。所以哪怕业务再忙我也建议把关键表的ANALYZE任务定期挂上调度成本很低收益却大得惊人。如果这篇内容能帮你在下次处理慢作业时少走几步弯路那就达到目的了。实际环境里遇到的问题永远比文档里写的更刁钻保持“先定位再优化”的思路慢慢积累自己的排查清单你的处理速度一定会越来越快。
