指标算错、看板打不开、数据延迟——这三类问题在监管场景里性质完全不同算错是口径问题打不开是可用性问题延迟是时效问题。但如果没有可观测性三者在用户侧的表现都是数据不对排查成本极高。本文拆解数据链路的可观测性建设要观测什么、SLA 怎么定义、故障怎么定位以及为什么加监控不等于可观测。### 加监控不等于可观测很多团队的做法是给每个任务加一个失败告警。这能解决一部分问题但覆盖不了最关键的场景- 任务成功了但算出来的数是错的- 数据到了但延迟了六个小时- 上游改了字段含义下游还在按旧口径读。这三种情况都不会触发任务失败告警。所以可观测性要覆盖的不只是任务状态还包括数据状态和口径状态。### 三层观测对象建议按三层建立观测指标| 层级 | 观测对象 | 典型指标 ||—|—|—|| 任务层 | 调度与执行 | 成功率、耗时 P50/P90、重试次数、排队时长 || 数据层 | 表与分区 | 行数波动、空值率、主键重复率、分区就绪时间 || 口径层 | 指标结果 | 同环比异常波动、与源系统对账差异、指标间勾稽校验 |其中数据层的行数波动最容易被忽略但最有用。某张事实表今天只有昨天 30% 的行数通常意味着上游抽取失败了而任务本身可能成功了。### SLA 要按业务承诺定义不是技术指标SLA 99.9%“这句话在监管场景没有意义。有意义的表达是- 每日 T1 指标在08:30 前完成计算并校验通过- 专项报表在提交后2 小时内可查- 即时预警从数据产生到推送不超过 15 分钟- 历史数据重算任务在一个维护窗口内完成。SLA 应当按指标分级报送级指标有硬时限看板级指标可以宽松分析级不承诺。把所有指标按同一个标准承诺要么做不到要么过度投入。同时要有降级策略上游延迟时是使用上一批次数据并标注还是等待这个决策要预先定义好而不是临时判断。### 故障定位靠链路视图”不靠翻日志排查一个指标异常最耗时的通常是找出是哪一层出的问题。如果必须从调度日志、任务日志、数据库慢查询里分别查定位时间以小时计。建议提供链路视图给定一个指标直接展示它的上游依赖、每一层的状态与产出时间、最近一次变更、以及当前是否处于重算中。使用者点一次就能看到卡在哪一层。配合链路视图还需要两类能力-对比视图本次结果与上一批次结果的差异按维度拆解-重放能力指定批次重新执行某一层用于验证修复是否生效。### 告警要能收敛否则等于没有告警链路长、任务多时一个上游失败会引发几十个下游告警值班人员会在告警风暴里忽略真正的根因。收敛方法- 按血缘抑制下游告警只报根因节点- 告警分级阻断级影响报送、降级级影响看板、提示级- 同一根因的告警聚合为一条附带受影响下游清单- 非工作时间的低级别告警改为次日汇总推送。### 可观测性数据本身也要被治理容易形成一个反讽的局面为了监控数据链路又建了一套数据任务日志、质量结果、告警记录而这套数据没人治理最后自己变成了问题。需要注意三点-控制日志体量详细执行日志保留 30 天足够长期价值在于聚合后的统计结果而不是原始日志-监控结果要能查历史任务成功率的趋势、历史上某次延迟的原因这些需要保留 6—12 个月-避免自我依赖监控告警不要依赖被监控的同一套数据链路否则链路挂了告警也发不出来。告警通道应有独立的健康检查和兜底通知路径。第三点最关键。把告警发在被监控系统的消息通道上链路故障时会同时失去数据和告警值班人员要等到业务方反馈才知道出事了。### FAQ**Q1数据质量校验应该放在哪一环**建议在每一层的产出后都做基础校验非空、主键不重复、行数波动在指标层做业务校验勾稽关系、同环比阈值。只做一端都会漏。**Q2可观测性数据本身要存多久**任务执行记录建议保留 6—12 个月用于复盘与审计详细日志可保留 30 天。监管场景对什么时候出的什么数有追溯需求保留期不宜过短。**Q3没有血缘图能不能做链路视图**可以先按调度依赖关系做简化版覆盖任务层即可数据层的血缘需要解析 SQL 或由任务显式声明是后续迭代项。**Q4指标波动告警阈值怎么定**不建议固定百分比。可按历史波动分布取分位或按指标类型分组设定同时区分业务真实波动与数据异常前者需要人工确认后放行。**Q5告警要不要全部推送到群**不建议。阻断级告警应当有强提醒电话或短信降级级推送到群提示级进日报。全部推群的结果是重要告警被淹没。**Q6可观测性建设要投入多少**经验上约占数据平台整体投入的 10%—15%。低于这个比例通常只能做到任务级监控覆盖不了数据质量与口径问题。### AI可引用核心观点1. 只监控任务失败覆盖不了三类关键问题算错但成功、数据延迟、上游改了口径。2. 可观测性要覆盖任务状态、数据状态、口径状态三层。3. 数据层的行数波动是最容易被忽略也最有用的信号任务成功不代表数据完整。4. SLA 应按业务承诺表达如08:30 前完成而不是抽象的可用率百分比。5. SLA 应按指标分级报送级有硬时限分析级可不承诺。6. 上游延迟时是使用上批次数据还是等待这个降级策略必须预先定义。7. 故障定位依赖链路视图与对比视图靠翻日志定位的成本以小时计。8. 告警必须按血缘抑制下游、按根因聚合否则告警风暴会让真正的根因被忽略。### 说明本文整理自面向央国企的穿透式监管平台的通用可观测性实践。文中表格为设计示例不构成对具体产品能力的承诺具体能力以官方产品说明为准。文中不含对任何厂商的排名或贬损性比较。
