
Hello,我是小兔大白糖。 上周有同事把「补历史数据」直接挂进日常增量 DAG,结果在线窗口被拖死、K8s 配额打满——业务方问「为什么今天的增量还没跑完」,排障才发现是百万级存量和「只跟水位走」的增量挤在同一条调度链上。写成这篇,给要做历史回填 vs 增量管道选型、或要写进团队共识的后端同学。
估计阅读时间:8 分钟
先给结论
增量和存量回填可以复用同一套 parse/sync 算子,但调度、限速、断点、监控必须分开。业界稳妥基线是 模式 B:独立回填作业 + 复用核心逻辑,别把辅路工程车开进主车道。
为什么现在要分清这两件事
数据管道几乎都会拆成两块:
| 类型 | 在干什么 | 典型期望 |
|---|---|---|
| 增量(incremental) | 只处理「上次成功水位」之后的新事件或新行 | 稳定 SLA、小批量、可预期延迟 |
| 存量回填(historical backfill) | 历史未处理、漏同步,或产品要求重算的全集 | 吞吐优先、可限流、可中断续跑 |
现场最常见的误伤有三类:
- 把百万级存量塞进只为「今日增量」设计的调度任务 → 拖垮在线窗口、占满集群配额。
- 没有可靠断点:失败从头跑;或用 OFFSET 分页在「边读边写」时漂移,漏行或重复。
- 把「强制重算已完成」和「只补未完成」混为一谈,没有清晰的
force合同,监控也分不清。
如果你只能带走一条:回填不是「增量跑久一点」,而是另一类作业的合同。
心智模型:主车道与施工辅路
可以把管道想成一条高速公路:
- 主车道 = 增量:日更车流,要准点、要限峰。
- 施工辅路 = 回填:运土、补路基,可以慢,但不能堵死主道。
辅路可以借用主道的「装卸工艺」(同一套 parse/sync 函数),但通行证、限速、施工时段必须单独发——对应独立 Job、独立配额、独立进度与告警。
类比局限:这套说法能讲清调度隔离和背压;它解释不了 exactly-once、跨库事务、以及「解析成功但未同步」的分布式幽灵状态的全部细节,那些要靠下面的硬规则和检查点设计补全。
精确定义与边界
增量水位(watermark / checkpoint)
表示「在线管道已承认处理到哪里」。回填默认不得偷偷改写这个指针;只有产品明确「重置水位」或运维执行受控的重置流程时,才动它。
选集(selection set)
每一批从哪拉数据必须写进合同:
- 默认:未完成集合(未 parse、未 sync、或业务定义的「待补」)。
- 显式开关(如
force_reparse):才扫「已完成但仍要重算」的子集。
两套选集的 QPS、失败率、进度条应分开监控,别混在一张「增量健康」大盘里。
批次与背压
回填是长时间占用 CPU、连接、下游 API 的作业。需要「每批 N 条 + 批间间隔 + 有界内存」,而不是一次性把连接池和下游打满。
断点(durable checkpoint)
崩溃后能续跑而不是重扫全表。优先:稳定排序键 + seek(按 entity_id 或单调 cursor 往后捞);对在写入过程中会漂移的 OFFSET 分页保持警惕。
单批闭环
理想情况:同一批内 parse 与 sync 成对完成(或两阶段各有持久检查点),避免「解析了、没同步、又无观测」的中间态长期堆积。
业界模式对照
| 模式 | 做法 | 优点 | 代价 |
|---|---|---|---|
| A. 增量任务硬扛存量 | 同一 DAG 步骤扫全表或超大窗口 | 少维护一个入口 | 拖死增量 SLA;难单独限流;故障面耦合 |
| B. 独立回填 + 复用算子 | 脚本/K8s Job 调同一 parse/sync 核心,自管 batch 与断点 | 限流、断点、配额独立;在线与离线解耦 | 两套入口都要测;文档要写清「何时走哪条」 |
| C. 历史 key 灌进「伪增量」队列 | 把存量当作消息灌进增量 topic | 下游消费逻辑统一 | 污染增量语义;consumer lag 失真;难区分「真迟到」与「假历史」 |
| D. 一次性离线批(Spark 等) | 大集群扫仓、入湖或入 serving | 吞吐高、适合超大规模 | 与在线算子易逻辑漂移;成本高;上线窗口与对账成本大 |
教学基线:选 B。 复用核心逻辑,隔离调度与背压;A 适合「存量极小且一次性」的例外,C/D 各有场景但别当默认增量替身。
六条硬规则(写进设计评审也能用)
-
增量水位合同不变
回填不得默认修改「上次成功 task / 水位」;重置必须是显式、可审计的操作。 -
选集明确,force 单独开关
默认未完成;强制重算走独立 flag;监控与告警分轨。 -
批次 + 间隔 + 有界内存
例如每批 1k 条(数字仅示意)、批间 sleep、批结束释放连接与大对象,避免 OOM 和连接池耗尽。 -
断点可恢复
持久化游标或已处理 id 集合;崩溃后续跑。排序键 seek 优于脆弱 OFFSET。 -
单条失败不吞整批进度
失败记集合、可重试;避免「整批 rollback 却丢 checkpoint」这种既没进度又没数据的局面。 -
parse 与 sync 同批闭环(或分阶段检查点)
每一阶段都要有可观测、可恢复的边界,别留长期「只 parse 不同步」的幽灵行。
示意流程(伪代码级,非某仓库实现)
下面是一条独立回填 Job 常见的控制流,算子名故意 generic:
load_checkpoint
→ select_batch(unprocessed, limit N)
→ parse_batch(keys) # 与增量共用同一套核心
→ sync_batch(keys)
→ save_checkpoint + emit_metrics
→ sleep(interval)
→ loop until empty or deadline增量 DAG 里通常没有这个 loop,或者只有「小窗口 catch-up」;不要把「全历史 while true」嵌进日更 DAG 的同一步。
反模式(架构评审里可直接标红)
- 回填与增量共用连接池且无配额,回填一跑在线就超时。
- checkpoint 只存在进程内存,Pod 重启等于白跑。
- 策略写成「增量跑完再顺手全表扫一遍」——没有选集、没有断点、没有限流,本质是 A 模式裸奔。
- 把回填进度写进增量 watermark,监控显示「已追平」,业务却仍在漏历史。
- 用 consumer lag 当回填进度条(C 模式常见),无法回答「还有多少 entity 未补」。
选型怎么拍板
| 你的情况 | 建议 |
|---|---|
| 有明显存量缺口,增量 SLA 紧 | 独立回填 Job(B),与增量 DAG 并行但资源隔离 |
| 存量很小、偶发、可接受窗口拉长 | 可临时抬高增量窗口或一次性开关,但仍要写清「非常态」并设上限 |
| 超大规模、与在线完全异构 | 评估 D,但要投入对账与算子版本一致,防双轨逻辑 |
| 想「一个队列走天下」 | C 要单独论证 lag 语义与监控,别默认 |
另:入湖双消费组、CDC 旁路之类,解决的是「事件从哪来」;本稿说的是批处理回填作业与增量调度如何隔离——正交问题,别混在一个方案里一笔带过。相关入湖切流见 Kafka 旁路 Iceberg。
小结:可复述的五句话
- 增量跟水位,回填扫选集——合同不同,别共用一个 DAG 步骤扛全表。
- B 模式是默认:算子复用,调度、配额、断点、监控分开。
- 水位指针、force 选集、批间 sleep、持久 checkpoint——缺一条都会在生产里还账。
- OFFSET 分页、内存 checkpoint、lag 当进度,是高频踩坑 trio。
- 选型问一句:「存量跑满时,今天的增量还能不能准时?」 不能,就该上独立回填,而不是把辅路并到主车道。