落库成功 ≠ 副作用成功:写后扇出的四种合同

落库成功 ≠ 副作用成功:写后扇出的四种合同

Hello,我是小兔大白糖。 接口已经 200 了,推送却没人收;摘要更新挂在半截;goroutine 曲线悄悄抬头——写路径最常见的坑,往往不在 INSERT,而在写成功之后还要扇出一堆副作用。写成这篇,给要做写后异步选型调研的初中级后端同学:不是某仓库怎么配,而是业界可复述的合同拆法。

说明:模式名与伪流程均为教学脱敏示意,不是某产品线上契约。Outbox / 消息总线只谈公开可核对的边界与代价。姊妹篇:事务边界、进程内池 vs 托管队列、协程爆炸与工作池。

估计阅读时间:8 分钟


目录


为什么现在要关心

API 成功只证明持久化合同过了关;推送、摘要、上传、领域事件是另一份合同——默认不同步、不可靠。

典型写路径长这样:消息 / 订单先落库成功,再推送、更新摘要、上传媒体、发领域事件。现场最省事的写法:

save OK
go deliver()
go updateSummary()
return 200

痛点几乎总是同一类:

你看到的现象常见真相
接口绿了,用户说「没推到」副作用失败无人收;200 从未承诺投递
压测后 goroutine 爬升无界 go 裸飞;扇出无上限
偶发「半截更新」请求取消后,副作用仍拿着已死的 ctx
下游被打挂写放大扇出,没有有界队列 / 背压
「推了但库里没有」顺序反了:先 go 再 save

心智模型一句话:落库是出餐登记;副作用是外卖——别用「喊一声」当正式外卖单。 类比局限:堂食/外卖管合同与签字,解释不了具体 broker 的至少一次语义与可见性超时——那层见进程内池 vs 托管队列。


心智模型:堂食出餐 vs 外卖单

把写路径拆成「厨房登记」和「外卖履约」两套流程;可靠投递必须有人签字。

堂食出餐 vs 外卖单:落库是出餐登记;裸 go 像喊一声没人签字;有界挂单满则拒;Outbox 是正式外卖单另派骑手
堂食出餐 vs 外卖单:落库是出餐登记;裸 go 像喊一声没人签字;有界挂单满则拒;Outbox 是正式外卖单另派骑手 · 点击查看 SVG 原图
比喻对应做法人话
厨房出餐登记业务写落库成功真相已进账本
喊一声「顺便送」裸 go最快;没人签字;错了难追
传菜口挂单(挂满就拒)有界 channel + worker进程内削峰;满载策略要显式
正式外卖单进系统Outbox / 消息总线与业务写同事务记账;骑手另派

堂食客人等的是「这盘菜上桌」;外卖客人等的是「单进系统、骑手送达」。混成一句「接口成功了所以都成功了」,Review 时几乎挡不住线上幽灵。


硬规则:两份合同

持久化成功与副作用成功要分合同签;request ctx 默认不直接交给长副作用;禁止无界裸 go 当高可靠路径。

三条够日常 Review:

  1. 合同分离 — 200 / commit 成功 ≠ 推送成功。要可靠投递,业界常见是 Outbox(发件箱):与业务写同事务记下「待转发」意图,再异步投递;不是「多开几个 goroutine」。
  2. 有界飞行 — 至少超时、可观测、失败 / 丢弃计数。高可靠路径不要只靠进程内 goroutine(进程挂了,内存里的活就没了——见两层异步)。
  3. ctx 分离 — HTTP / RPC 传入的 request context(请求上下文)在响应返回后常被取消。长副作用应使用分离的 context(带独立超时),或交给队列消费者自己的生命周期。

事务边界再补一句硬钉子:**事务内直接调下游(推送 / HTTP)**会拉长锁、还假装跨服务 ACID——与事务边界文同一禁令,本文标为模式 E,默认避免。


四种扇出模式对比

可丢走有界队列;短尽力用 errgroup + 超时;要对账可靠走 Outbox;裸 go 仅限本地可丢;禁止事务内调远程。

写成功后四种扇出:裸 go、有界 channel+worker、errgroup 有界等待、Outbox/消息总线;并标出事务内调下游应避免
写成功后四种扇出:裸 go、有界 channel+worker、errgroup 有界等待、Outbox/消息总线;并标出事务内调下游应避免 · 点击查看 SVG 原图
模式做法代价适用
A. 裸 go写后直接 go最快;丢错、难测、易泄漏仅本地、可丢的提示类
B. 缓冲 channel + worker投递到有界队列;满则丢或背压必须设计满载策略与指标进程内削峰
C. errgroup / 有界 gather写后等一组短副作用(带 timeout)拉长请求尾延迟(P99)必须尽量同步完成的短副作用
D. Outbox / 消息总线与业务写同事务记 outbox,异步转发组件与运维面更多要可靠投递 / 可对账
E. 事务内直接调下游推送放在 tx 里锁久、分布式假 ACID避免

教学倾向(可复述给同事):

  • 可丢 → B(有界 + 指标;别静默丢)
  • 要尽量成功且短 → C(超时封顶,勿无限等)
  • 要对账可靠 → D
  • 禁止 E;A 仅本地演示或真正可丢

教学向伪流程(脱敏,非生产 API):写后短副作用有界等待——可靠投递改走 outbox,不在这里裸飞。

// 教学:短尽力副作用
g, ctx := errgroup.WithContext(detachCtx)  // detachCtx ≠ request ctx
g.Go(deliver)
g.Go(updateSummary)
wait with timeout → metrics on error
// 可靠投递:同事务写 outbox,消费者另派

代码围栏只示意顺序与边界;生产细节(重试、幂等键、可见性超时)属于队列层合同,不在本篇展开。


请求 ctx 与副作用生命周期

请求结束 ≠ 副作用该死;把已取消的 HTTP ctx 传进异步任务,是「半截更新」的经典来源。

ctx 分离:请求返回后 request ctx 取消;副作用应使用带独立超时的分离 context 或交给队列消费者
ctx 分离:请求返回后 request ctx 取消;副作用应使用带独立超时的分离 context 或交给队列消费者 · 点击查看 SVG 原图

人话对照:

生命周期谁拥有取消意味着什么
Request ctx这一次入站调用客户端走了 / 网关超时——别再当真当副作用的唯一时钟
Detached ctx + timeout你声明的副作用预算超时该停、该记指标、该进重试或死信策略
Queue consumer ctx消费者进程 / 拉取循环与原请求解耦;可跨进程、可重启续跑

把 request ctx 直接 go 进推送,等于让「客户端取消」有权杀掉「你以为已经承诺的副作用」。若副作用本来就可丢,至少指标上要看见;若必须可靠,从一开始就别挂在这条 ctx 上——挂 Outbox。


常见误判

先标可靠等级,再选扇出;顺序反了、满载静默、无限等待,都会把合同写歪。

  1. 把取消了的 HTTP ctx 传进异步任务 — 表现为偶发半截;修法是 detach + 独立超时,或交队列。
  2. channel 满了静默丢且无指标 — 有界队列的代价必须可见;否则「可丢」变成「悄悄丢」。
  3. 用 errgroup 等推送几十秒 — 模式 C 的代价是尾延迟;把 P99 拖死,说明这副作用不该堵在请求上,该降级到 B 或 D。
  4. 「先 go 再 save」 — 顺序反了会产生幽灵推送:下游以为业务已成立,账本里却没有。硬顺序:先持久化成功,再扇出(Outbox 则是同事务记账,转发在 commit 之后)。
  5. 无界 go 当高可靠 — 与协程爆炸同一病灶:扇出无界时,先炸的是调度与下游,不是「多开几个线程就稳了」。

选型结论

五步够用:定级 → 选模式 → 封超时 → 上观测 → 守事务边界。

  1. 先标副作用:可丢 / 尽力(短) / 必须可靠。没标级就开 go,等于没签合同。
  2. 可丢 → 有界队列 + 丢弃/积压指标;必须可靠 → Outbox / 托管队列,不要只靠进程内 goroutine。
  3. 短尽力 → errgroup(或同类有界 gather)+ 超时;勿无限等;超时即记失败并考虑降级路径。
  4. 观察三件事:飞行中 goroutine(或队列深度)、丢弃 / 失败计数、outbox 滞后(lag)。看不见代价,等于没选模式。
  5. 与事务边界对照:tx 内不调远程;跨服务别假装全局 ACID——见Go 事务边界。

系列导航: