两层异步:进程内池解耦请求,托管队列跨进程保活

两层异步:进程内池解耦请求,托管队列跨进程保活

Hello,我是小兔大白糖。 业务接口里同步扇出通知:大群一踢人,请求链路被推送拖死。先上进程内 worker pool,接口快了;多副本部署或进程一重启,又发现「队列里的活没了」。于是有人说:换成托管消息队列吧。该换吗?换的是哪一层合同?

写成这篇,给要做异步架构选型调研的初中级后端同学:不是某云产品说明书,而是业界常见、可复述的两层心智模型。

说明:文中的档位问题、伪流程与数字均为教学脱敏 / 示意。托管队列举例会提到 SQS、Pub/Sub、Kafka 一类公开形态,只钉概念与代价,不绑定某一家 SDK。读完带走的是选型清单,不是可粘贴的内部实现。

估计阅读时间:11 分钟


目录


为什么现在要关心

进程内队列解决的是「别堵住请求线程」;托管队列解决的是「进程挂了任务还在、多实例可抢活」。二者不是同一层合同。

现场里常见误伤,几乎都来自把这两层当成「同一种异步」:

你看到的现象常见真相
上了 worker pool,接口 P99 好看了只做完了 A 层:请求解耦
滚动发布 / OOMKill 后通知失踪内存队列随进程清空——没有 B 层持久化
扩到多副本,每人各推一份或谁也不推各实例内存队列互不可见,谈不上协作抢活
「换成队列就稳了」却出现重复推送至少一次投递 + 未做幂等,把同步风暴换成重复风暴
队列深度很好看,账单与延迟一起涨无界 produce;积压从「看不见」变成「看得见且按量计费」

同站已写过扇出别 m×n 协程爆炸——那是 A 层有界池,见 /blog/goroutine_explosion_worker_pool/。触达三平面里「别用推送队列当聊天真相」见 /blog/im_push_priority_channels/。本文只钉一件事:何时 A 不够、必须上 B,以及 B 你必须签的合同。


问题空间:两层异步,不是一个更大的 chan

硬规则:先问「我要的是解耦请求,还是跨进程可靠投递」;答错层,换什么中间件都像在治错病。

层人话典型形态成功标准
A. 请求解耦别让 HTTP / RPC 线程做大扇出goroutine 池、有界 channel、进程内 worker pool接口延迟与背压可控
B. 跨进程可靠投递任务出进程仍可被消费托管队列(如 SQS、云 Pub/Sub)或自建 broker(如 Kafka)崩溃可恢复、多实例可水平扩展
两层异步:A 层进程内有界池解耦请求,B 层托管队列做跨进程持久化与多实例抢活
两层异步:A 层进程内有界池解耦请求,B 层托管队列做跨进程持久化与多实例抢活 · 点击查看 SVG 原图

A 层成功,不自动带出 B 层保证。把托管队列当成「更大、更持久的内存 chan」,是最常见的层错位。


业界常见形态对比

领先路径常见是:先 2 止血 → 用接口抽象队列 → 再 3 换实现;不是一上来绑死某云产品 API。

形态做法优点代价 / 边界
1. 请求内同步扇出业务事务后直接推 / 调下游实现简单、路径短延迟绑死请求;失败难统一重试
2. 进程内有界池入队内存任务,固定 worker 消费解耦请求;落地快;无外部依赖进程挂则队列丢;单机容量顶;多实例各扫各的内存
3. 点对点竞争队列Produce 持久化;多机抢同一条(如托管队列常见形态)持久化、扩展、积压指标成熟至少一次、可见性 / 重投、序列化、成本与运维面
4. 日志多订阅总线事件进日志流(如 Kafka)多消费者组各自位点回放、多订阅者独立进度语义与运维更重;小团队成本高;与 3 可同属「托管」但消费轴不同

形态 2 解决的是「请求线程别被扇出拖死」——与协程爆炸文同一层。形态 3/4 才进入「任务必须活过进程生命周期」。选型时先定层,再定产品。


心智模型:传菜口 vs 中央出餐单

主比喻:餐厅出餐。

  • 进程内池 = 厨房传菜口:出餐快,店关门(进程退出)菜筐清空。
  • 托管队列 = 中央出餐单系统:单店倒了,单子还在,别的店可接着做。
心智模型:进程内池如传菜口随店清空;托管队列如中央出餐单可跨店抢单
心智模型:进程内池如传菜口随店清空;托管队列如中央出餐单可跨店抢单 · 点击查看 SVG 原图

类比局限一句说清:传菜口 / 出餐单解释持久化与多店抢单;解释不了「业务是否幂等、毒消息怎么隔离」——那是消费者合同,不是队列品牌。


何时该从池迁到托管队列

更多「是」→ 更靠近托管队列;全是「可重建 / 可丢」→ 进程内池往往够用。

倾向迁到 B 层(示意决策,非 SLA):

  1. 任务丢了会伤钱 / 伤信任(必达类通知意图)?
  2. 已多实例水平扩展,内存队列无法协作抢活?
  3. 需要独立扩缩消费者,与 API 副本解耦?
  4. 需要死信、可观测积压、跨可用区缓冲?

仍可停在 A 层进程内池:

  • 可丢,或可靠客户端补拉的 ephemeral 触达(与三平面文的 Ephemeral 同一直觉)
  • 单实例,或任务可从 DB 游标 / 意图表重建
  • 团队尚未准备好幂等、毒消息与积压成本治理

迁之前先接受第二条硬规则:迁到托管队列前,先接受至少一次投递 + 幂等 + 可见性超时(或等价重投语义)/ 死信——否则只是把同步风暴换成重复风暴。


迁到托管队列时多出来的合同

抽象一层 Queue(Send / Receive+ack 或 delete)让 Memory 与 Managed 可切换——是常见迁移骨架;抽象解决替换,不解决幂等。

概念人话若不处理
至少一次投递(at-least-once)同一条消息可能被消费多次(公开文档下多数默认按此建模,而非 exactly-once)重复推送 / 重复写
可见性超时 / 等价重投消费中暂时对别人不可见;超时未确认会再出现(各产品细节不同)重复处理或长时间卡住
死信队列(DLQ)多次失败进隔离队列毒消息堵主队列
序列化边界任务必须可跨进程还原塞进不可序列化的指针 / 请求 Context
积压与成本深度可观测,但常按量计费静默丢弃变成静默烧钱

教学上可把迁移拆成四步(顺序比品牌重要):

  1. 业务侧只依赖抽象 Queue,不再直调某云 SDK。
  2. Memory 实现包装旧进程内池——行为对齐接口,先不改语义。
  3. Managed 实现换上托管队列——补序列化、ack、重试与 DLQ。
  4. 关双写:旧内存池与新队列并行期最容易重复触达。

代价先说清:多一层网络与序列化 → 延迟与故障面上升;可观测变好 → 账单与运维责任也变实。稳的是合同,不是「上了队列就稳了」。


教学伪流程

先 enqueue 意图、尽快返回;worker 侧幂等处理后再 ack——不要在业务提交路径做大扇出。

on_business_commit(e):
  enqueue(queue, serialize(intent(e)))   # 尽快返回
  # 不要在这里做大扇出

worker_loop:
  msg = receive(queue, visibility_timeout=T)
  try:
    handle_idempotent(deserialize(msg))
    ack_or_delete(msg)
  catch poison:
    after_n_failures -> DLQ

以上为教学示意(合计十余行),非某云 SDK。Kafka 一类日志总线的提交位点 / 消费者组语义与「可见性超时」表述不同,但「可能重复、必须幂等、失败要隔离」这三条合同仍然成立。


常见坑

从架构视角看,下面几条会把 B 层重新用成「假装持久的 A 层」。

  1. 把托管队列当更大的内存 channel
    忘了重复与超时 / 重投。接口变快了,用户收到两遍通知。

  2. 消息体塞满业务对象图或请求 Context
    跨不了进程;序列化失败或带上不可恢复的运行时状态。

  3. 无界 produce
    请求线程狂发,打爆队列深度或账单。迁到 B 层后,有界与背压仍然要有——队列不是无限垃圾桶。

  4. 旧内存池 + 新队列双写未关
    多实例过渡期重复触达。迁移清单里「关双写」是硬步骤,不是收尾优化。

  5. 用队列替代 Sync plane(聊天真相)
    与 /blog/im_push_priority_channels/ 同一类错:门铃队列当不了账本。

  6. 只盯队列深度,不盯重复率与 DLQ
    深度好看可能来自「快速错误重试」或「消费者在空转」;看板缺幂等失败与死信列。


选型结论

  1. 先分两层:A 层有界池 = 解耦请求;B 层托管队列 = 跨进程可靠与多实例扩展。
  2. 迁移动机写进清单:持久化、多实例抢活、独立扩缩、DLQ / 积压可见——不是「异步」两个字。
  3. 代价当着写:至少一次、幂等、可见性 / 重投、序列化、成本;抽象 Queue 换实现,换不掉幂等。
  4. 路径宜渐进:抽象 → Memory 包装旧池 → Managed → 关双写;避免一上来绑死厂商 API。
  5. 仍可停在池:可丢 / 可重建 / 单实例 / 团队未准备好毒消息治理时,强上 B 层只会换一种事故形态。

相关阅读:/blog/goroutine_explosion_worker_pool/(A 层有界扇出)、/blog/im_push_priority_channels/(别用通知队列当同步真相)。