连接池打满:外层 worker × 内层并发怎么按预算建模

连接池打满:外层 worker × 内层并发怎么按预算建模

Hello,我是小兔大白糖。 批处理压测里日志刷 too many clients,有人第一反应是「把 max_open_conns 调大」。池子抬了,多实例一叠,数据库 max_connections 跟着炸。写成这篇,给熟悉线程池 / 连接池、但还没把嵌套并发乘积写进预算的初中级后端同学。

说明:数字与伪流程均为教学脱敏 / 示意,不是某产品线上配置。读完带走的是「峰值连接意图 ≤ 池预算」的心智模型与取舍清单;协程怎么收成有界池、任务要不要外置队列,见文末相关阅读。

估计阅读时间:9 分钟


目录


为什么现在要关心

根因很少是「数据库太弱」,而是外层 worker × 内层扇出的连接意图,从没按池预算建模。

批处理 / 同步任务常见结构:

外层:N 个 worker 拉任务
内层:每个任务再开 M 路并发打 DB
池:max_open_conns = P

若内层每一路都可能持有一条连接,理论峰值接近 N × M。乘积远大于 P 时,现场通常长这样:

你看到的现象常见真相
too many clients / 池等待打满峰值连接意图 ≫ P,再叠多副本
查询阶段连接数看起来还好拉任务省连接;处理阶段才 fan-out
抬了 max_open_conns 仍偶发炸多实例 ΣP 顶穿 DB max_connections
重试一波,超时雪崩更猛失败路径再开一波无界并发,二次打满

同站已写过:协程别按 m×n 无界扇出——见 /blog/goroutine_explosion_worker_pool/;进程内池与托管队列是另一层合同——见 /blog/inprocess_pool_vs_managed_queue/。本文只钉一件事:DB 连接预算怎么被嵌套并发乘穿,以及怎么把它压回可证明的峰值。

外层 N × 内层 M 的连接意图打满应用连接池,再顶向数据库 max_connections
外层 N × 内层 M 的连接意图打满应用连接池,再顶向数据库 max_connections · 点击查看 SVG 原图

心智模型:园区车位 vs 楼宇闸机

主比喻:停车场。

  • DB max_connections = 园区车位总数(整库硬顶)。
  • 应用 max_open_conns = 本楼闸机放行数(单进程/单池上限)。
  • 外层 worker = 车队数;内层并发 = 每队同时抢车位的司机。
  • N 队 × 每队 M 人同时抢 → 闸机(池)先堵,再堵到园区(库)。
停车场类比:园区车位是库上限,楼宇闸机是应用连接池,车队×司机是嵌套并发
停车场类比:园区车位是库上限,楼宇闸机是应用连接池,车队×司机是嵌套并发 · 点击查看 SVG 原图

类比局限一句说清:车位 / 闸机解释「配额与排队」;解释不了「该不该批量写、事务边界怎么切」——那是 SQL 形状与业务正确性,不是池参数。


精确定义:峰值连接意图

峰值连接意图(peak)≈ 外层并发 ×(每个任务同时持有的连接数)。 必须让 peak ≤ max_open_conns,并给在线 API / 其他进程留余量。

三条硬规则(删掉比喻也能复述):

  1. 先算峰值,再谈加池。
    外层 N、内层同时持连接的路数、副本数,写在压测前的一张纸上。peak 对不上 P,调参只是推迟爆炸。

  2. 加池是止疼,不是根治。
    抬应用 max_open_conns 之前,先对齐:单实例 P × 实例数 ≤ DB max_connections − 运维预留。否则「应用池变大」等于「更快打穿库」。

  3. 内层并发要有界,且优先复用 / 批量。
    禁止「每个 item 新开无界协程、各借一条连接」。能一条语句 / COPY / pipeline 吃一批,就不要扇出成几百条独立会话。

「同时持有」很关键:若内层串行、复用同一条连接,有效乘数接近 1,不是 M。很多事故来自把「逻辑上的 M 路并行」默认当成「M 条连接」。


业界常见治理模式

长期常见组合是:降乘积(B)+ 连接感知信号量(C)+ 批量改形状(D);只加池(A)只作与库配额对齐后的缓冲。

模式做法代价适用
A. 只加 max_open_conns池从例如 100→200快;多实例仍可打满 DB急救,且已对齐库配额
B. 降内层 M 或外层 N把乘积压回 P 以下吞吐下降;墙钟变长急救 + 长期基线
C. 连接感知信号量全局/每池 sem ≈ P − margin;拿不到许可就阻塞实现稍复杂;峰值延迟可见生产常用
D. 批量写替代扇出多 row 一条语句 / COPY / pipeline要改批形状与错误粒度写放大、逐行往返场景
E. 任务队列外置外层并发交给队列消费者水平扩运维面变大;至少一次与幂等合同大规模 ETL / 跨进程保活

没有「最佳实践」口号:B/C 把爆炸换成排队与吞吐上限;D 用工程改造换连接节省;E 解决的是编排层,不自动修好「每消费者内部仍 N×M」。选 C 时,阻塞路径上的超时与取消必须写进合同,否则池前信号量会变成隐形死锁现场。

治理路径:降 M/N、批量写、连接信号量、有界加池,把峰值压回预算
治理路径:降 M/N、批量写、连接信号量、有界加池,把峰值压回预算 · 点击查看 SVG 原图

教学示意:一组可复述的数字

下面数字是教学量级,用来练嘴,不对应任何真实集群:

N = 40 workers
每 worker 内层 M = 500 同时写
理论峰值意图 ≈ 40 × 500 = 20_000
池 P = 100  → 必然排队 / 报错

目标:peak ≤ 0.7 × P(给 API 留约 30%)
可选:
  N=20, M=3(批写)     → peak ≈ 60
  N=40, 内层串行复用连接 → peak ≈ 40

扫一眼就能带走的结论:先把 20_000 压成两位数,再讨论池要不要从 100 调到 120。 顺序反了,库侧 max_connections 会替你做最终否决。


常见坑

  1. 只看「查询 / 拉任务阶段」的连接数。
    FOR UPDATE SKIP LOCKED 一类拉活往往很省连接;爆点在后面处理阶段的 fan-out。

  2. 多副本 × 每副本 P,忘记库硬顶。
    单实例「池还够」≠ 集群总和够。看板要按应用拆当前连接,不只看库总连接一个数。

  3. 错误重试再开一波无界并发。
    第一次打满触发超时,重试路径又乘一次 M——二次打满比原故障更难归因。

  4. 「已经限了 goroutine」却没限持连接数。
    协程有界 ≠ 连接有界。限的是调度形态时,连接仍可能按任务内并行度冒头——连接预算要单独建模。

  5. 把加池当根治,且不留 API 余量。
    批处理把 P 吃满,在线接口开始等连接;用户感知是「网站卡了」,监控却先怪业务接口。

  6. 批量改形状后仍按旧 M 开并发。
    批大小变了,内层并发合同没改,乘积账对不上,优化白做。


选型结论

  1. 压测前写清:N、M(或每任务同时持连接数)、是否复用连接、实例数、目标余量。
  2. 乘积超预算:先砍 M / 改批量 / 内层串行化,再谈加池;加池必须对齐 DB max_connections。
  3. 用信号量或 worker 内串行化 DB 访问,使 peak 可证明,而不是靠运气。
  4. 监控优先盯:池等待、too many clients、DB 当前连接按应用拆分——不只看「库还活着」。
  5. 分工:本文管 DB 连接预算;任务编排与进程内池见 /blog/inprocess_pool_vs_managed_queue/;协程扇出见 /blog/goroutine_explosion_worker_pool/。

下一步:用一次压测对照「无界内层扇出 vs 有界乘积」的池等待与错误率 → 定 peak 公式与余量 → 再决定 B/C/D 的组合顺序。