
Hello,我是小兔大白糖。 延迟尖刺排查到一半,发现「慢特征计算」和「同步交易决策」抢同一个池——队列看着不深,快路径已经饿死了。写成这篇,给熟悉连接池、超时重试,却还把 Executors 工厂当默认答案的后端同学:做一次业界向的线程池容量与隔离调研。
线程池七参数是容量合同;快慢路径不隔离时,慢任务会饿死低延迟请求。
说明:参数数字、伪代码均为教学脱敏 / 示意,不是某产品线上配置。业务名用通用的「交易决策 / 特征计算 / 告警」,不绑定某司栈。读完带走的是心智模型与取舍清单。
估计阅读时间:11 分钟
目录
- 为什么现在要关心这件事?
- 心智模型是什么:餐厅编制
- 七参数精确定义是什么?
- 提交路径顺序是什么?
- 队列怎么选?
- 拒绝策略各自的账单是什么?
- 共享大池还是按延迟隔离?
- 常见坑有哪些?
- 该怎么选?一句话结论
为什么现在要关心这件事?
线程池不是「异步就完事」——它是一份写死的容量合同:常备多少、能排多长、战时扩到哪、客满怎么说。
现场里常见的误伤:
| 你看到的现象 | 常见真相 |
|---|---|
| P99 突然拉长,CPU 却不忙 | 有界队列堆满;或 CallerRuns 把入口线程拖去做慢任务 |
| 「从没拒绝过」却 OOM | 无界队列把拒绝推迟到堆爆炸 |
| 同步决策偶发超时 | 与批量特征 / 告警共用一池,慢任务占满 worker |
| 关服后任务「丢了」 | shutdown 后没 awaitTermination,或直接 shutdownNow 未处理返回列表 |
| 监控只盯线程数 | 缺队列深度、拒绝计数、任务耗时分位——看见的永远是结果,不是合同 |
和 Go 侧「无界 go → 有界工作池」是同一类问题,只是账单换了货币:见 /blog/goroutine_explosion_worker_pool/。本文钉 Java 的 ThreadPoolExecutor:七参数怎么读、提交怎么走、为什么要按延迟敏感度分池。
心智模型是什么:餐厅编制
主比喻:餐厅。
| 餐厅角色 | 线程池对应 | 人话 |
|---|---|---|
| 常备服务员 | corePoolSize | 闲时也倾向留着的编制 |
| 高峰兼职工 | maximumPoolSize − core | 战时上限里多出来的那截 |
| 兼职工合同期 | keepAliveTime + 单位 | 空闲多久可以下班(默认主要管非核心) |
| 候客区座位数 | workQueue 容量 | 排得下多少待办 |
| 人事命名 | ThreadFactory | 线程名可读,排障才找得到人 |
| 客满策略 | RejectedExecutionHandler | 拒单、自跑、丢新、丢旧——必须显式选 |
类比局限一句说清:餐厅解释「编制、排队、客满」;解释不了业务上「这笔决策能不能降级、告警能不能丢」——那是 SLA,不是池参数。
七参数精确定义是什么?
先画清「常备 → 排队 → 扩容 → 拒绝」四段,再谈调参;七参数是合同条款,不是玄学旋钮。
公开 API(教学摘录,字段以 JDK java.util.concurrent.ThreadPoolExecutor 为准):
new ThreadPoolExecutor(
corePoolSize, maximumPoolSize,
keepAliveTime, unit,
workQueue, threadFactory, handler);| 参数 | 合同含义 | 调大时你多买到什么 | 主要代价 |
|---|---|---|---|
corePoolSize | 常备线程倾向保留数 | 空闲时也更「随时有人」 | 常驻栈与调度开销;默认可长期占着 |
maximumPoolSize | 战时线程上限 | 队列满后的额外并发 | CPU / 上下文切换;扩得太猛会互相踩 |
keepAliveTime | 超核线程空闲存活时间 | 尖峰后更快缩回 | 缩太狠 → 下一波再扩的抖动 |
workQueue | 待执行任务缓冲 | 尖峰平滑、少立刻拒绝 | 延迟与堆内存;无界 ≈ 拒绝永不触发 |
threadFactory | 如何造线程 | 命名、优先级、异常钩子 | 配错守护线程等边界行为 |
handler | 池与队列都满时的策略 | 可预期的失败形态 | 见下文四策略副作用 |
补充边界:
- 允许核心也超时回收时,要显式
allowCoreThreadTimeOut(true),否则「核心永不下班」是默认叙事。 - 公式只是起点:CPU 密集常从「核数附近」试起,IO 密集常更大——最终仍要压测校准,不是背口诀。
- 池消灭的是不可预期爆炸,不是负载本身:产生快于消费时,压力变成队列长度、入口延迟或拒绝率。
提交路径顺序是什么?
execute / submit 的决策顺序固定:先补到 core → 再入队 → 队列满才扩到 max → 再走拒绝。 别凭直觉以为「有空闲线程就复用、排不满就不扩」。
人话版四步(与常见 JDK 行为叙述对齐,细节以当前 JDK 源码为准):
- 线程数 < core:倾向 新建核心线程 立刻跑——即便已有空闲 worker,也常先「补编制」。
- 已到 core:
offer进workQueue;成功则排队等消费。 - 队列满:尝试再建线程,直到
maximumPoolSize。 - 还建不成:调用
handler(拒绝策略)。
入队成功后还有一层「二次检查」叙事:池已关闭、或工人突然没了时,要避免任务挂在无人问津的队列里——实现细节不必背,但要知道提交成功 ≠ 永远有人执行。
教学伪流程(非生产代码):
submit(task):
if workers < core: addWorker(task); return
if queue.offer(task): return # 可能有二次检查
if workers < max: addWorker(task); return
handler.rejected(task)队列怎么选?
同一套 core/max,换队列,扩容与拒绝的「触发点」会整个挪位。
| 队列(教学) | 容量直觉 | 对扩容 / 拒绝的影响 | 常见误用 |
|---|---|---|---|
有界 ArrayBlockingQueue / LinkedBlockingQueue(n) | 固定座位数 | 座满才扩到 max,再满才拒 | 容量拍脑袋 → 要么过早拒,要么延迟雪球 |
无界 LinkedBlockingQueue()(默认极大) | 几乎永远坐得下 | 很难扩到 max,也很难触发拒绝 | 看起来「很稳」,实则堆里偷偷涨 |
SynchronousQueue | 座位 = 0,手递手 | 几乎不排队,更容易往 max 扩 | 配小 max → 频繁拒绝;配极大 max → 近似无线建线程 |
分享向默认推荐:有界队列 + 可观测的拒绝/CallerRuns。无界队列不是「永不拒绝的高级技巧」,是把失败推迟到 OOM——和「无限长 channel」同一类坑。
拒绝策略各自的账单是什么?
客满时没有「最佳实践」空喊——只有副作用不同的四种默认策略(均可自定义包装计数与告警)。
| 策略 | 行为 | 你多买到什么 | 代价 |
|---|---|---|---|
AbortPolicy(默认) | 抛 RejectedExecutionException | 调用方立刻感知 | 要自己重试 / 降级 / 幂等 |
CallerRunsPolicy | 提交线程自己跑这个任务 | 自然反压,入口减速 | 拖慢调用方(HTTP 线程、调度线程都可能中招) |
DiscardPolicy | 静默丢新任务 | 调用方不炸 | 丢了还不知道——监控必须另做 |
DiscardOldestPolicy | 丢掉队头再试 | 偏「只要最新」 | 旧任务无声消失;不适合强一致决策 |
选型对齐 SLA(教学):
| 路径 | 更常倾向 | 为什么 |
|---|---|---|
| 同步交易决策 | Abort 或 CallerRuns(短超时任务) | 要失败可见,或接受入口变慢换不被无界堆垮 |
| 批量特征计算 | Abort + 上游限流 / 削峰 | 可重试、可降采样 |
| 异步告警通知 | DiscardOldest 或有界丢低优 | 往往更在意「最近还响不响」;仍要打丢弃指标 |
CallerRuns 不是免费午餐:任务若本身阻塞,提交线程一起堵——反压会从线程池漫到整个入口平面。
共享大池还是按延迟隔离?
推荐默认:按延迟敏感度分池 + 有界队列 + 拒绝可观测;共享大池省事,但账单在故障日一次性收齐。
| 模式 | 做法 | 代价 |
|---|---|---|
| A. 共享大池 | 全省务一个 businessExecutor | 慢任务饿死快路径;指标难归因 |
| B. 按延迟 / 业务分池 | 决策池、特征/IO 池、告警池分开 | 调参与看板变多;线程总数要预算 |
| C. 无界队列 + 固定线程 | 「看起来从不拒绝」 | 堆积 OOM;拒绝策略形同虚设 |
| D. 打满走 CallerRuns | 用入口线程消化溢出 | 自然反压;入口 P99 与池绑定 |
教学隔离示意(数字脱敏):
| 池名 | core | max | 队列 | 拒绝 | 职责 |
|---|---|---|---|---|---|
decision-pool | 16 | 32 | 200 | CallerRuns / Abort | 同步交易决策(低延迟) |
feature-pool | 32 | 64 | 500 | Abort | 特征拉取 / 批量计算(可慢) |
alert-pool | 4 | 8 | 1000 | DiscardOldest | 异步告警(可丢旧) |
分池的收益是故障域变小:特征抖动不应直接占满决策 worker。代价是总和线程数、队列内存、监控维度都涨——用命名前缀(decision- / feature- / alert-)把线程栈读成人话,排障成本才能降下来。
动态调参(配置中心热更 core/max)是进阶项:能救急,也引入「改队列容量常要重建池、缩容打断在途任务」等复杂度。分享向建议:先固定有界合同 + 看板,再谈热更新。
常见坑有哪些?
-
Executors.newFixedThreadPool/newCachedThreadPool当默认
固定池常见挂无界队列;缓存池常见SynchronousQueue+ 极大 max。工厂省事,合同却可能是「永不拒」或「无线扩」。 -
全省务一个「全局业务池」
告警风暴和同步决策抢同一批工人——隔离没写进架构,只写进了事后复盘。 -
只看线程数,不看队列深度与拒绝计数
线程曲线平静时,延迟可能在队尾偷偷涨;拒绝为 0 也可能是因为队列根本无界。 -
关池不
awaitTermination
shutdown只是不再接客;不等待就进程退出,队列里的任务会静默消失。强制shutdownNow时,返回的未跑任务列表要有人接手。 -
把 CallerRuns 当万能背压
提交方若是容器工作线程,客满等于用入口平面给池子擦屁股——要评估任务是否短、是否可阻塞入口。 -
「核心线程永远不回收」未显式决策
默认常是这样;流量潮汐大却不allowCoreThreadTimeOut,闲时白白占着编制。开了也要接受再扩的抖动。
该怎么选?一句话结论
- 手写
ThreadPoolExecutor,把七参数当配置与合同,而不是藏进Executors工厂。 - 有界队列;拒绝策略与入口 SLA 对齐,并打拒绝 / 丢弃指标。
- 快慢路径分池(交易决策 ≠ 特征计算 ≠ 告警);线程名带业务前缀。
- 看板至少四列:活跃线程、队列长度、拒绝(或 CallerRuns)次数、任务耗时分位。
- 优雅关闭写进发布流程:
shutdown→awaitTermination→ 超时再shutdownNow并处理残留。
下一步:给现有「全局池」画一张提交路径与队列类型对照表 → 按延迟拆出至少「决策 / 慢任务」两池 → 压测打满时同时盯拒绝与入口 P99。系列导航:本篇为 java-core-deep seriesOrder 1;后续篇目发布后在此互链 /blog/<slug>/。