Kafka 事件入湖:旁路 Connect Iceberg,双消费组对账再切流

Kafka 事件入湖:旁路 Connect Iceberg,双消费组对账再切流

Hello,我是小兔大白糖。 「把 Kafka 里的埋点写进湖仓」——很多人第一反应是改应用直连对象存储,或再写一个消费者落 Parquet。更稳、也更常见的拆法是:应用继续只生产 Kafka;入湖用 Kafka Connect Iceberg Sink;与线上实时 / OLTP 旁路用**不同 consumer group(消费组)**并行一段时间,对账后再关旧路径。

写成这篇,给要做事件入湖管道选型的初中级后端同学:不是某集群对接 runbook,而是业界常见的数据管道心智模型。

说明:文中的切换天数、分区字段、配置键名均为教学脱敏 / 示意。Iceberg Sink、catalog、对象存储 warehouse 以各开源项目与云厂商当前公开文档为准;不编造「某厂官方内部就是这样」。读完带走的是可复述合同,不是可粘贴的内部 YAML。

估计阅读时间:11 分钟


目录


为什么现在要关心

硬规则:入湖默认挂在 Kafka 旁路——业务不直写湖;湖路径与在线路径各用独立消费组,绝不能共用。

现场里常见误伤,几乎都来自「能写进去」却没签清合同:

你看到的现象常见真相
业务服务开始依赖对象存储 SDK把存储扩缩、权限、重试塞进了 OLTP 路径
「切到湖了」线上实时断流 / 重复两路径共用一个 consumer group,在抢同一份 offset
Bronze 表对不上查询按库里的嵌套文档建表,而不是按 Kafka 线格式(wire format)
Connect 一开就建出怪表auto-create 打开,分析侧 DDL 与 connector 漂移
坏消息静默消失或整条任务卡死没有 DLQ(死信队列),错误无处可查
关了旧 ingest,分析作业还在空转「入湖成功」≠「下游调度已切完」

四条可复述硬规则:

  1. 生产方契约不变:服务只发 Kafka;不把对象存储 / Iceberg SDK 塞进业务写路径。
  2. 双 group 并行,绝不能共用:湖路径与线上路径各自独立 offset;共用 group = 抢消息。
  3. 表结构对齐线格式(JSON / Avro 等),不要对齐 OLTP 文档嵌套:迁移期最常见的 schema 翻车,来自「按库里的文档模型建表」。
  4. 先建表再开 connector;自动建表建议关:避免 Connect 自动建表与分析侧 DDL 漂移。

队列侧「至少一次 + 幂等」合同另见 /blog/fifo_queue_message_group_id/;本文钉的是流上两条消费路径怎么并行切流,不是 FIFO 分组键。


问题空间:三平面,不是一条写库函数

目标不是「多一个写 S3 的函数」,而是生产、在线消费、入湖三条合同分轨。

目标常见错误拆法更稳的拆法
事件进湖做分析业务服务直写对象存储 / IcebergProducer → Kafka → Connect Sink → 表
不停机迁移直接切掉旧消费者双 consumer group 并行 + 对账窗口
schema 正确按 Mongo / 业务文档嵌套建表按 Kafka 消息体建 Bronze(原始入湖层)
失败可回滚无 DLQ、无暂停手段DLQ + 可暂停 connector;旧路径可独活

三平面(教学用语,不是某厂产品名):

平面职责成功标准
生产平面业务只保证「事件进 Kafka」线格式稳定、可演进
在线消费平面实时特征 / OLTP 旁路(旧路径可暂留)延迟与语义按在线合同
入湖平面Connect 独立 group 写 Bronze可查询、可对账、坏消息进 DLQ

三平面可以并行,但offset 合同不同:在线路径回答「此刻业务要不要这条」;入湖路径回答「分析侧能不能事后重放这条」。绑成一个 group,就变成抢水。

Kafka 一 topic 两消费组:在线与入湖各记水位
Kafka 一 topic 两消费组:在线与入湖各记水位 · 点击查看 SVG 原图

心智模型:总管与两只水桶

主比喻:Kafka topic 像总管;两个 consumer group 像两只水桶——各记水位。

  • 水从总管流出 → topic 里的消息。
  • 每只桶自己刻水位线 → 各自的 consumer offset。
  • 把两只桶绑成一只 → 共用 group → 变成抢水,不是「双写备份」。

Connect 是「按配置搬运的管道工」,不是业务服务里的第二个写库函数。它吃的是 connector 配置、插件版本与 catalog 权限;不吃「业务里再 import 一个 SDK」。

类比局限一句说清:水桶解释「独立 offset / 别抢消息」;解释不了 Iceberg 提交语义、catalog 一致性与查询引擎方言——那些以公开文档与引擎能力为准,不在本比喻里。


业界常见入湖模式

团队已有 Kafka、要少改业务、Bronze 以追加为主时,Connect Iceberg Sink 常是甜点——代价是运维 Connect / 插件 / IAM,而不是改业务代码。

模式做法优点代价 / 边界
A. 应用直写湖SDK 写对象存储 / 表路径短、调试直观业务耦合存储;扩缩、权限、重试进应用
B. 自研 consumer 写 Parquet自管文件切分与提交灵活;可深定制要自建 exactly-once / 提交语义与运维面
C. Kafka Connect Iceberg Sink(本文主线)独立 Connect 集群 + connector少改业务;配置驱动运维 Connect、插件 pin、catalog / IAM
D. 流式引擎落湖Flink 等写 Iceberg能力强、变换丰富团队与成本更重;别为「能写」默认上引擎

选型句:已有 Kafka + 要旁路入湖 + Bronze 以追加为主 → 优先评估 C;需要复杂流变换或强状态时再上 D;A 只适合原型或极窄路径,长期会把存储运维拖进业务。

入湖模式 A 到 D 对照,C 为 Connect Sink
入湖模式 A 到 D 对照,C 为 Connect Sink · 点击查看 SVG 原图

Connect 路径仍是 at-least-once(至少一次) 常见语义:对账窗口要接受重复,下游用幂等键或去重视图消化——别把「Sink 跑起来了」听成 exactly-once。


切换节奏:可复述的合同

先 DDL、再 connector、再双写对账、最后关旧——顺序反了,回滚面最大。

教学向节奏(天数与字段名为示意,按你的延迟与数据量裁剪):

  1. Catalog / warehouse / 查询引擎就绪
    公开能力示意:Glue 类或等价 catalog、对象存储上的 warehouse、Trino / Spark 等查询引擎能读同一 catalog。
  2. 先 DDL 建 Bronze
    分区示意:day(event_time);列对齐 Kafka 线格式字段,而不是 OLTP 嵌套文档。
  3. Connect 集群 + Iceberg 插件
    独立 consumer group;tasks.max 不宜大于 topic 分区数(示意:任务数受分区上限约束,过大会空转)。
  4. DLQ topic
    解析失败 / 写表失败进死信,而不是静默丢或无限卡住整条任务。
  5. 发样例 → 查询引擎可见 → lag / DLQ 健康
    先证明「能查到、错误可观测」,再谈切流。
  6. 双写窗口
    示意数天;抽样对账;接受 at-least-once 重复。
  7. 关旧 ingest
    湖路径独活;旧 group 可保留一段时间作回滚保险。
  8. 回滚合同
    暂停 / 删除 connector;旧消费路径仍可独活——这是切流前就要写进计划的,不是出事再想。

配置立场(教学):关闭自动建表(公开文档里常见为 auto-create / auto.create 一类开关,以你所用 Iceberg Sink 插件当前文档为准);schema 演进走显式 ALTER 或受控 evolve,避免「connector 先建、分析后改」双向漂移。

教学伪流程(脱敏,非某厂商 REST / 内部 API):

# 示意顺序,不是可执行脚本
prepare_catalog_and_warehouse()
ddl_create_bronze(align_to_kafka_wire_schema)
deploy_connect_plugin(pinned_version)
start_iceberg_sink(
  topics=["events-ingest"],          # 占位名
  group_id="lake-ingest-v1",         # 与在线 group 不同
  dlq_topic="events-ingest-dlq",
  auto_create=false
)
dual_run_window(days=N):            # N 按对账需求
  sample_reconcile(online_path, lake_path)  # 接受重复
cutover_disable_old_ingest()
# 回滚:pause_or_delete_sink(); old_group 可独活
入湖切换漏斗:建表 Connect 对账关旧
入湖切换漏斗:建表 Connect 对账关旧 · 点击查看 SVG 原图

代价先说清:双写窗口期间,存储与计算成本上升;对账要人时与抽样策略;Connect 集群本身也是故障面。换来的是业务代码少动、可回滚、可观测——不是「零成本切流」。


常见坑

从架构视角看,下面几条会把「旁路入湖」做成「抢消息」或「假 schema」。

  1. 两路径共用一个 consumer group
    不是双写,是抢 offset。湖与在线必须各记水位。

  2. 按 OLTP 嵌套文档建 Iceberg 表
    线格式是扁的 / 有明确字段集;文档模型是嵌套的。Bronze 跟 Kafka,不跟库里的「好看文档」。

  3. Connect 自动建表与分析 DDL 不一致
    两边各改各的,查询迟早翻车。先 DDL、关 auto-create。

  4. 无 DLQ
    坏消息要么拖死任务,要么静默丢——排障都难。

  5. 未 pin 插件版本 / catalog 实现与查询引擎不一致
    「能写入」不等于「Spark / Trino 用同一套元数据语义可读」。

  6. 对账期不够就关旧路径
    切流合同缺了抽样窗口;出问题只剩猜。

  7. 把「入湖成功」当成「分析作业已切完」
    下游调度、物化视图、报表任务是另一张清单——入湖只签「Bronze 可查」。


选型结论

  1. 入湖默认挂在 Kafka 旁路:业务只产事件;存储扩缩与权限不要进 OLTP 写路径。
  2. 双 consumer group + 对账窗口是迁移合同,不是可选项:共用 group = 抢消息;无对账 = 盲切。
  3. Bronze schema 跟线格式:别用库里的嵌套文档「翻译」成表。
  4. 先 DDL、关自动建表、必有 DLQ:可暂停 connector + 旧路径可独活,才算有回滚面。
  5. Connect 运维成本换的是少改业务:接受插件 pin、catalog 与 IAM 复杂度;需要复杂流变换再评估 Flink 等引擎。