分区从 6 加到 12,同一个订单的事件开始乱序
为了扛峰值给 topic 扩了分区,吞吐上去了,下游却开始报「状态回退」。原因很直接:同一个 key 的取模结果变了。这篇讲分区数与顺序性的绑定关系、三种收敛方案,以及扩容操作的代价。
订单 topic 从 6 个分区扩到 12 个,峰值吞吐达标了,下游开始报「状态回退」:已支付的订单又收到了「待支付」。同一个订单的事件,落在了两个不同的分区里。
顺序性只在分区内成立
Kafka 只保证单分区内有序,跨分区没有任何顺序承诺。生产者默认按 key 哈希选分区,取模的分母就是分区数。分母一变,同一个 key 的落点就变了:扩容前的事件在 0-5,扩容后可能进 6-11,两个分区并行消费,先后完全看运气。
这不是 Kafka 的缺陷,是「用分区数当哈希空间」的必然结果。很多人扩容时只算吞吐,没算这一笔。
三种收敛办法
第一种,别扩容已经承担顺序语义的 topic。新建一个分区数正确的 topic,双写、迁移历史、切读、下线旧 topic,成本高但没有语义损失。
第二种,自定义分区器,把「有效分区数」固定在业务能接受的桶数上,多出来的分区只给无 key 的消息用:
// 示意:把哈希空间固定在 BUCKETS,分区扩容不影响老 key 的落点
public class FixedBucketPartitioner implements Partitioner {
private static final int BUCKETS = 6;
@Override
public int partition(String topic, Object key, byte[] keyBytes,
Object value, byte[] valueBytes, Cluster cluster) {
int total = cluster.partitionCountForTopic(topic);
int effective = Math.min(BUCKETS, total);
int hash = keyBytes != null ? Utils.murmur2(keyBytes) : ThreadLocalRandom.current().nextInt();
return Math.floorMod(hash, effective);
}
}
代价是分区利用率不均——多出来的分区只承载无 key 消息,扩了等于没扩。
第三种,下游自己做收敛:消息里带业务版本号或事件时间戳,消费端按 key 做状态机,旧版本直接丢弃。这要求消费端有状态存储,但它是唯一能容忍乱序的方案。
扩容本身也有代价
kafka-topics.sh --bootstrap-server broker:9092 \
--alter --topic orders --partitions 12 \
--command-config /etc/kafka/client.properties
分区数只能增不能减,扩了就是永久的。扩容会触发元数据变更与消费者组 rebalance;分区变多之后单批数据变小,端到端延迟和文件句柄数都会变化;如果 topic 依赖 key 做本地聚合,扩容后聚合结果会被拆散。
适用边界与常见坑
- key 为 null 时默认分区器是粘性轮询,本来就没有顺序语义,别指望扩容前它是「有序」的。
- 增加分区不会重分配历史数据,只有新消息受影响,所以症状往往是「扩容那一刻之后开始乱」。
- 用 --alter 前先看 cleanup.policy 与 min.insync.replicas,顺手改坏可靠性的事故不少。
- 顺序性和吞吐在同一个 topic 上是互斥的,需要顺序的 key 和无顺序的消息,最好拆成两个 topic。
- 消费端多线程处理同一分区的消息,等于自己把顺序打乱,再扩分区也救不回来。
正在加载评论…