面试官: Kafka 为什么这么快 ？

有人说：他曾在一台配置较好的机子上对 Kafka 进行性能压测，压测结果是 Kafka 单个节点的极限处理能力接近每秒 2000万 条消息，吞吐量达到每秒 600MB。

那 Kafka 为什么这么快？如何做到这个高的性能？

本篇文章主要从这 3 个角度来分析：

• 生产端
• 服务端 Broker
• 消费端

先来看下生产端发送消息，Kafka 做了哪些优化？

（1）生产端 Producer

先来回顾下 Producer 生产者发送消息的流程：

将思绪集中在消息发送时候，可发现这两个华点：批量消息和自定义协议格式。

各种压缩算法对比：

• 吞吐量方面：LZ4 > Snappy > zstd 和 GZIP
• 压缩比方面：zstd > LZ4 > GZIP > Snappy

（2）服务端 Broker

Broker 的高性能主要从这 3 个方面体现：

下面展开讲讲。

1）PageCache 加速消息读写

使用 PageCache 主要能带来如下好处：

• 写入文件的时候：操作系统会先把数据写入到内存中的 PageCache，然后再一批一批地写到磁盘上，从而减少磁盘 IO 开销。

• 读取文件的时候：也是从 PageCache 中来读取数据。

如果消息刚刚写入到服务端就会被消费，按照 LRU 的“优先清除最近最少使用的页”这种策略，读取的时候，对于这种刚刚写入的 PageCache，命中的几率会非常高。

2）Kafka 的文件布局 以及 磁盘文件顺序写入

文件布局如下图所示：

**主要特征是：**文件的组织方式是“topic + 分区”，每一个 topic 可以创建多个分区，每一个分区包含单独的文件夹。

Kafka 在分区级别实现文件顺序写：即多个文件同时写入，更能发挥磁盘 IO 的性能。

• 相对比 RocketMQ：RocketMQ 在消息写入时追求极致的顺序写，所有的消息不分主题一律顺序写入 commitlog 文件， topic 和 分区数量的增加不会影响写入顺序。
• 弊端：Kafka 在消息写入时的 IO 性能，会随着 topic 、分区数量的增长先上升，后下降。
• 所以使用 Kafka 时，要警惕 Topic 和 分区数量。

3）零拷贝 sendfile：加速消费流程

当不使用零拷贝技术读取数据时：

流程如下：

当使用零拷贝技术读取数据：

Kafka 使用零拷贝技术可以把这个复制次数减少一次，直接从 PageCache 中把数据复制到 Socket 缓冲区中。

• 这样不用将数据复制到用户内存空间。
• DMA 控制器直接完成数据复制，不需要 CPU 参与，速度更快。

（3）消费端 Consumer

消费者只从 Leader分区批量拉取消息。

为了提高消费速度，多个消费者并行消费比不可少。Kafka 允许创建消费组(唯一标识 ​​group.id​​)，在同一个消费组的消费者共同消费数据。

举个栗子：

• 有两个 Kafka Broker，即有 2个机子
• 有一个主题：TOPICA，有 3 个分区(0, 1, 2)

如上图，举例 4 中情况：