Kafka 为什么那么快?
互联网架构师
共 3026字,需浏览 7分钟
· 2022-09-17
有人说:他曾在一台配置较好的机子上对
Kafka
进行性能压测,压测结果是Kafka
单个节点的极限处理能力接近每秒2000万
条消息,吞吐量达到每秒600MB
。
Kafka
为什么这么快?如何做到这个高的性能?生产端 服务端 Broker
消费端
先来看下生产端发送消息,Kafka
做了哪些优化?
![](https://filescdn.proginn.com/8cb207b63bf56bf1daf14708b947f740/0d36a1545c10e1f1c8672c17d5f67a6a.webp)
(1)生产端 Producer
![](https://filescdn.proginn.com/9db99db69a9548ced57ffccb7db8d77a/97c97b43e4ecba43601224dd8f97074f.webp)
![](https://filescdn.proginn.com/fe120145e7b4f224eda6c2864f462b9b/d25cb28ceda78716d867f6befd3f9903.webp)
先来回顾下 Producer
生产者发送消息的流程:
首先指定消息发送到哪个 Topic
。选择一个 Topic
的分区partitiion
,默认是轮询来负载均衡。也可以指定一个分区 key
,根据key
的hash
值来分发到指定的分区。也可以自定义 partition
来实现分区策略。找到这个分区的 leader partition
。与所在机器的 Broker
的socket
建立通信。发送 Kafka
自定义协议格式的请求(包含携带的消息、批量消息)。
批量发送:减少了与服务端 Broker
处理请求的次数,从而提升总体的处理能力。调用 send()
方法时,不会立刻把消息发送出去,而是缓存起来,选择恰当时机把缓存里的消息划分成一批数据,按批次发送给服务端Broker
。自定义协议格式:序列化方式和压缩格式都能减少数据体积,从而节省网络资源消耗。
吞吐量方面: LZ4
>Snappy
>zstd
和GZIP
压缩比方面: zstd
>LZ4
>GZIP
>Snappy
![](https://filescdn.proginn.com/46adacf249ff4803d2b825e4c3c2b54c/2197f71cc5f005a3fd38d987e89bdd44.webp)
![](https://filescdn.proginn.com/8cb207b63bf56bf1daf14708b947f740/0d36a1545c10e1f1c8672c17d5f67a6a.webp)
(2)服务端 Broker
![](https://filescdn.proginn.com/9db99db69a9548ced57ffccb7db8d77a/97c97b43e4ecba43601224dd8f97074f.webp)
Broker
的高性能主要从这 3 个方面体现:PageCache
缓存Kafka
的文件布局 以及 磁盘文件顺序写入零拷贝 sendfile
:加速消费流程
下面展开讲讲。
1)PageCache
加速消息读写
PageCache
主要能带来如下好处:写入文件的时候:操作系统会先把数据写入到内存中的 PageCache
,然后再一批一批地写到磁盘上,从而减少磁盘IO
开销。
![](https://filescdn.proginn.com/d1e02c94855ec3a31e218e84bf778b8a/5587f97b26b2f2506799ef670c530145.webp)
读取文件的时候:也是从
PageCache
中来读取数据。如果消息刚刚写入到服务端就会被消费,按照 LRU
的“优先清除最近最少使用的页”这种策略,读取的时候,对于这种刚刚写入的PageCache
,命中的几率会非常高。
2)Kafka
的文件布局 以及 磁盘文件顺序写入
![](https://filescdn.proginn.com/a6ff050af495ab8dcf9ee2aa4e5ca06d/19dc7c2fea623f1340c402a5e0dfe4f7.webp)
**主要特征是:**文件的组织方式是“topic
+ 分区”,每一个 topic
可以创建多个分区,每一个分区包含单独的文件夹。
Kafka
在分区级别实现文件顺序写:即多个文件同时写入,更能发挥磁盘 IO
的性能。相对比 RocketMQ
:RocketMQ
在消息写入时追求极致的顺序写,所有的消息不分主题一律顺序写入commitlog
文件,topic
和 分区数量的增加不会影响写入顺序。弊端: Kafka
在消息写入时的IO
性能,会随着topic
、分区数量的增长先上升,后下降。所以使用 Kafka
时,要警惕Topic
和 分区数量。
3)零拷贝 sendfile
:加速消费流程
![](https://filescdn.proginn.com/8a27ba433d9460aa9775a51de1b90c9b/8300ad2346dc1fe56deed7e75f892a2a.webp)
消费端 Consumer
:向Kafka Broker
请求拉取消息Kafka Broker
从OS Cache
读取消息到 应用程序的内存空间:若 OS Cache
中有消息,则直接读取若 OS Cache
中无消息,则从磁盘里读取再通过网卡, socket
将数据发送给 消费端Consumer
当使用零拷贝技术读取数据:
![](https://filescdn.proginn.com/4c7bcd91d91e26dacd562f439a57420b/53411b4326247f2fb82be0ca4e3f323a.webp)
Kafka
使用零拷贝技术可以把这个复制次数减少一次,直接从 PageCache
中把数据复制到 Socket
缓冲区中。这样不用将数据复制到用户内存空间。 DMA
控制器直接完成数据复制,不需要CPU
参与,速度更快。
![](https://filescdn.proginn.com/8cb207b63bf56bf1daf14708b947f740/0d36a1545c10e1f1c8672c17d5f67a6a.webp)
(3)消费端 Consumer
![](https://filescdn.proginn.com/9db99db69a9548ced57ffccb7db8d77a/97c97b43e4ecba43601224dd8f97074f.webp)
消费者只从 Leader
分区批量拉取消息。
Kafka
允许创建消费组(唯一标识 group.id
),在同一个消费组的消费者共同消费数据。有两个 Kafka Broker
,即有 2个机子有一个主题: TOPICA
,有 3 个分区(0, 1, 2)
![](https://filescdn.proginn.com/74a43b54dc2a28383772af756254758f/de540ae04b8f3c9d04ee8e9771d6adf6.webp)
group.id = 1
,有一个消费者:这个消费者要处理所有数据,即 3 个分区的数据。group.id = 2
,有两个消费者:consumer 1
消费者需处理 2个分区的数据,consumer2
消费者需处理 1个分区的数据group.id = 3
,有三个消费者:消费者数量与分区数量相等,刚好每个消费者处理一个分区group.id = 4
,有四个消费者:消费者数量 > 分区数量,第四个消费者则会处于空闲状态
作者:格格步入
来源:juejin.cn/post/7134463012563320868
正文结束
1.求求你别在用SpringMVC了,太Low了!Spring又官宣了一个更牛逼的替代框架!
评论
黄疸蒲公英
界Plantae-植物界(zhíwùjiè)门Tracheophyta-维管植物门(wéiguǎnzhíwùmén)纲Magnoliopsida-木兰纲(mùlángāng)目Asterales-菊目
黄疸蒲公英
0
黄疸粉末牛肝菌
界Fungi-真菌界(zhēnjūnjiè)门Basidiomycota-担子菌门(dānzǐjūnmén)纲Agaricomycetes-蘑菇纲(mógugāng)目Boletales-牛肝菌目(n
黄疸粉末牛肝菌
0