Kafka如何提高性能

邴越 2019-07-18

函数 性能 配置 操作系统 磁盘 read Socket

Kafka的消息是保存或缓存在磁盘上的,一般认为在磁盘上读写数据是会降低性能的,因为寻址会比较消耗时间,但是实际上,Kafka的特性之一就是高吞吐率。

即使是普通的服务器,Kafka也可以轻松支持每秒百万级的写入请求,超过了大部分的消息中间件,这种特性也使得Kafka在日志处理等海量数据场景广泛应用。

针对Kafka的基准测试可以参考,Apache Kafka基准测试:每秒写入2百万(在三台廉价机器上)

下面从数据写入和读取两方面分析,为什么为什么Kafka速度这么快。

写入数据

Kafka会把收到的消息都写入到硬盘中,它绝对不会丢失数据。为了优化写入速度Kafka采用了两个技术, 顺序写入 和 MMFile 。

顺序写入

磁盘读写的快慢取决于你怎么使用它,也就是顺序读写或者随机读写。在顺序读写的情况下,磁盘的读写速度是非常快的。
因为硬盘是机械

登录 后评论
下一篇
阿里巴巴云原生小助手
4663人浏览
2020-02-11
相关推荐
E-MapReduce Kafka Benchmark - I
2715人浏览
2018-03-01 18:07:38
消息队列二三事
811人浏览
2018-08-29 17:49:55
kafka设计与原理
1716人浏览
2017-07-18 08:57:50
Kafka 设计与原理详解
4178人浏览
2015-08-28 16:36:00
Kafka 设计与原理详解
1038人浏览
2015-08-28 16:36:00
解析Kafka High Available
1004人浏览
2017-11-14 16:10:49
kafka学习笔记
929人浏览
2017-07-18 19:07:00
Kafka 设计与原理详解
603人浏览
2017-09-07 19:59:00
kafka学习笔记
749人浏览
2017-11-15 10:32:00
0
1
0
729