Kafka2.3性能测试是怎样的

Kafka2.3性能测试是怎样的，针对这个问题，这篇文章详细介绍了相对应的分析和解答，希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。

专注于为中小企业提供成都网站制作、成都网站建设服务,电脑端+手机端+微信端的三站合一,更高效的管理,为中小企业庐山免费做网站提供优质的服务。我们立足成都，凝聚了一批互联网行业人才，有力地推动了1000+企业的稳健成长，帮助中小企业通过网站建设实现规模扩充和转变。

了解Kafka的性能指标可以很好的帮助你规划Kafka集群，但使用不同的消息大小，保留时间(retention periods)，分区，复制因子，网络速度，甚至是同步还是异步都可能影响到对Kafka集群的硬件配置和大小的规划

下面会基于之前同样的测试案例，但使用较新的Kafka2.3以及更好的硬件来重新进行测试，以看看新版本的Kafka带来了什么改进。

硬件规格

Kafka2.3性能测试是怎样的

一共6个测试节点，其中3个节点会被作为Kafka Broker，还有三个节点会作为producers / consumers。假设网络带宽是10Gb/s，我们应该能在三个Kafka节点上推送近30Gb/s，在所有6个节点上推送60Gb/s。

为了简化测试，我设置了一些环境变量，这样运行的每个命令都可以重复使用：

BOOTSTRAP=10.0.0.4:9092,10.0.0.5:9092,10.0.0.6:9092

首先，我们需要根据分区数和副本创建各种topic：

kafka-topics --bootstrap-server ${BOOTSTRAP} --create --topic test-rep-one --partitions 6 --replication-factor 1
kafka-topics --bootstrap-server ${BOOTSTRAP} --create --topic test-rep-three --partitions 6 --replication-factor 3
kafka-topics --bootstrap-server ${BOOTSTRAP} --create --topic test-7k --partitions 18 --replication-factor 3

Kafka附带了两个方便的脚本，可用于测试集群：kafka-producer-perf-test和kafka-consumer-perf-test

测试结果

Kafka2.3性能测试是怎样的

上面的这些测试案例与之前Linkedin在2014的测试是一样的。但是由于之前的测试是使用100byte大小的记录完成的，下面我们使用7KB大小的记录来重新测试，并且对Kafka的配置进行一些优化：8GB的heap，更大的batch size，并使用snappy压缩。

7KB记录的测试结果

Kafka2.3性能测试是怎样的

超过每秒100万条消息，每条消息读写7KB。已经达到了万兆网的限制。

测试命令如下：

Test 1:
kafka-producer-perf-test --topic test-rep-one --num-records 50000000 --record-size 100 --throughput -1 --producer-props acks=0 bootstrap.servers=${BOOTSTRAP} 

Test 2:
kafka-producer-perf-test --topic test-rep-three --num-records 50000000 --record-size 100 --throughput -1 --producer-props acks=0 bootstrap.servers=${BOOTSTRAP}

Test 3:
kafka-producer-perf-test --topic test-rep-three --num-records 50000000 --record-size 100 --throughput -1 --producer-props acks=1 bootstrap.servers=${BOOTSTRAP}

Test 4 (run three instances in parallel, one on each node):
kafka-producer-perf-test --topic test-rep-three --num-records 50000000 --record-size 100 --throughput -1 --producer-props acks=0 bootstrap.servers=${BOOTSTRAP}

Test 5:
kafka-consumer-perf-test --broker-list ${BOOTSTRAP} --messages 50000000 --topic test-rep-three --threads 1 --timeout 60000 --print-metrics --num-fetch-threads 6

Test 6 (run three instances in parallel, one on each node):
kafka-consumer-perf-test --broker-list ${BOOTSTRAP} --messages 50000000 --topic test-rep-three --threads 1 --timeout 60000 --print-metrics --num-fetch-threads 6

Test 7 (run a producer on each node, including the Kafka brokers):
kafka-producer-perf-test --topic test-7k --num-records 50000000 --record-size 7168 --throughput -1 --producer-props acks=0 bootstrap.servers=${BOOTSTRAP} linger.ms=100 compression.type=snappy

Test 8 (run a consumer on each node, including the Kafka brokers):
kafka-consumer-perf-test --broker-list ${BOOTSTRAP} --messages 50000000 --topic test-7k --threads 1 --timeout 60000 --print-metrics --num-fetch-threads 18

关于Kafka2.3性能测试是怎样的问题的解答就分享到这里了，希望以上内容可以对大家有一定的帮助，如果你还有很多疑惑没有解开，可以关注创新互联行业资讯频道了解更多相关知识。

本文标题：Kafka2.3性能测试是怎样的
网站地址：http://cqcxhl.cn/article/psoeji.html

重庆分公司，新征程启航

Kafka2.3性能测试是怎样的

其他资讯