压测ESSD云盘性能的方法

建站服务器

这篇文章主要介绍压测ESSD云盘性能的方法，文中介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们一定要看完！

如何压测 ESSD 云盘的性能

ESSD 云盘，又称增强型（Enhanced） SSD 云盘，是阿里云全新推出的超高性能的云盘产品。由于压测云盘的性能时，云盘本身以及压测条件都起着重要的作用，因此本文提供了如何配置合适的条件压测 ESSD 云盘性能的示例，并测试出 100 万 IOPS。

警告：

测试裸盘可以获得真实的块存储盘性能，但直接测试裸盘会破坏文件系统结构，请在测试前提前做好数据备，例如，创建磁盘快照。建议您只在新购无数据的 ECS 实例上使用工具测试块存储性能，避免造成数据丢失。

准备工作

为了充分发挥出多核多并发的系统性能，压测出 100 万 IOPS 性能指标，您可以参阅以下建议测试 ESSD 云盘的性能。

镜像推荐

您可以使用阿里云官方 镜像 中高版本的 Linux 镜像版本。例如，CentOS 7.4/7.3/7.2 64 位和 AliyunLinux 17.1 64 位操作系统。由于对应的驱动还不够完善，不推荐使用其他低版本的 Linux 镜像和 Windows 镜像。

工具推荐

您可以使用 FIO 作为云盘性能标准的测试工具。

实例规格推荐

目前只有存储增强型 g5se 实例规格族支持挂载 ESSD 云盘，您需要 申请 加入使用存储增强型 g5se 实例规格族白名单。申请审核完成后，您便可以同时选购存储增强型 g5se 实例规格族和 ESSD 云盘。

操作示例

以实例规格 ecs.g5se.18xlarge 为例，同时 ESSD 云盘的设备名为 /dev/vdb，示范通过随机写（randwrite）测试 ESSD 云盘的性能。

远程连接 并登录到 Linux 实例。

运行以下命令安装 libaio 和 FIO。

sudo yum install libaio –y
sudo yum install libaio-devel –y
sudo yum install fio -y

运行 cd /tmp 切换路径。

运行 vim test100w.sh 新建脚本文件，并粘贴以下内容，脚本为随机写 randwrite IOPS 性能测试示例。

function RunFio
{
 numjobs=$1  # 实例中的测试线程数，如示例中的 8
 iodepth=$2  # 同时发出I/O数的上限，如示例中的 64
 bs=$3       # 单次I/O的块文件大小，如示例中的 4K
 rw=$4       # 测试时的读写策略，如示例中的 randwrite
 filename=$5 # 指定测试文件的名称，如示例中的 /dev/vdb
 nr_cpus=`cat /proc/cpuinfo |grep "processor" |wc -l`
 if [ $nr_cpus -lt $numjobs ];then
     echo "Numjobs is more than cpu cores, exit!"
     exit -1
 fi
 let nu=$numjobs+1
 cpulist=""
 for ((i=1;i<10;i++))
 do
     list=`cat /sys/block/vdb/mq/*/cpu_list | awk '{if(i<=NF) print $i;}' i="$i" | tr -d ',' | tr '\\n' ','`
     if [ -z $list ];then
         break
     fi
     cpulist=${cpulist}${list}
 done
 spincpu=`echo $cpulist | cut -d ',' -f 2-${nu}`
 echo $spincpu
 fio --ioengine=libaio --runtime=30s --numjobs=${numjobs} --iodepth=${iodepth} --bs=${bs} --rw=${rw} --filename=${filename} --time_based=1 --direct=1 --name=test --group_reporting --cpus_allowed=$spincpu --cpus_allowed_policy=split
}
echo 2 > /sys/block/vdb/queue/rq_affinity
sleep 5
RunFio 8 64 '4k' 'randwrite' '/dev/vdb'

注意：

因测试环境而异，脚本中您需要修改的命令行有：

命令行 list=cat /sys/block/vdb/mq/*/cpu_list | awk '{if(i<=NF) print $i;}' i="$i" | tr -d ',' | tr '\\n' ',' 中的 vdb。

命令行 RunFio 8 64 '4k' 'randwrite' '/dev/vdb' 中的 8、64、4k、randwrite 和 /dev/vdb。

直接测试裸盘会破坏文件系统结构，如果云盘上的数据丢失不影响业务，可以设置 filename=[设备名，如本示例中的/dev/vdb]。否则，请设置为 filename=[具体的文件路径，比如/mnt/test.image]。

运行 sh test100w.sh 开始测试 ESSD 云盘性能。

脚本解读

块设备参数

测试实例时，脚本 test100w.sh 中的命令echo 2 > /sys/block/vdb/queue/rq_affinity 是将 ECS 实例中的块设备中的参数 rq_affinity 值修改为 2：

参数 rq_affinity 的值为 1 时，表示块设备收到 I/O 完成（I/O Completion）的事件时，这个 I/O 被发送回处理这个 I/O 下发流程的 vCPU 所在 Group 上处理。在多线程并发的情况下，I/O Completion 就可能集中在某一个 vCPU 上执行，这样会造成瓶颈，导致性能无法提升。

参数 rq_affinity 的值为 2 时，表示块设备收到 I/O Completion 的事件时，这个 I/O 会在当初下发的 vCPU 上执行。在多线程并发的情况下，就可以完全充分发挥各个 vCPU 的性能。

绑定对应的 vCPU

普通模式下，一个设备（Device）只有一个请求列表（Request-Queue）。在多线程并发处理 I/O 的情况下，这个唯一的 Request-Queue 就是一个性能瓶颈点。

最新的多队列（Multi-Queue）模式下，一个设备（Device）可以拥有多个处理 I/O 的 Request-Queue，可以充分发挥后端存储的性能。如果您有 4 个 I/O 线程，您需要将 4 个线程分别绑定在不同的 Request-Queue 对应的 CPU Core 上，这样就可以充分利用 Multi-Queue 提升性能。

为了充分发挥设备（Device）的性能，需要将 I/O 线程分发到不同的 Request-Queue 上处理。脚本 test100w.sh 中通过 fio --ioengine=libaio --runtime=30s --numjobs=${numjobs} --iodepth=${iodepth} --bs=${bs} --rw=${rw} --filename=${filename} --time_based=1 --direct=1 --name=test --group_reporting --cpus_allowed=$spincpu --cpus_allowed_policy=split 分别将几个 jobs 绑定不同的 CPU Core 上，其中 vd* 为您的云盘设备名，例如，/dev/vdb。

FIO 提供了参数 cpus_allowed 以及 cpus_allowed_policy 用来绑定 vCPU。以上命令一共运行了几个 jobs，分别绑定在几个 CPU Core上，分别对应着不同的 Queue_Id。

关于如何查看 Queue_Id 绑定的 cpu_core_id，您可以：

运行 ls /sys/block/vd*/mq/ 查看设备名为 vd* 云盘的 Queue_Id，例如 vdb。

运行 cat /sys/block/vd*/mq/*/cpu_list 查看对应设备名为 vd* 云盘的 Queue_* 绑定到的 cpu_core_id。

以上是压测ESSD云盘性能的方法的所有内容，感谢各位的阅读！希望分享的内容对大家有帮助，更多相关知识，欢迎关注创新互联行业资讯频道！