io_adapter_benchmark

更新时间：2024-11-26 23:00:00

io_adapter_benchmark 命令用于验证 OBServer 节点到备份介质的读写性能。本文主要介绍 io_adapter_benchmark 命令的几种用法。

命令介绍

您可在 io_adapter_benchmark 命令中配置 -h 输出命令的使用介绍。

./ob_admin io_adapter_benchmark -h

输出如下：

Usage: io_adapter_benchmark command [command args] [options]
commands:
    -h, --help                    display this message.
options:
    -d  测试目录
    -s  对象存储校验信息
    -t  并发线程数 
    -r  单个线程执行任务的次数
    -l  总的运行时间限制
    -o  对象大小
    -n  对象数量
    -f  对于read操作，-f选项指定单次读取的数据大小；对于append/multipart write操作，-f选项指定单次写入的数据大小
    -p  任务类型
    -j  该参数用于表明备份介质目录类型，由于备份介质S3/OBS的目录结构有变更，所以某些操作需要指明备份介质类型
    -b  在执行任务前是否清理目录，-b 'true'表示清理目录，不设置该参数表示不清理
    -c  在任务完成后是否清理目录，-c 'true'表示清理目录，不设置该参数表示不清理

其中，任务类型（-p）有如下几种取值：

write：表示写普通文件，每个线程会在一个单独的目录下写入。
append：表示追加写文件。
multi：表示分片上传。
read：表示读取文件，必须先写入数据才可以执行 read 任务。
del：表示删除数据，每个线程删除一个单独目录下的数据，设置的线程数需等于写入时设置的线程数。

示例

写普通文件

./ob_admin io_adapter_benchmark -d 'oss://oss_bucket/test_path' \
                              -s 'host=xxx.com&access_id=111&access_key=222' \
                              -o 100 \  # 对象大小设置为 100 字节
                              -t 4   \  # 4 线程并行
                              -r 10  \  # 单个线程写入的对象数量上限为 10 个
                              -j 100 \  # 执行的时间上限为 100s
                              -p 'write' \
                              -b 'true'   \  # 写入前清理目录，可选
                              -c 'true'   \  # 执行完成后清理目录，可选

上述命令会在 oss_bucket/test_path 目录下执行写普通文件的性能测试，并在真正写入前清空 test_path 目录（-b 'true' 指定）。清空目录后，将通过四个线程（-t 4 指定）并发向该目录写入对象，每个对象大小为 100 字节（-o 100 指定），直到每个线程写入 10 个对象（-r 10 指定）或执行的总时间达到上限（100s，-j 100 指定）后停止写入。测试完成后会清空目录（-c 'true' 指定）。

命令执行后输出如下：

succ to open, filename=/tmp/ob_admin.log, fd=3, wf_fd=2
succ to open, filename=/tmp/ob_admin_rs.log, fd=4, wf_fd=2
|                   Task Config|{thread_num:4, max_task_runs:100, time_limit_s:-1, obj_size:2097152, obj_num:-1, fragment_size:-1, is_adaptive:false, type:0}
------------------------------{Testing}------------------------------
|                        Status|SUCCESS                       
|           Total operation num|400                           
|          Total execution time|16.373251 s                   
|               Total user time|6.110431 s                    
|             Total system time|0.410841 s                    
|      CPU usage for 100MB/s BW|81.515900% per 100MB/s        
|        Total throughput bytes|838860800                     
|                     Total QPS|24.430090                     
|                Per Thread QPS|6.107523                      
|                      Total BW|48.860181 MB/s                
|                 Per Thread BW|12.215045 MB/s                
|             Total Op Time Map|total_entry=400, min_ms=99, th_50_ms=113, th_90_ms=253, th_99_ms=400, th_999_ms=452, max_ms=928
|                 Open Time Map|Empty Time Map                
|             Close Op Time Map|Empty Time Map

追加写文件

./ob_admin io_adapter_benchmark -d 'oss://home/admin/backup_info' \
                              -s 'host=xxx.com&access_id=111&access_key=222' \
                              -o 100 \  # 对象大小设置为 100 字节
                              -t 4   \  # 4 线程并行
                              -r 10  \  # 单个线程写入的对象数量上限为 10 个
                              -p 'append' \
                              -f 10  \ # 写入一个对象时，每次 append 10 字节，即 append 10 次后完成一个对象（此例中为 100 字节）的写入

命令执行后输出如下：

succ to open, filename=/tmp/ob_admin.log, fd=3, wf_fd=2
succ to open, filename=/tmp/ob_admin_rs.log, fd=4, wf_fd=2
|                   Task Config|{thread_num:4, max_task_runs:10, time_limit_s:-1, obj_size:2097152, obj_num:-1, fragment_size:1048576, is_adaptive:false, type:1}
------------------------------{Testing}------------------------------
|                        Status|SUCCESS                       
|           Total operation num|40                            
|          Total execution time|5.685847 s                    
|               Total user time|0.776306 s                    
|             Total system time|0.073172 s                    
|      CPU usage for 100MB/s BW|106.184750% per 100MB/s       
|        Total throughput bytes|83886080                      
|                     Total QPS|7.035012                      
|                Per Thread QPS|1.758753                      
|                      Total BW|14.070023 MB/s                
|                 Per Thread BW|3.517506 MB/s                 
|             Total Op Time Map|total_entry=40, min_ms=364, th_50_ms=419, th_90_ms=704, th_99_ms=754, th_999_ms=754, max_ms=963
|                 Open Time Map|total_entry=40, min_ms=0, th_50_ms=3, th_90_ms=3, th_99_ms=3, th_999_ms=3, max_ms=3
|             Close Op Time Map|total_entry=40, min_ms=103, th_50_ms=112, th_90_ms=123, th_99_ms=124, th_999_ms=124, max_ms=125

分片上传

./ob_admin io_adapter_benchmark -d 'oss://home/admin/backup_info' \
                              -s 'host=xxx.com&access_id=111&access_key=222' \
                              -o 100 \  # 对象大小设置为 100 字节
                              -t 4   \  # 4 线程并行
                              -r 10  \  # 单个线程写入的对象数量上限为 10 个
                              -p 'multi' \
                              -f 10  \  # 单次写入的大小为 10 字节，相当于一个对象（此例中为 100 字节）包含 10 次写入操作

对于目前对象存储的分片上传实现来说，每个 part 聚合到 8MB 后才会真正写入一个分片，即写入次数不等于 part 数。

命令执行后输出如下：

succ to open, filename=/tmp/ob_admin.log, fd=3, wf_fd=2
succ to open, filename=/tmp/ob_admin_rs.log, fd=4, wf_fd=2
|                   Task Config|{thread_num:4, max_task_runs:10, time_limit_s:-1, obj_size:2097152, obj_num:-1, fragment_size:1048576, is_adaptive:false, type:2}
------------------------------{Testing}------------------------------
|                        Status|SUCCESS                       
|           Total operation num|40                            
|          Total execution time|7.135682 s                    
|               Total user time|0.765570 s                    
|             Total system time|0.095029 s                    
|      CPU usage for 100MB/s BW|107.574875% per 100MB/s       
|        Total throughput bytes|83886080                      
|                     Total QPS|5.605631                      
|                Per Thread QPS|1.401408                      
|                      Total BW|11.211262 MB/s                
|                 Per Thread BW|2.802815 MB/s                 
|             Total Op Time Map|total_entry=40, min_ms=314, th_50_ms=411, th_90_ms=762, th_99_ms=833, th_999_ms=833, max_ms=1002
|                 Open Time Map|total_entry=40, min_ms=43, th_50_ms=50, th_90_ms=57, th_99_ms=99, th_999_ms=99, max_ms=102
|             Close Op Time Map|total_entry=40, min_ms=269, th_50_ms=357, th_90_ms=708, th_99_ms=781, th_999_ms=781, max_ms=900

读取文件

ob_admin io_adapter_benchmark -d 'oss://home/admin/backup_info' \
                              -s 'host=xxx.com&access_id=111&access_key=222' \
                              -o 100  \  # 对象大小设置为 100 字节
                              -t 4    \  # 4 线程并行
                              -r 10   \  # 单个线程执行的 read 操作上限为 10 个
                              -p 'read' \
                              -f 10   \  # 单次 read 操作的读取数据大小，表示随机读取 10 字节数据
                                      \   # 如果需要读取完整对象，可以设置 -f'obj_size'
                              -j 1    \  # 如果备份目录是 S3/OBS 格式，需要设置 -j'1'
                              -n 10  \  # 数据写入时，单个线程写入的对象数为 10

执行如上命令时需注意，必须先写入数据才能执行读取任务，使用 -n 选项指定之前每个线程已写入的对象数（写入任务命令中 -r 对应数值），并行数（-t）不能大于写入数据时指定的并行数。

说明

若已执行多个写入命令，以读取命令中 -d 指定的对应目录下最近的写入命令为准，即 -n 和 -r 都需要参照对应命令进行设置。

命令执行后输出如下：

succ to open, filename=/tmp/ob_admin.log, fd=3, wf_fd=2
succ to open, filename=/tmp/ob_admin_rs.log, fd=4, wf_fd=2
|                   Task Config|{thread_num:4, max_task_runs:20, time_limit_s:-1, obj_size:2097152, obj_num:10, fragment_size:1048576, is_adaptive:true, type:3}
------------------------------{Testing}------------------------------
|                        Status|SUCCESS                       
|           Total operation num|80                            
|          Total execution time|2.970364 s                    
|               Total user time|0.289431 s                    
|             Total system time|0.217354 s                    
|      CPU usage for 100MB/s BW|63.348125% per 100MB/s        
|        Total throughput bytes|83886080                      
|                     Total QPS|26.932726                     
|                Per Thread QPS|6.733182                      
|                      Total BW|26.932726 MB/s                
|                 Per Thread BW|6.733182 MB/s                 
|             Total Op Time Map|total_entry=80, min_ms=114, th_50_ms=132, th_90_ms=164, th_99_ms=356, th_999_ms=356, max_ms=389
|                 Open Time Map|Empty Time Map                
|             Close Op Time Map|Empty Time Map

删除数据

ob_admin io_adapter_benchmark -d 'oss://home/admin/backup_info' \
                              -s 'host=xxx.com&access_id=111&access_key=222' \
                              -t 4     \  # 4 线程并行
                              -p 'del' \
                              -j 1     \ # 如果备份目录是 S3/OBS 格式，需要设置 -j '1'
                              -r 10    \ # 必须等于写入时指定的写入数量

执行如上命令时需注意，每个线程删除一个单独目录下的数据，所以设置的线程数（-t）需要等于写入时设置的并行数。

说明

若已执行多个写入命令，以读取命令中 -d 指定的对应目录下最近的写入命令为准，即 -t 和 -r 都需要参照对应命令进行设置。

命令执行后输出如下：

succ to open, filename=/tmp/ob_admin.log, fd=3, wf_fd=2
succ to open, filename=/tmp/ob_admin_rs.log, fd=4, wf_fd=2
|                   Task Config|{thread_num:4, max_task_runs:20, time_limit_s:-1, obj_size:-1, obj_num:-1, fragment_size:-1, is_adaptive:true, type:4}
------------------------------{Testing}------------------------------
|                        Status|SUCCESS                       
|           Total operation num|80                            
|          Total execution time|2.136603 s                    
|               Total user time|0.155563 s                    
|             Total system time|0.014127 s                    
|               Total CPU usage|7.942046%                     
|        Total throughput bytes|0                             
|                     Total QPS|37.442613                     
|                Per Thread QPS|9.360653                      
|                      Total BW|0.000000 MB/s                 
|                 Per Thread BW|0.000000 MB/s                 
|             Total Op Time Map|total_entry=80, min_ms=77, th_50_ms=94, th_90_ms=105, th_99_ms=159, th_999_ms=159, max_ms=166
|                 Open Time Map|Empty Time Map                
|             Close Op Time Map|Empty Time Map