<div dir="ltr"><div><div>Hi all,<br></div></div>Recently i came over
 qferf as i'm looking for RDMA benchmark/test tools to 
test/measure/study RoCE using 2 Mellanox ConnectX-3 (MCX354A-FCBT) that are 
connected back-to-back on 2 physical servers. Using the following OFED 
stack:<br>[root@compute7 qperf]# ofed_info -s<br><b>MLNX_OFED_LINUX-4.1-1.0.2.0:</b><br><br>In my attempt to run qperf on my systems, i encounter the following issues:<br><br><div>[root@compute8 scripts]# qperf -vv  compute7 rc_rdma_write_bw<br>rc_rdma_write_bw:<br><b>failed to modify QP to RTR: Network is unreachable</b><br><b>server: failed to modify QP to RTR: Network is unreachable</b><br>[root@compute8 scripts]# qperf -vv  compute7 uc_lat<br>uc_lat:<br><b>failed to modify QP to RTR: Network is unreachable</b><br>[root@compute8 scripts]# qperf -vv  compute7 tcp_lat<br>tcp_lat:<br>    latency          =    45.8 us<br>    msg_rate         =    21.8 K/sec<br>    msg_size         =       1 bytes<br>    time             =       2 sec<br>    timeout          =       5 sec<br>    loc_cpus_used    =      10 % cpus<br>    loc_cpus_user    =     0.5 % cpus<br>    loc_cpus_intr    =       2 % cpus<br>    loc_cpus_kernel  =     7.5 % cpus<br>    loc_real_time    =       2 sec<br>    loc_cpu_time     =     200 ms<br>    loc_send_bytes   =    21.8 KB<br>    loc_recv_bytes   =    21.8 KB<br>    loc_send_msgs    =  21,815 <br>    loc_recv_msgs    =  21,814 <br>    rem_cpus_used    =      10 % cpus<br>    rem_cpus_user    =     0.5 % cpus<br>    rem_cpus_intr    =       1 % cpus<br>    rem_cpus_kernel  =     8.5 % cpus<br>    rem_real_time    =       2 sec<br>    rem_cpu_time     =     200 ms<br>    rem_send_bytes   =    21.8 KB<br>    rem_recv_bytes   =    21.8 KB<br>    rem_send_msgs    =  21,815 <br>    rem_recv_msgs    =  21,815 <br>[root@compute8 scripts]# qperf -t 10 --use_bits_per_sec  compute7 tcp_bw<br>tcp_bw:<br>    bw  =  9.14 Gb/sec<br><br></div><div>I.e
 none of the RDMA related tests work, all come with errors. The version 
of qperf is 4.9 that's shipping with CentOS 7.3. I've also built the 
recent version, 4.10, from github and i experience the same issue. 
During the build, i noticed the configure script detected the RDMA libs 
so i do believe that's not the issue.<br></div><div><br></div><div>Am i doing something wrong? Can someone shed some lights? <br></div><div><br><br></div>Thanks!<div class="gmail_extra"><br><br clear="all"><br>-- <br><div class="gmail_signature"><div dir="ltr"><br>Susinthiran Sithamparanathan</div></div>
</div></div>