<div dir="ltr"><span style="font-size:14px">Hi,</span><div style="font-size:14px"><br></div><div style="font-size:14px">I am new to OFI and I am doing some microbenchmarks.</div><div style="font-size:14px"><br></div><div style="font-size:14px">I measured the execution time of ibv_post_send() in both rping(ping-pong) program and ib_write_lat program. Below is my pseudo code:</div><div style="font-size:14px"><br></div><div style="font-size:14px">clock_gettime(); // start</div><div style="font-size:14px">ibv_post_send();</div><div style="font-size:14px">clock_gettime(); // end<br></div><div style="font-size:14px"><br></div><div style="font-size:14px">Specifically, I measured IBV_WR_RDMA_WRITE operation using the same data size in Reliable Connection (RC) mode.</div><div style="font-size:14px"><br></div><div style="font-size:14px">And the result shows each ibv_post_send() in rping takes around 170~180 nanoseconds to return, but in ib_write_lat program it only takes around 60 nanoseconds to return in average.</div><div style="font-size:14px">I suspected that this is caused by memalign of the sent buffer in ib_write_lat. But after I changed the rdma sent buffer in rping to be also memory aligned, it still takes around 170 nanoseconds.</div><div style="font-size:14px"><br></div><div style="font-size:14px">May I know what caused this difference?</div><div style="font-size:14px"><br></div><div style="font-size:14px">Many thank in advance.</div></div>