
<html>

<head>

<meta http-equiv="Content-Type" content="text/html; charset=us-ascii">

</head>

<body dir="auto">

<div>Hi Cheng,</div>

<div id="AppleMailSignature"><br>

</div>

<div id="AppleMailSignature">Your question is about libibverbs but this list is for libfabric. Perhaps someone else on this list knows the appropriate venue for your question. <br>

<br>

-Dave</div>

<div><br>

On Sep 2, 2016, at 11:57 PM, Cheng Wang <<a href="mailto:wangchenghku@gmail.com">wangchenghku@gmail.com</a>> wrote:<br>

<br>

</div>

<blockquote type="cite">

<div>

<div dir="ltr"><span style="font-size:14px">Hi,</span>

<div style="font-size:14px"><br>

</div>

<div style="font-size:14px">I am new to OFI and I am doing some microbenchmarks.</div>

<div style="font-size:14px"><br>

</div>

<div style="font-size:14px">I measured the execution time of ibv_post_send() in both rping(ping-pong) program and ib_write_lat program. Below is my pseudo code:</div>

<div style="font-size:14px"><br>

</div>

<div style="font-size:14px">clock_gettime(); // start</div>

<div style="font-size:14px">ibv_post_send();</div>

<div style="font-size:14px">clock_gettime(); // end<br>

</div>

<div style="font-size:14px"><br>

</div>

<div style="font-size:14px">Specifically, I measured IBV_WR_RDMA_WRITE operation using the same data size in Reliable Connection (RC) mode.</div>

<div style="font-size:14px"><br>

</div>

<div style="font-size:14px">And the result shows each ibv_post_send() in rping takes around 170~180 nanoseconds to return, but in ib_write_lat program it only takes around 60 nanoseconds to return in average.</div>

<div style="font-size:14px">I suspected that this is caused by memalign of the sent buffer in ib_write_lat. But after I changed the rdma sent buffer in rping to be also memory aligned, it still takes around 170 nanoseconds.</div>

<div style="font-size:14px"><br>

</div>

<div style="font-size:14px">May I know what caused this difference?</div>

<div style="font-size:14px"><br>

</div>

<div style="font-size:14px">Many thank in advance.</div>

</div>

</div>

</blockquote>

<blockquote type="cite">

<div><span>_______________________________________________</span><br>

<span>Libfabric-users mailing list</span><br>

<span><a href="mailto:Libfabric-users@lists.openfabrics.org">Libfabric-users@lists.openfabrics.org</a></span><br>

<span><a href="http://lists.openfabrics.org/mailman/listinfo/libfabric-users">http://lists.openfabrics.org/mailman/listinfo/libfabric-users</a></span><br>

</div>

</blockquote>

</body>

</html>