<div dir="ltr">Thanks, Arun, will try this. This happens with multiple connections, though. The program works when there is a small number of nodes sending data. For example, for 4 nodes it works. For 8 Nodes one or two QP's become slow.<div><br></div><div>Supun..</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Mar 21, 2017 at 3:26 PM, Ilango, Arun <span dir="ltr"><<a href="mailto:arun.ilango@intel.com" target="_blank">arun.ilango@intel.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi Supun,<br>
<br>
I tried to reproduce the issue but I'm not hitting it. I have modified fabtests bandwidth test to read multiple completions (=window_size) at a time on the receive side. I have the patch on the following branch:<br>
<a href="https://github.com/a-ilango/fabtests/tree/comp_debug" rel="noreferrer" target="_blank">https://github.com/a-ilango/<wbr>fabtests/tree/comp_debug</a><br>
<br>
I'm using fi_cq_read. Please try out fi_msg_bw and see if you get the issue.<br>
<br>
Thanks,<br>
Arun.<br>
<div class="HOEnZb"><div class="h5"><br>
-----Original Message-----<br>
From: Libfabric-users [mailto:<a href="mailto:libfabric-users-bounces@lists.openfabrics.org">libfabric-users-<wbr>bounces@lists.openfabrics.org</a>] On Behalf Of Ilango, Arun<br>
Sent: Tuesday, March 21, 2017 11:07 AM<br>
To: Hefty, Sean <<a href="mailto:sean.hefty@intel.com">sean.hefty@intel.com</a>>; Supun Kamburugamuve <<a href="mailto:skamburugamuve@gmail.com">skamburugamuve@gmail.com</a>><br>
Cc: <a href="mailto:libfabric-users@lists.openfabrics.org">libfabric-users@lists.<wbr>openfabrics.org</a><br>
Subject: Re: [libfabric-users] Verbs send message slow down<br>
<br>
This might need some debugging. In the verbs provider, we call ibv_poll_cq with num_entries set to 1 and repeatedly call it when the app has requested multiple completions. I'm not sure if this is the issue but let me check.<br>
<br>
-Arun.<br>
<br>
-----Original Message-----<br>
From: Libfabric-users [mailto:<a href="mailto:libfabric-users-bounces@lists.openfabrics.org">libfabric-users-<wbr>bounces@lists.openfabrics.org</a>] On Behalf Of Hefty, Sean<br>
Sent: Tuesday, March 21, 2017 10:53 AM<br>
To: Supun Kamburugamuve <<a href="mailto:skamburugamuve@gmail.com">skamburugamuve@gmail.com</a>><br>
Cc: <a href="mailto:libfabric-users@lists.openfabrics.org">libfabric-users@lists.<wbr>openfabrics.org</a><br>
Subject: Re: [libfabric-users] Verbs send message slow down<br>
<br>
> I found a workaround to the problem. Previously I was doing cq_read<br>
> for multiple completions. If I do cq_read for a single completion the<br>
> problem goes away. Is this the expected behavior or something wrong<br>
> with my program or a bug in libfabric?<br>
<br>
This is not expected behavior.  Something else is going goofy here.<br>
______________________________<wbr>_________________<br>
Libfabric-users mailing list<br>
<a href="mailto:Libfabric-users@lists.openfabrics.org">Libfabric-users@lists.<wbr>openfabrics.org</a><br>
<a href="http://lists.openfabrics.org/mailman/listinfo/libfabric-users" rel="noreferrer" target="_blank">http://lists.openfabrics.org/<wbr>mailman/listinfo/libfabric-<wbr>users</a><br>
______________________________<wbr>_________________<br>
Libfabric-users mailing list<br>
<a href="mailto:Libfabric-users@lists.openfabrics.org">Libfabric-users@lists.<wbr>openfabrics.org</a><br>
<a href="http://lists.openfabrics.org/mailman/listinfo/libfabric-users" rel="noreferrer" target="_blank">http://lists.openfabrics.org/<wbr>mailman/listinfo/libfabric-<wbr>users</a><br>
</div></div></blockquote></div><br></div>