<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<meta name="Generator" content="Microsoft Word 15 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0in;
        margin-bottom:.0001pt;
        font-size:12.0pt;
        font-family:"Times New Roman",serif;}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:blue;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:purple;
        text-decoration:underline;}
p
        {mso-style-priority:99;
        mso-margin-top-alt:auto;
        margin-right:0in;
        mso-margin-bottom-alt:auto;
        margin-left:0in;
        font-size:12.0pt;
        font-family:"Times New Roman",serif;}
span.EmailStyle18
        {mso-style-type:personal-reply;
        font-family:"Calibri",sans-serif;
        color:#1F497D;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-size:10.0pt;
        font-family:"Calibri",sans-serif;}
@page WordSection1
        {size:8.5in 11.0in;
        margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
        {page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
</head>
<body lang="EN-US" link="blue" vlink="purple">
<div class="WordSection1">
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1F497D">Okay. I’ll try to reproduce the issue with multiple endpoints each having their own CQs. If you have any code snippet / reproducer that would be helpful.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1F497D"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1F497D">Thanks,<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1F497D">Arun.<o:p></o:p></span></p>
<p class="MsoNormal"><a name="_MailEndCompose"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1F497D"><o:p> </o:p></span></a></p>
<p class="MsoNormal"><a name="_____replyseparator"></a><b><span style="font-size:11.0pt;font-family:"Calibri",sans-serif">From:</span></b><span style="font-size:11.0pt;font-family:"Calibri",sans-serif"> Supun Kamburugamuve [mailto:skamburugamuve@gmail.com]
<br>
<b>Sent:</b> Tuesday, March 21, 2017 6:58 PM<br>
<b>To:</b> Ilango, Arun <arun.ilango@intel.com><br>
<b>Cc:</b> Hefty, Sean <sean.hefty@intel.com>; libfabric-users@lists.openfabrics.org<br>
<b>Subject:</b> Re: [libfabric-users] Verbs send message slow down<o:p></o:p></span></p>
<p class="MsoNormal"><o:p> </o:p></p>
<div>
<p class="MsoNormal">I use a separate CQ for each endpoint.<o:p></o:p></p>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">Thanks,<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">Supun..<o:p></o:p></p>
</div>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
<div>
<p class="MsoNormal">On Tue, Mar 21, 2017 at 5:03 PM, Ilango, Arun <<a href="mailto:arun.ilango@intel.com" target="_blank">arun.ilango@intel.com</a>> wrote:<o:p></o:p></p>
<blockquote style="border:none;border-left:solid #CCCCCC 1.0pt;padding:0in 0in 0in 6.0pt;margin-left:4.8pt;margin-top:5.0pt;margin-right:0in;margin-bottom:5.0pt">
<div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1F497D">I see. Do you use a common CQ or a CQ per endpoint? We do have a lock in the CQ to serialize access
 to it.</span><o:p></o:p></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1F497D"> </span><o:p></o:p></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1F497D">-Arun.</span><o:p></o:p></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><a name="m_8747884564277293854__MailEndCompose"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1F497D"> </span></a><o:p></o:p></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><a name="m_8747884564277293854______replyseparato"></a><b><span style="font-size:11.0pt;font-family:"Calibri",sans-serif">From:</span></b><span style="font-size:11.0pt;font-family:"Calibri",sans-serif">
 Supun Kamburugamuve [mailto:</span><a href="mailto:skamburugamuve@gmail.com" target="_blank"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif">skamburugamuve@gmail.com</span></a><span style="font-size:11.0pt;font-family:"Calibri",sans-serif">]
<br>
<b>Sent:</b> Tuesday, March 21, 2017 1:07 PM<br>
<b>To:</b> Ilango, Arun <</span><a href="mailto:arun.ilango@intel.com" target="_blank"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif">arun.ilango@intel.com</span></a><span style="font-size:11.0pt;font-family:"Calibri",sans-serif">><br>
<b>Cc:</b> Hefty, Sean <</span><a href="mailto:sean.hefty@intel.com" target="_blank"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif">sean.hefty@intel.com</span></a><span style="font-size:11.0pt;font-family:"Calibri",sans-serif">>;
</span><a href="mailto:libfabric-users@lists.openfabrics.org" target="_blank"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif">libfabric-users@lists.openfabrics.org</span></a><o:p></o:p></p>
<div>
<div>
<p class="MsoNormal"><br>
<b>Subject:</b> Re: [libfabric-users] Verbs send message slow down<o:p></o:p></p>
</div>
</div>
<div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"> <o:p></o:p></p>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto">Thanks, Arun, will try this. This happens with multiple connections, though. The program works when there is a small number of nodes sending data. For example, for 4 nodes it works.
 For 8 Nodes one or two QP's become slow.<o:p></o:p></p>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"> <o:p></o:p></p>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto">Supun..<o:p></o:p></p>
</div>
</div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"> <o:p></o:p></p>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto">On Tue, Mar 21, 2017 at 3:26 PM, Ilango, Arun <<a href="mailto:arun.ilango@intel.com" target="_blank">arun.ilango@intel.com</a>> wrote:<o:p></o:p></p>
<blockquote style="border:none;border-left:solid #CCCCCC 1.0pt;padding:0in 0in 0in 6.0pt;margin-left:4.8pt;margin-top:5.0pt;margin-right:0in;margin-bottom:5.0pt">
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto">Hi Supun,<br>
<br>
I tried to reproduce the issue but I'm not hitting it. I have modified fabtests bandwidth test to read multiple completions (=window_size) at a time on the receive side. I have the patch on the following branch:<br>
<a href="https://github.com/a-ilango/fabtests/tree/comp_debug" target="_blank">https://github.com/a-ilango/fabtests/tree/comp_debug</a><br>
<br>
I'm using fi_cq_read. Please try out fi_msg_bw and see if you get the issue.<br>
<br>
Thanks,<br>
Arun.<o:p></o:p></p>
<div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><br>
-----Original Message-----<br>
From: Libfabric-users [mailto:<a href="mailto:libfabric-users-bounces@lists.openfabrics.org" target="_blank">libfabric-users-bounces@lists.openfabrics.org</a>] On Behalf Of Ilango, Arun<br>
Sent: Tuesday, March 21, 2017 11:07 AM<br>
To: Hefty, Sean <<a href="mailto:sean.hefty@intel.com" target="_blank">sean.hefty@intel.com</a>>; Supun Kamburugamuve <<a href="mailto:skamburugamuve@gmail.com" target="_blank">skamburugamuve@gmail.com</a>><br>
Cc: <a href="mailto:libfabric-users@lists.openfabrics.org" target="_blank">libfabric-users@lists.openfabrics.org</a><br>
Subject: Re: [libfabric-users] Verbs send message slow down<br>
<br>
This might need some debugging. In the verbs provider, we call ibv_poll_cq with num_entries set to 1 and repeatedly call it when the app has requested multiple completions. I'm not sure if this is the issue but let me check.<br>
<br>
-Arun.<br>
<br>
-----Original Message-----<br>
From: Libfabric-users [mailto:<a href="mailto:libfabric-users-bounces@lists.openfabrics.org" target="_blank">libfabric-users-bounces@lists.openfabrics.org</a>] On Behalf Of Hefty, Sean<br>
Sent: Tuesday, March 21, 2017 10:53 AM<br>
To: Supun Kamburugamuve <<a href="mailto:skamburugamuve@gmail.com" target="_blank">skamburugamuve@gmail.com</a>><br>
Cc: <a href="mailto:libfabric-users@lists.openfabrics.org" target="_blank">libfabric-users@lists.openfabrics.org</a><br>
Subject: Re: [libfabric-users] Verbs send message slow down<br>
<br>
> I found a workaround to the problem. Previously I was doing cq_read<br>
> for multiple completions. If I do cq_read for a single completion the<br>
> problem goes away. Is this the expected behavior or something wrong<br>
> with my program or a bug in libfabric?<br>
<br>
This is not expected behavior.  Something else is going goofy here.<br>
_______________________________________________<br>
Libfabric-users mailing list<br>
<a href="mailto:Libfabric-users@lists.openfabrics.org" target="_blank">Libfabric-users@lists.openfabrics.org</a><br>
<a href="http://lists.openfabrics.org/mailman/listinfo/libfabric-users" target="_blank">http://lists.openfabrics.org/mailman/listinfo/libfabric-users</a><br>
_______________________________________________<br>
Libfabric-users mailing list<br>
<a href="mailto:Libfabric-users@lists.openfabrics.org" target="_blank">Libfabric-users@lists.openfabrics.org</a><br>
<a href="http://lists.openfabrics.org/mailman/listinfo/libfabric-users" target="_blank">http://lists.openfabrics.org/mailman/listinfo/libfabric-users</a><o:p></o:p></p>
</div>
</div>
</blockquote>
</div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"> <o:p></o:p></p>
</div>
</div>
</div>
</div>
</div>
</blockquote>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
</div>
</body>
</html>