<div dir="ltr">Hi John,<div><br></div><div>What capabilities are being used? Are FI_RMA and FI_READ set on both the initiating and target endpoint? To do this set:</div><div>hints->caps |= FI_RMA | FI_READ;</div><div><br></div><div>before calling fi_getinfo.</div><div><br></div><div>The fi_getinfo, fi_cq, and fi_endpoint man pages have more information about what the FI_RMA and FI_READ flags do when set.</div><div><br></div><div>Thanks,</div><div>Evan<br><div class="gmail_extra"><br><div class="gmail_quote">On Fri, Mar 10, 2017 at 6:34 AM, Biddiscombe, John A. <span dir="ltr"><<a href="mailto:biddisco@cscs.ch" target="_blank">biddisco@cscs.ch</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">







<div bgcolor="white" lang="EN-GB" link="blue" vlink="purple">
<div class="m_-2914426619537138661m_5782050384643741653WordSection1">
<p class="MsoNormal"><span style="font-size:14.0pt;font-family:Calibri">Evan<u></u><u></u></span></p>
<p class="MsoNormal"><span style="font-size:14.0pt;font-family:Calibri"><u></u> <u></u></span></p>
<div><span>
<div>
<p class="MsoNormal"><span style="font-size:14.0pt;font-family:Calibri">></span><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">I believe you need to set FI_RMA_EVENT in the caps.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">To do this add:<br>
hints->caps |= FI_RMA_EVENT before calling fi_getinfo.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">The fi_getinfo and fi_endpoint man pages have more information about what FI_RMA_EVENT does when set.<u></u><u></u></p>
</div>
</span><div>
<p class="MsoNormal"><<u></u> <u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal">from the wording “Increments the specified counter whenever an RMA read or atomic fetch operation is initiated from a remote endpoint that targets the given endpoint” this makes me believe that the event is trigger on Node B when Node A
 reads/writes from it. I would like a completion on Node A, when Node A had read/write from B.<u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal">likewise <u></u><u></u></p>
<p class="MsoNormal">“<i>FI_RMA_EVENT</i><u></u><u></u></p>
<p class="MsoNormal">Requests that an endpoint support the generation of completion events when it is the target of an RMA and/or atomic operation. This flag requires that FI_REMOTE_READ and/or FI_REMOTE_WRITE be enabled on the endpoint.”<u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal">Which seems to confirm the above.<u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal">Is there something else I need to look out for? I can confirm that I get recv/send completions and all is fine, but nothing for fi_read.<u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal">Thanks<u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal">JB<u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
</div>
</div>
</div>

</blockquote></div><br></div></div></div>