<div dir="ltr">Hi John,<div><br></div><div>For the GNI provider, we have unit tests you could look at as examples.</div><div><br></div><div>Please see <a href="https://github.com/ofi-cray/libfabric-cray/blob/master/prov/gni/test/rdm_dgram_rma.c#L315">https://github.com/ofi-cray/libfabric-cray/blob/master/prov/gni/test/rdm_dgram_rma.c#L315</a> for how setup is done before fi_read / fi_write.</div><div><br></div><div>The fi_read unit test is run from this function <a href="https://github.com/ofi-cray/libfabric-cray/blob/master/prov/gni/test/rdm_dgram_rma.c#L1491">https://github.com/ofi-cray/libfabric-cray/blob/master/prov/gni/test/rdm_dgram_rma.c#L1491</a>.</div><div><br></div><div>~Evan</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Fri, Mar 10, 2017 at 11:57 AM, Biddiscombe, John A. <span dir="ltr"><<a href="mailto:biddisco@cscs.ch" target="_blank">biddisco@cscs.ch</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">I gave up with verbs and moved the cray (which I need more urgently). I’m using the GNI provider now with endpoint type RDM<br>
<br>
(The connectionless model is fabulous – so much less code now handling connection setup).<br>
<br>
Still no completions though. Trying to work on a train with dodgy wifi, so not making much progress.<br>
<br>
Do I need to set  (waiting to test this)<br>
           fabric_hints_->tx_attr->op_<wbr>flags = FI_COMPLETION;<br>
           fabric_hints_->rx_attr->op_<wbr>flags = FI_COMPLETION;<br>
can’t test it yet due to ssh dropouts<br>
<br>
I tried adding READ/WRITE to these flags, but that causes an error abiout unsupported mode or type or something.<br>
                ret = fi_ep_bind(*new_endpoint, &txcq->fid, FI_TRANSMIT/* | FI_READ | FI_WRITE*/);<br>
<br>
So I guess that’s a red herring. I will keep experimenting<br>
<br>
JB<br>
<div class="HOEnZb"><div class="h5"><br>
On 10.03.17, 19:46, "Hefty, Sean" <<a href="mailto:sean.hefty@intel.com">sean.hefty@intel.com</a>> wrote:<br>
<br>
    > Is there something else I need to look out for? I can confirm that I<br>
    > get recv/send completions and all is fine, but nothing for fi_read.<br>
<br>
    I spent a few minutes looking through the code here:<br>
<br>
    <a href="https://github.com/biddisco/hpx/blob/libfabric/plugins/parcelport/libfabric/" rel="noreferrer" target="_blank">https://github.com/biddisco/<wbr>hpx/blob/libfabric/plugins/<wbr>parcelport/libfabric/</a><br>
<br>
    I checked the calls to getinfo, ep_bind, cq_open, fi_read, cq_read, etc.  Nothing that I saw stood out as an obvious issue.  :/  Even if the read failed, you should still get some sort of completion, with fi_cq_read returning -FI_EAVAIL.<br>
<br>
    I'm assuming that you're using the verbs provider with FI_MSG endpoints.<br>
<br>
<br>
</div></div></blockquote></div><br></div>