
<html>

<head>

<meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1">

<style type="text/css" style="display:none;"> P {margin-top:0;margin-bottom:0;} </style>

</head>

<body dir="ltr">

<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">

<br>

</div>

<div class="BodyFragment"><font size="2"><span style="font-size:11pt">

<div class="PlainText">

<blockquote style="border-left: 3px solid rgb(200, 200, 200); border-top-color: rgb(200, 200, 200); border-right-color: rgb(200, 200, 200); border-bottom-color: rgb(200, 200, 200); padding-left: 1ex; margin-left: 0.8ex; color: rgb(102, 102, 102);">

> ... the initiator for my<br>

> fi_writemsg() calls seems to be concluding that all of them have arrived at the target<br>

> before that's actually happened, ...<br>

<br>

This could be a bug in the provider implementing DELIVERY_COMPLETE correctly.  Note that delivery complete isn't supported natively by most hardware, and requires software based acks in order to meet that guarantee.<br>

<br>

Are you using RDM endpoints?<br>

</blockquote>

<div class="PlainText"><br>

</div>

Yes, this is over RDM endpoints.  I've learned from a co-worker that while ofi_rxm;verbs cannot provide FI_DELIVERY COMPLETE semantics for RDMA, if you put that in the hints there is a bug (in ofi_rxm) that allows that provider to appear in the list returned

 by fi_getinfo() nevertheless, with the unfortunate result that you silently get FI_TRANSMIT_COMPLETE semantics instead.  That's what's happening to me.  Even with this fixed, though, FI_DELIVERY_COMPLETE won't be supported by the ofi_rxm;verbs provider.  There

 are workarounds, which I'm starting on.</div>

<div class="PlainText"><br>

greg<br>

</div>

</span></font></div>

</body>

</html>