<div dir="ltr">As far as I know, XPMEM is available standard on Cray and SGI machines but nowhere else.  Of course, any operator can install the kernel module, but that is uncommon in my experience, as in, I have never seen it.<div><br></div><div>XPMEM appears to be the most powerful option, but since CMA is standard now, I think that's the better option to pursue.</div><div><br></div><div>I think respecting security concerns is essential to mainstream adoption.  And in HPC, security isn't just about protecting from malicious actors, but bad programmers.</div><div><br></div><div>Best,</div><div><br></div><div>Jeff</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Feb 9, 2016 at 12:54 PM, Hefty, Sean <span dir="ltr"><<a href="mailto:sean.hefty@intel.com" target="_blank">sean.hefty@intel.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">I want to provide an intra-node communication (i.e. loopback) utility to libfabric.  The loopback utility could be part of a stand-alone provider, or incorporated into other providers.  For this, I'm looking at selecting a single, easily maintained implementation.  These are my choices so far:<br>
<br>
1. Control messages transfer over shared memory<br>
   Data transfers use shared memory bounce buffers<br>
2. Control messages transfer over shared memory<br>
   Data transfers occur over CMA<br>
   (small transfers go with control messages)<br>
3. Use XPMEM in some TBD way<br>
<br>
Some of these options are only available on Linux.  Does the portability of this solution matter?  FreeBSD and Solaris would fall back to using the network loopback device.<br>
<br>
How much concern needs to be given to security?  Should the loopback utility enforce RMA registrations?  Do we require processes to share a certain level of access, such as ptrace capability?<br>
<br>
I think we need input on this not just from the MPI community, but other users as well.<br>
<br>
- Sean<br>
_______________________________________________<br>
ofiwg mailing list<br>
<a href="mailto:ofiwg@lists.openfabrics.org">ofiwg@lists.openfabrics.org</a><br>
<a href="http://lists.openfabrics.org/mailman/listinfo/ofiwg" rel="noreferrer" target="_blank">http://lists.openfabrics.org/mailman/listinfo/ofiwg</a><br>
</blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature">Jeff Hammond<br><a href="mailto:jeff.science@gmail.com" target="_blank">jeff.science@gmail.com</a><br><a href="http://jeffhammond.github.io/" target="_blank">http://jeffhammond.github.io/</a></div>
</div>