<div><div dir="auto">I assume Howard means that the slowness issue is associated with KNL rather than Theta itself. Cori has both KNL and Haswell nodes, and I assume the Cori KNL nodes behave almost identically to the Theta nodes w.r.t. small message performance.</div><div dir="auto"><br></div><div dir="auto">Jeff</div><br><div class="gmail_quote"><div>On Thu, May 3, 2018 at 12:36 PM Pritchard Jr., Howard <<a href="mailto:howardp@lanl.gov">howardp@lanl.gov</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">HI Philip,<br>
<br>
Yes.  If you hit bugs please open issues on<br>
<a href="https://github.com/ofiwg/libfabric" rel="noreferrer" target="_blank">https://github.com/ofiwg/libfabric</a><br>
and @hppritcha in the issue.<br>
<br>
Don’t expect very good performance on theta for small transfers.<br>
<br>
On theta, you’ll want to use the --enable-ugni-static<br>
<br>
configure option to help a little bit with those slow processors.<br>
<br>
You may also want to peruse<br>
<br>
<a href="https://github.com/ofi-cray/libfabric-cray/wiki/GNI-provider-building-it" rel="noreferrer" target="_blank">https://github.com/ofi-cray/libfabric-cray/wiki/GNI-provider-building-it</a><br>
<br>
<br>
Good luck!<br>
<br>
Howard<br>
<br>
<br>
-- <br>
Howard Pritchard<br>
<br>
B Schedule<br>
HPC-ENV<br>
Office 9, 2nd floor Research Park<br>
TA-03, Building 4200, Room 03U<br>
<br>
Los Alamos National Laboratory<br>
<br>
<br>
<br>
<br>
<br>
On 5/3/18, 1:24 PM, "Philip Davis" <<a href="mailto:philip.e.davis@rutgers.edu" target="_blank">philip.e.davis@rutgers.edu</a>> wrote:<br>
<br>
>Thanks for the quick reply. That’s disappointing, but understandable. Is<br>
>the GNI provider supported on Cori and Theta?<br>
><br>
>> On May 3, 2018, at 2:49 PM, Pritchard Jr., Howard <<a href="mailto:howardp@lanl.gov" target="_blank">howardp@lanl.gov</a>><br>
>>wrote:<br>
>> <br>
>> the GNI provider isn’t supposed on Titan - OS is too old.<br>
>> <br>
>> <br>
>> -- <br>
>> Howard Pritchard<br>
>> <br>
>> B Schedule<br>
>> HPC-ENV<br>
>> Office 9, 2nd floor Research Park<br>
>> TA-03, Building 4200, Room 03U<br>
>> <br>
>> Los Alamos National Laboratory<br>
>> <br>
>> <br>
>> <br>
>> <br>
>> <br>
>> On 5/3/18, 11:21 AM, "Hefty, Sean" <<a href="mailto:sean.hefty@intel.com" target="_blank">sean.hefty@intel.com</a>> wrote:<br>
>> <br>
>>> Copying ofiwg, Howard, and Jim.<br>
>>> <br>
>>> <br>
>>>> Apologies if this has been asked before.<br>
>>>> <br>
>>>> I am trying to use the GNI provider for libfabric on Titan, the XK7<br>
>>>> machine at ORNL. Is this possible/supported?<br>
>>>> <br>
>>>> More specifically, I need to be able to communicate between aprun<br>
>>>> instances (e.g. aprun ./writer and aprun ./reader are able to<br>
>>>> communicate with each other) so the sharing of credentials between the<br>
>>>> programs is necessary. I have been referring to the cray-tests repo as<br>
>>>> an example of how to use rdma credentials for Cray in Libfabric. I<br>
>>>> modified this code somewhat by replacing all DRC code with just<br>
>>>> setting the cookie manually, and had hoped that would work.<br>
>>>> Unfortunately, the library relies on GNI_GetPtag to set the ptag, and<br>
>>>> this API call does not seem to work on Titan. I can get the<br>
>>>> auth_keys_test to pass by adding a ptag field to the<br>
>>>> fi_gni_raw_auth_key struct along with appropriate language to handle<br>
>>>> that, but I was wondering if there was some inherently supported way<br>
>>>> to do that same thing without modifying libfabric.<br>
>>>> <br>
>>>> Other than credentials exchange/loading, i am wondering what I can<br>
>>>> expect in trying to use the GNI provider on a non-ARIES system. Has<br>
>>>> anyone done this successfully?<br>
>>>> <br>
>>>> Thanks,<br>
>>>> Philip<br>
>> <br>
><br>
<br>
_______________________________________________<br>
Libfabric-users mailing list<br>
<a href="mailto:Libfabric-users@lists.openfabrics.org" target="_blank">Libfabric-users@lists.openfabrics.org</a><br>
<a href="http://lists.openfabrics.org/mailman/listinfo/libfabric-users" rel="noreferrer" target="_blank">http://lists.openfabrics.org/mailman/listinfo/libfabric-users</a><br>
</blockquote></div></div>-- <br><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature">Jeff Hammond<br><a href="mailto:jeff.science@gmail.com" target="_blank">jeff.science@gmail.com</a><br><a href="http://jeffhammond.github.io/" target="_blank">http://jeffhammond.github.io/</a></div>