<div dir="ltr">Just wanted to clarify that a discussion with GASNet developers revealed that their PSM provider compatibility over OFI is only for PSM2 (since TrueScale is an old technology).<div><a href="https://groups.google.com/a/lbl.gov/forum/#!topic/gasnet-users/1Y_mDmdcCDw">https://groups.google.com/a/lbl.gov/forum/#!topic/gasnet-users/1Y_mDmdcCDw</a> </div></div><br><div class="gmail_quote"><div dir="ltr">On Tue, Jun 19, 2018 at 10:44 PM Sayan Ghosh <<a href="mailto:zsayanz@gmail.com">zsayanz@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div style="text-decoration-style:initial;text-decoration-color:initial">I am trying to install GASNet 1.30.0 using OFI on an Intel TrueScale network (PSM provider), and although OFI fi_info detects PSM provider (see attached output of fi_info), when I mention it during GASNet configure (config.log attached, please see line #10126), GASNet warns:</div><div style="text-decoration-style:initial;text-decoration-color:initial"><br></div><div style="text-decoration-style:initial;text-decoration-color:initial"><span style="background-color:rgb(255,255,0)">WARNING: Invalid or unsupported OFI provider specified via the --with-ofi-provider flag.</span></div><div style="text-decoration-style:initial;text-decoration-color:initial"><span style="background-color:rgb(255,255,0)">Defaulting to runtime provider feature detection for ofi-conduit.</span></div><div style="text-decoration-style:initial;text-decoration-color:initial"> <br clear="all"><div>GASNet configuration:</div><div><br></div><div><div><span style="background-color:rgb(255,255,0)">CC=icc CXX=icpc MPI_CC=/home/sghosh/builds/mvapich222-intel-psm/bin/mpicc MPI_CFLAGS="-I/home/sghosh/builds/mvapich222-intel-psm/include" MPI_LIBS="-L/home/sghosh/builds/mvapich222-intel-psm/lib -lpciaccess -lnuma -lxml2" ./configure --prefix=/home/sghosh/builds/gasnet-ofi --enable-ofi --with-ofi-home=/home/sghosh/builds/libfabric --disable-psm --disable-ibv --with-ofi-spawner=mpi --with-ofi-provider=psm</span></div></div><div><br></div><div>GASNet throws this warning during application execution:<br></div><div><span style="background-color:rgb(255,255,0)"><br></span></div><div><div><span style="background-color:rgb(255,255,0)">WARNING: Using OFI provider (verbs;ofi_rxm), which has not been validated to provide</span></div><div><span style="background-color:rgb(255,255,0)">WARNING: acceptable GASNet performance. You should consider using a more</span></div><div><span style="background-color:rgb(255,255,0)">WARNING: hardware-appropriate GASNet conduit. See ofi-conduit/README.</span></div><div><span style="background-color:rgb(255,255,0)">*** FATAL ERROR: The statically-determined value for GASNETC_OFI_HAS_MR_SCALABLE=1 does</span></div><div><span style="background-color:rgb(255,255,0)">  not match the memory registration support that the (verbs;ofi_rxm) provider reported.</span></div><div><span style="background-color:rgb(255,255,0)">  This could happen if a provider that previously only supported FI_MR_BASIC</span></div><div><span style="background-color:rgb(255,255,0)">  added support for FI_MR_SCALABLE, or if the wrong provider was selected at runtime.</span></div><div><span style="background-color:rgb(255,255,0)">  Use configure option --disable-ofi-mr-scalable to correct this.</span></div><div><br></div></div><div>Instead of picking up psm, GASNet picks up verbs. I have reported this issue on GASNet user list as well. Please let me know if I can try some options in building libfabrics for PSM provider, that may fix this issue. </div><div><br></div></div>-- <div>Thanks,<br><div dir="ltr" class="m_7089124145042894543gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><span style="font-size:small">S</span><span style="font-size:12.8px">ayan | </span><span style="font-size:12.8px"><a href="https://sg0.github.io/" target="_blank">https://sg0.github.io/</a></span><br></div></div></div></div></div></div></div></div></div></div></div></div></div></div>
</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><span style="font-size:small">S</span><span style="font-size:12.8px">ayan | </span><span style="font-size:12.8px"><a href="https://sg0.github.io/" target="_blank">https://sg0.github.io/</a></span><br></div></div></div></div></div></div></div></div></div></div></div></div>