
<html><head></head><body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space; "><br><div><div>On Aug 21, 2012, at 9:10 AM, Florent Parent wrote:</div><br class="Apple-interchange-newline"><blockquote type="cite"><div>Not tested here. I actually found this existed while at the OFED user day.<br><br>I'm glad you are trying this out. This would be interesting to us too. :)<br><br>We have a user code here that performs (communication wise) about 10<br>fold better on a Qlogic based cluster over our Mellanox IB system. We<br>have more tests to do, but we boiled this down to the connection rate<br>(user job does MPI send/recv across multiple ranks) being better over<br>the Qlogic system.<br><br>The Mellanox FCA or MXM would be interesting to tests to see if things<br>improve. Although we have the (old) ConnectX (not the 2 or 3)<br></div></blockquote><div><br></div>The documentation states ConnectX-2 is required for FCA, not sure about MXM.</div><div><br></div><div>If I can get some results from FCA, MXM is my next area of research.</div><div>I believe PSM really helps QLogic performance.</div><div>Many of our codes are running faster on our QLogic cluster.</div><div><br></div><div>I will keep the list updated with any significant results.</div><div><br><blockquote type="cite"><div>generation, I would need to validate if this is compatible.<br><br>Florent<br><br>On Mon, Aug 20, 2012 at 6:49 PM, Susan Coulter <<a href="mailto:markus@lanl.gov">markus@lanl.gov</a>> wrote:<br><blockquote type="cite">Has anyone tested the collectives offload provided by MLNX OFED?<br></blockquote><blockquote type="cite"><br></blockquote><blockquote type="cite">I have everything set up correctly according to the FCA documentation and<br></blockquote><blockquote type="cite">fca_managerd is running.<br></blockquote><blockquote type="cite">My attempts to run with "coll_fca_enable 1" are failing.<br></blockquote><blockquote type="cite">First with an inability to talk to umad port<br></blockquote><blockquote type="cite"><br></blockquote><blockquote type="cite">ibwarn: [2337] mad_rpc_open_port: can't open UMAD port (mlx4_0:1)<br></blockquote><blockquote type="cite">1345251776.473792 [FCA_DEV cja001 2337] dev.c:560 error Failed to initialize<br></blockquote><blockquote type="cite">SA: Cannot assign requested address<br></blockquote><blockquote type="cite"><br></blockquote><blockquote type="cite">The permissions on /dev/infiniband/umad0 were opened up - which got rid of<br></blockquote><blockquote type="cite">the error messages.<br></blockquote><blockquote type="cite">Now it is dying and spitting out a bunch of empty core files - but nothing<br></blockquote><blockquote type="cite">in the job run log.<br></blockquote><blockquote type="cite">It looks like it is going to start, then poof !<br></blockquote><blockquote type="cite">====================================<br></blockquote><blockquote type="cite"><br></blockquote><blockquote type="cite">Susan Coulter<br></blockquote><blockquote type="cite">HPC-3 Network/Infrastructure<br></blockquote><blockquote type="cite">505-667-8425<br></blockquote><blockquote type="cite">Increase the Peace...<br></blockquote><blockquote type="cite">An eye for an eye leaves the whole world blind<br></blockquote><blockquote type="cite">====================================<br></blockquote><blockquote type="cite"><br></blockquote><blockquote type="cite"><br></blockquote><blockquote type="cite">_______________________________________________<br></blockquote><blockquote type="cite">Users mailing list<br></blockquote><blockquote type="cite"><a href="mailto:Users@lists.openfabrics.org">Users@lists.openfabrics.org</a><br></blockquote><blockquote type="cite"><a href="http://lists.openfabrics.org/cgi-bin/mailman/listinfo/users">http://lists.openfabrics.org/cgi-bin/mailman/listinfo/users</a><br></blockquote><blockquote type="cite"><br></blockquote></div></blockquote></div><br><div>

<span class="Apple-style-span" style="border-collapse: separate; color: rgb(0, 0, 0); font-family: Helvetica; font-style: normal; font-variant: normal; font-weight: normal; letter-spacing: normal; line-height: normal; orphans: 2; text-align: -webkit-auto; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-border-horizontal-spacing: 0px; -webkit-border-vertical-spacing: 0px; -webkit-text-decorations-in-effect: none; -webkit-text-size-adjust: auto; -webkit-text-stroke-width: 0px; font-size: medium; "><span class="Apple-style-span" style="border-collapse: separate; color: rgb(0, 0, 0); font-family: Helvetica; font-style: normal; font-variant: normal; font-weight: normal; letter-spacing: normal; line-height: normal; orphans: 2; text-align: -webkit-auto; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-border-horizontal-spacing: 0px; -webkit-border-vertical-spacing: 0px; -webkit-text-decorations-in-effect: none; -webkit-text-size-adjust: auto; -webkit-text-stroke-width: 0px; font-size: medium; "><div style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space; "><span class="Apple-style-span" style="border-collapse: separate; color: rgb(0, 0, 0); font-family: Helvetica; font-style: normal; font-variant: normal; font-weight: normal; letter-spacing: normal; line-height: normal; orphans: 2; text-align: -webkit-auto; text-indent: 0px; text-transform: none; white-space: normal; widows: 2; word-spacing: 0px; -webkit-border-horizontal-spacing: 0px; -webkit-border-vertical-spacing: 0px; -webkit-text-decorations-in-effect: none; -webkit-text-size-adjust: auto; -webkit-text-stroke-width: 0px; font-size: medium; "><div style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space; "><div>====================================</div><div><br></div><div>Susan Coulter<br>HPC-3 Network/Infrastructure<br>505-667-8425<br>Increase the Peace...<br>An eye for an eye leaves the whole world blind<br>====================================</div></div></span></div></span></span>

</div>

<br></body></html>