<div dir="ltr"><div><div><div>Susan,<br><br>Did you have to do anything 'special' (beyond what is in the FCA documentation) to get FCA to work on your cluster? Are you running FCA with Mellanox UFM, or OFA OpenSM? <br>
<br></div>I ask because we are having trouble getting FCA to work on our (UFM) cluster. We are working with Mellanox on it, but I'd be curious to hear more about your environment.<br><br></div>Cheers,<br>Rusty Dekema<br>
</div>CAEN High Performance Computing<br></div><div class="gmail_extra"><br><br><div class="gmail_quote">On Mon, May 6, 2013 at 7:09 PM, Susan Coulter <span dir="ltr"><<a href="mailto:markus@lanl.gov" target="_blank">markus@lanl.gov</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div style="word-wrap:break-word"><div><br></div>Many moons ago there was a brief discussion on this list about MXM/FCA testing.<div>
I promised to send the results of my testing once I got things working.</div><div>It's been working for quite a while on a ~600 node QDR cluster and the results are pretty remarkable.</div><div>Attached are several graphs of 2 different MPI synthetics I use to test IB performance - ring and scatter.</div>
<div><br></div><div>Scatter shows pretty good performance gains with smaller message sizes - larger message sizes pretty much stink.</div><div>Ring shows significant performance increases across the board, with a couple odd results that may need more analysis/testing.</div>
<div><br></div><div><img src="cid:6454771B-AB60-4F1A-ADDA-26A55BD299C9" height="480" width="640"><img src="cid:52D96D3A-8C73-4788-8B33-80BD11004E60" height="480" width="640"><img src="cid:6B872900-FD2D-4340-99C8-75A9E63AC891" height="480" width="640"><img src="cid:56AF34F0-5688-47BA-A57E-9D5D0DAFDE48" height="480" width="640"><img src="cid:1E9645BF-FC96-4FD0-978A-22228503526D" height="480" width="640"><img src="cid:FB468044-6AFD-4927-B092-4E5021A83548" height="480" width="640"><img src="cid:8563DA3A-BDA1-46EE-B090-ED39A02C2A0B" height="480" width="640"><img src="cid:4E7282AE-84BA-4C50-A8FA-195DBF4342D5" height="480" width="640"><img src="cid:62D7368D-31AD-4C04-8B67-034783083985" height="480" width="640"><img src="cid:E563F249-8E84-406F-BA61-1F2049E8260E" height="480" width="640"></div>
<div><br><div>
<div style="word-wrap:break-word"><span style="text-indent:0px;letter-spacing:normal;font-variant:normal;text-align:-webkit-auto;font-style:normal;font-weight:normal;line-height:normal;border-collapse:separate;text-transform:none;font-size:medium;white-space:normal;font-family:Helvetica;word-spacing:0px"><div style="word-wrap:break-word">
<div>====================================</div><span class="HOEnZb"><font color="#888888"><div><br></div><div>Susan Coulter<br>HPC-3 Network/Infrastructure<br><a href="tel:505-667-8425" value="+15056678425" target="_blank">505-667-8425</a><br>
Increase the Peace...<br>An eye for an eye leaves the whole world blind<br>====================================</div></font></span></div></span></div>
</div>
<br></div></div><br>_______________________________________________<br>
Users mailing list<br>
<a href="mailto:Users@lists.openfabrics.org">Users@lists.openfabrics.org</a><br>
<a href="http://lists.openfabrics.org/cgi-bin/mailman/listinfo/users" target="_blank">http://lists.openfabrics.org/cgi-bin/mailman/listinfo/users</a><br>
<br></blockquote></div><br></div>