<br><br><div class="gmail_quote">On Fri, May 24, 2013 at 9:19 PM, John Valdes <span dir="ltr"><<a href="mailto:valdes@anl.gov" target="_blank">valdes@anl.gov</a>></span> wrote:<br><blockquote style="margin:0px 0px 0px 0.8ex;padding-left:1ex;border-left-color:rgb(204,204,204);border-left-width:1px;border-left-style:solid" class="gmail_quote">
Andrei Mikhailovsky wrote:<br>
<div class="im">> John Valdes wrote:<br>
> > What's the physical topology of the IB network between the blade<br>
> > servers and the switch?<br>
><br>
</div><div class="im">> AM: I am not really sure. The servers do have the IB mezzanine card and from what i've read it is a pci-e card. I am unsure how the blade servers are connected to the switch. I guess it's an internal HP/QLogic interconnect.<br>

<br>
</div>Found some docs on Intel's website at:<br>
<a href="http://www.intel.com/p/en_US/support/highlights/network/ts-fbs12100" target="_blank">http://www.intel.com/p/en_US/support/highlights/network/ts-fbs12100</a><br>
>From that, it looks like the topology is very simple; the switch<br>
installs in a slot in the blade chassis, and it looks like it has 16<br>
internal (through the backplane of the chassis) IB connections, one<br>
to each blade server in the chassis, plus 16 external QSFP ports.<br>
<br>
I was thinking maybe there was something odd in the topology that<br>
was causing the subnet manager to fail to negotiate link properly w/<br>
the blade servers.  It doesn't sound like that's the case.<br>
<br></blockquote><div> </div><div>Physical link negotiation has nothing to do with SM.</div><div> </div><blockquote style="margin:0px 0px 0px 0.8ex;padding-left:1ex;border-left-color:rgb(204,204,204);border-left-width:1px;border-left-style:solid" class="gmail_quote">

Does "perfquery" report errors on the blade servers' HCA port?  How<br>
about on the (internal) ports on the switch that connect to the blade<br>
servers?  To check, give perfquery the lid of the device you want to<br>
check (either the server's lid or the switch's lid) and the port<br>
number to check (that should always be 1 for the servers, and the<br>
corresponding switch port number for the switch, 1 through 16 or 17<br>
through 32 depending on which are the internal ports and which are the<br>
external.  "ibnetdiscover" should tell you what servers are connected<br>
to what ports on the switch.<br>
<div class="HOEnZb"><div class="h5"><br>
John<br>
_______________________________________________<br>
Users mailing list<br>
<a href="mailto:Users@lists.openfabrics.org">Users@lists.openfabrics.org</a><br>
<a href="http://lists.openfabrics.org/cgi-bin/mailman/listinfo/users" target="_blank">http://lists.openfabrics.org/cgi-bin/mailman/listinfo/users</a><br>
</div></div></blockquote></div><br>