Scott-<br><br>Here is what we have:<br><br>Cisco BladeCenterH> show version<br><br>================================================================================<br>                           System Version Information<br>
================================================================================<br>           system-version : Cisco-BCH TopspinOS 2.6.0 releng #195 06/01/2006 01:32:43 (UUID:00000000-0000-0000-0005-AD0000094076)<br><br>
<br><div class="gmail_quote">On Feb 18, 2008 12:12 PM, Scott Weitzenkamp (sweitzen) <<a href="mailto:sweitzen@cisco.com">sweitzen@cisco.com</a>> wrote:<br><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">




<div>
<div dir="ltr" align="left"><span><font color="#0000ff" face="Arial" size="2">Chuck, the SM in the Topspin/Cisco switch can be turned off 
from CLI, Web UI, or Element Manager UI. </font></span></div>
<div dir="ltr" align="left"><span><font color="#0000ff" face="Arial" size="2"></font></span> </div>
<div dir="ltr" align="left"><span><font color="#0000ff" face="Arial" size="2">There was a SM bug last year where DDR throughput was not 
as high as it should be sometimes, what does "show version" display from the 
Topspin/Cisco switch CLI?</font></span></div>
<div> </div>
<div align="left"><font face="Arial" size="2"><font size="2">
<p align="left">Scott Weitzenkamp<br>SQA and Release Manager<br>Server 
Virtualization Business Unit<br>Cisco Systems<br></p></font></font></div>
<div> </div><br>
<blockquote style="border-left: 2px solid rgb(0, 0, 255); padding-left: 5px; margin-left: 5px; margin-right: 0px;">
  <div dir="ltr" align="left" lang="en-us">
  <hr>
  <font face="Tahoma" size="2"><b>From:</b> <a href="mailto:general-bounces@lists.openfabrics.org" target="_blank">general-bounces@lists.openfabrics.org</a> 
  [mailto:<a href="mailto:general-bounces@lists.openfabrics.org" target="_blank">general-bounces@lists.openfabrics.org</a>] <b>On Behalf Of </b>Chuck 
  Hartley<br><b>Sent:</b> Monday, February 18, 2008 7:19 AM<br><b>To:</b> Hal 
  Rosenstock<br><b>Cc:</b> OpenFabrics General<br><b>Subject:</b> Re: 
  [ofa-general] Performance of UDAPL RDMA vs IB verbs<br></font><br></div><div><div></div><div class="Wj3C7c">
  <div></div>Thanks for the tips on the commands - that was my next 
  question.<br><br>> Is the rest of the subnet pure DDR and a mix of SDR/DDR 
  ?<br><br>The rest of the network is a mixture of SDR/DDR.  Here is what 
  we have:<br><br>]# ibnodes -V<br>Ca      : 
  0x0005ad00001dc9e4 ports 2 " HCA-1"<br>Ca      : 
  0x0005ad00001dc970 ports 2 " HCA-1"<br>Ca      : 
  0x0020c28001067759 ports 1 "IB900 TMS Infiniband 
  interface"<br>Ca      : 0x0020c28002067759 ports 1 
  "IB900 TMS Infiniband interface"<br>Ca      : 
  0x0020c28003067759 ports 1 "IB900 TMS Infiniband 
  interface"<br>Ca      : 0x0020c28004067759 ports 1 
  "IB900 TMS Infiniband interface"<br>Ca      : 
  0x0030487a06600000 ports 1 "Linux62 HCA-1"<br>Ca      
  : 0x0030487a226a0000 ports 1 "linux64 
  HCA-1"<br>Ca      : 0x0030487a071e0000 ports 1 
  "Linux61 HCA-1"<br>Ca      : 0x0002c9020023bb14 ports 
  1 "Linux60 HCA-1"<br>Ca      : 0x0030487a2a480000 
  ports 1 "Linux63 HCA-1"<br>Switch  : 0x000b8cffff00441c ports 24 "MT47396 
  Infiniscale-III Mellanox Technologies" base port 0 lid 3 lmc 0<br>Switch  
  : 0x0005ad0000094076 ports 24 "Topspin Switch" enhanced port 0 lid 15 lmc 
  0<br><br>The first two nodes in the list are the SDR blades off of the Topspin 
  switch.  The Linux boxes are all Mellanox DDR HCAs and the IB900 
  interfaces are SDR. The Linux and IB900 ports are all connected to the 
  Mallanox switch.  The Topspin switch is connected to the Mellanox 
  switch.<br><br><br>> Does it work "right" with OpenSM off/using the vendor 
  SM ?<br><br>No, it does not work with only the SM in the Topspin switch 
  running.  That was the initial configuration we had.  Then I started 
  OpenSM on one of the Linux boxes and that did not work any better.  I 
  also tried disconnection the TMS IB900 so there was only DDR devices on the 
  subnet and that did not make a difference either.  It seems like the SM 
  in the Topspin switch only understands SDR maybe.  There does not appear 
  to be an option for turning off the SM in the Topspin switch, however you can 
  change its priority  relative to other SM on the subnet.  That is 
  what I did and now the OpenSM  is the master.<br><br>I didn't see 
  anything in the opensm.conf file that indicates that OpenSM has a concept of 
  priority.  Is there some way to force it to always be the master?  
  Is there some advantage or disadvantage to running multiple copies of OpenSM 
  on the subnet?   If you have multiple switches connected as we do, 
  should some of the default settings on opensm.conf be changed? In particular, 
  should REASSIGN_LIDS be set to 
"yes"?<br><br>Chuck<br><br></div></div></blockquote></div>
</blockquote></div><br>