This looks consistent across multiple systems. I'd suspect that maybe parts are only rated at 10g, particuarly if you are using CX4's.<br>It all looks pretty old stock you are trying to use. We used to have lots of cable issues in the past. I rarely see this now with modern cables, even at 40g.<br>Reset your fabric counters so you can see the rate increases. Large rates of symbol errors will cause the interfaces to downgrade. I have start of day scripts that do this across all switches in my 6 clusters.<br><br>Richard<br><br>----- Reply message -----<br>From: "Matt Breitbach" <matthewb@flash.shanje.com><br>Date: Wed, Jun 30, 2010 20:09<br>Subject: [ewg] Infiniband Interoperability<br>To: "'Ira Weiny'" <weiny2@llnl.gov>, <richard@informatix-sol.com><br>Cc: <ewg@lists.openfabrics.org><br><br><br>Switch 0x003048ffffa12591 MT47396 Infiniscale-III Mellanox Technologies:<br>           3    1[  ] ==( 4X 5.0 Gbps Active/  LinkUp)==>       1    1[  ]<br>"MT25208 InfiniHostEx Mellanox Technologies" ( )<br>           3    2[  ] ==( 4X 5.0 Gbps Active/  LinkUp)==>       4    2[  ]<br>"MT25208 InfiniHostEx Mellanox Technologies" ( )<br>           3    3[  ] ==( 4X 2.5 Gbps   Down/ Polling)==>             [  ]<br>"" ( )<br>           3    4[  ] ==( 4X 2.5 Gbps   Down/ Polling)==>             [  ]<br>"" ( )<br>           3    5[  ] ==( 4X 2.5 Gbps   Down/ Polling)==>             [  ]<br>"" ( )<br>           3    6[  ] ==( 4X 2.5 Gbps   Down/ Polling)==>             [  ]<br>"" ( )<br>           3    7[  ] ==( 4X 2.5 Gbps   Down/ Polling)==>             [  ]<br>"" ( )<br>           3    8[  ] ==( 4X 2.5 Gbps   Down/ Polling)==>             [  ]<br>"" ( )<br>           3    9[  ] ==( 4X 2.5 Gbps   Down/ Polling)==>             [  ]<br>"" ( )<br>           3   10[  ] ==( 4X 2.5 Gbps   Down/ Polling)==>             [  ]<br>"" ( )<br>           3   11[  ] ==( 4X 5.0 Gbps Active/  LinkUp)==>       7    1[  ]<br>"MT25218 InfiniHostEx Mellanox Technologies" ( )<br>           3   12[  ] ==( 4X 2.5 Gbps   Down/ Polling)==>             [  ]<br>"" ( )<br>           3   13[  ] ==( 4X 2.5 Gbps   Down/ Polling)==>             [  ]<br>"" ( )<br>           3   14[  ] ==( 4X 2.5 Gbps   Down/ Polling)==>             [  ]<br>"" ( )<br>           3   15[  ] ==( 4X 2.5 Gbps   Down/ Polling)==>             [  ]<br>"" ( )<br>           3   16[  ] ==( 4X 2.5 Gbps   Down/ Polling)==>             [  ]<br>"" ( )<br>           3   17[  ] ==( 4X 2.5 Gbps   Down/ Polling)==>             [  ]<br>"" ( )<br>           3   18[  ] ==( 4X 5.0 Gbps Active/  LinkUp)==>       6    1[  ]<br>"ibcontrol HCA-1" ( )<br>           3   19[  ] ==( 4X 5.0 Gbps Active/  LinkUp)==>       2    1[  ]<br>"xen1 HCA-1" ( )<br>           3   20[  ] ==( 4X 5.0 Gbps Active/  LinkUp)==>       5    1[  ]<br>"MT25408 ConnectX Mellanox Technologies" ( )<br>           3   21[  ] ==( 4X 2.5 Gbps   Down/ Polling)==>             [  ]<br>"" ( )<br>           3   22[  ] ==( 4X 2.5 Gbps   Down/ Polling)==>             [  ]<br>"" ( )<br>           3   23[  ] ==( 4X 2.5 Gbps   Down/ Polling)==>             [  ]<br>"" ( )<br>           3   24[  ] ==( 4X 2.5 Gbps   Down/ Polling)==>             [  ]<br>"" ( )<br><br><br>-----Original Message-----<br>From: Ira Weiny [mailto:weiny2@llnl.gov] <br>Sent: Wednesday, June 30, 2010 1:57 PM<br>To: richard@informatix-sol.com<br>Cc: Matt Breitbach; ewg@lists.openfabrics.org<br>Subject: Re: [ewg] Infiniband Interoperability<br><br>On Wed, 30 Jun 2010 11:13:50 -0700<br>"richard@informatix-sol.com" <richard@informatix-sol.com> wrote:<br><br>> I'm still suspicious that you have more than one SM running. Mellonex<br>switches have it enabled by default.<br>> It's common that ARP requests, as caused by ping, will result in multicast<br>group activity.<br>> Infiniband creates these on demand and tears them down if there are no<br>current members. There is no broadcast address. It uses a dedicated MC<br>group.<br>> They all seem to originate to LID 6 so you can trace the source.<br>> <br>> If you have ports at non optimal speeds, try toggling their enable state.<br>This often fixes it.<br><br>One other way of checking for SM's is to use the console in OpenSM.  The<br>"status" command will lists SM's it sees and who is currently master.<br><br>As for the network config could you send the iblinkinfo output?  I would be<br>curious to see it.<br><br>Thanks,<br>Ira<br><br>> <br>> Richard<br>> <br>> ----- Reply message -----<br>> From: "Matt Breitbach" <matthewb@flash.shanje.com><br>> Date: Wed, Jun 30, 2010 15:33<br>> Subject: [ewg] Infiniband Interoperability<br>> To: <ewg@lists.openfabrics.org><br>> <br>> Well, let me throw out a little about the environment :<br>> <br>> <br>> <br>> We are running one SuperMicro 4U system with a Mellanox InfiniHost III EX<br>> card w/ 128MB RAM.  This box is the OpenSolaris box.  It's running the<br>> OpenSolaris Infiniband stack, but no SM.  Both ports are cabled to the IB<br>> Switch to ports 1 and 2.<br>> <br>> <br>> <br>> The other systems are in a SuperMicro Bladecenter.  The switch in the<br>> BladeCenter is an InfiniScale III switch with 10 internal ports and 10<br>> external ports.<br>> <br>> <br>> <br>> 3 blades are connected with Mellanox ConnectX Mezzanine cards.  1 blade is<br>> connected with an InfiniHost III EX Mezzanine card.<br>> <br>> <br>> <br>> One of the blades is running CentOS and the 1.5.1 OFED release.  OpenSM is<br>> running on that system, and is the only SM running on the network.  This<br>> blade is using a ConnectX Mezzanine card.<br>> <br>> <br>> <br>> One blade is running Windows 2008 with the latest OFED drivers installed.<br>> It is using an InfiniHost III EX Mezzanine card.<br>> <br>> <br>> <br>> One blade is running Windows 2008 R2 with the latest OFED drivers<br>installed.<br>> It is using an ConnectX Mezzanine card.<br>> <br>> <br>> <br>> One blade has been switching between Windows 2008 R2 and CentOS with Xen.<br>> Windows 2008 is running the latest OFED drivers, CentOS is running the<br>1.5.2<br>> RC2.  That blade is using a ConnectX Mezzanine card.<br>> <br>> <br>> <br>> All of the firmware has been updated on the Mezzanine cards, the PCI-E<br>> InfiniHost III EX card, an<br><br>