<br><font size=2 face="sans-serif">John,</font>
<br>
<br><font size=2 face="sans-serif">Who's adapter (manufacturer) are you
using? It is usually an adapter implementation or driver issue that occures
when you cannot scale across multiple links. The fact that you don't scale
up from one link, but it appears they share a fixed bandwidth across N
links means that there is a driver or stack issue. At one time I think
that IPoIB and maybe other IB drivers used only one event queue across
multiple links which would be a bottleneck. We added code in the IBM EHCA
driver to get round this bottleneck.</font>
<br>
<br><font size=2 face="sans-serif">Are your measurements using MPI or IP.
Are you using separate tasks/sockets per link and using different subnets
if using IP?</font>
<br><font size=2 face="sans-serif"><br>
Bernie King-Smith  <br>
IBM Corporation<br>
Server Group<br>
Cluster System Performance  <br>
wombat2@us.ibm.com    (845)433-8483<br>
Tie. 293-8483 or wombat2 on NOTES <br>
<br>
"We are not responsible for the world we are born into, only for the
world we leave when we die.<br>
So we have to accept what has gone before us and work to change the only
thing we can,<br>
-- The Future." William Shatner</font>
<br>
<br><tt><font size=2>john t" <johnt1johnt2@gmail.com> wrote
on 10/03/2006 09:42:24 AM:</font></tt>
<br><tt><font size=2>> <br>
> Hi,</font></tt>
<br><tt><font size=2>>  </font></tt>
<br><tt><font size=2>> I have two HCA cards, each having two ports and
each connected to a <br>
> separate PCI-E x8 slot.</font></tt>
<br><tt><font size=2>>  </font></tt>
<br><tt><font size=2>> Using one HCA port I get end to end BW of 11.6
Gb/sec (uni-direction RDMA).</font></tt>
<br><tt><font size=2>> If I use two ports of the same HCA or different
HCA, I get between 5<br>
> to 6.5 Gb/sec point-to-point BW on each port. BW on each port <br>
> further reduces if I use more ports. I am not able to understand <br>
> this behaviour. Is there any limitation on max. BW that a system can<br>
> provide? Does the available BW get divided among multiple HCA ports
<br>
> (which means having multiple ports will not increase the BW)? </font></tt>
<br><tt><font size=2>>  </font></tt>
<br><tt><font size=2>>  </font></tt>
<br><tt><font size=2>> Regards,</font></tt>
<br><tt><font size=2>> John T<br>
</font></tt>