<br><tt><font size=2>"john t" <johnt1johnt2@gmail.com>
wrote on 10/05/2006 08:18:31 AM:<br>
<br>
> Hi Bernard,</font></tt>
<br><tt><font size=2>>  </font></tt>
<br><tt><font size=2>> I had a configuration issue. I fixed it and now
I get same BW (i.e. <br>
> around 10 Gb/sec) on each port provided I use ports on different HCA<br>
> cards. If I use two ports of the same HCA card then BW gets divided
<br>
> between these two ports. I am using Mellanox HCA cards and doing <br>
> simple send/recv using uverbs. </font></tt>
<br><tt><font size=2>>  </font></tt>
<br><tt><font size=2>> Do you think it could be an issue with Mallanox
driver or could it <br>
> be due to system/PCI-E limitation.</font></tt>
<br>
<br><tt><font size=2>I haven't looked closely at the Mellanox driver, but
I suspect it is there. When we were looking at the EHCA driver we found
that if you have two links using the same event queue ( one per adapter
), and if the completion queue handling is serialized off the one interrupt
per adapter, then one and two links get the same aggregate bandwidth. The
problem is if you have two completion queues for the two links, they are
handled serially. You need separate threads off the interrupt, each processing
one of the completion queues in parallel on different CPU's to get the
scaling you expect for 2 links. </font></tt>
<br>
<br><tt><font size=2>I don't think it is the PCI-e bus because it can handle
much more than 20 Gb/s. However, I also don't know how the Mellanox chip
works for 2 ports.</font></tt>
<br>
<br><tt><font size=2>>  </font></tt>
<br><tt><font size=2>> Regards,</font></tt>
<br><tt><font size=2>> John T.<br>
> <br>
</font></tt><font size=2 face="sans-serif">Bernie King-Smith  <br>
IBM Corporation<br>
Server Group<br>
Cluster System Performance  <br>
wombat2@us.ibm.com    (845)433-8483<br>
Tie. 293-8483 or wombat2 on NOTES <br>
<br>
"We are not responsible for the world we are born into, only for the
world we leave when we die.<br>
So we have to accept what has gone before us and work to change the only
thing we can,<br>
-- The Future." William Shatner</font>
<br>