<br><tt><font size=2>----- Message from "Michael S. Tsirkin"
<mst@mellanox.co.il> on Mon,<br>
> 8 Jan 2007 18:57:14 +0200 -----</font></tt>
<br><tt><font size=2>> <br>
> To:</font></tt>
<br><tt><font size=2>> <br>
> openib-general@openib.org, "Roland Dreier" <rolandd@cisco.com></font></tt>
<br><tt><font size=2>> <br>
> Subject:</font></tt>
<br><tt><font size=2>> <br>
> [openib-general] [PATCHv4] IPoIB CM Experimental support</font></tt>
<br><tt><font size=2>> <br>
> The following patch adds experimental support for IPoIB connected
mode.<br>
> The idea is to increase performance by increasing the MTU<br>
> from the maximum of 2K (theoretically 4K) supported by IPoIB on top
of UD.<br>
> With this code, I'm able to get 800MByte/sec or more with netperf<br>
> without options on a Mellanox 4x back-to-back DDR system.<br>
> <br>
> Signed-off-by: Michael S. Tsirkin <mst@mellanox.co.il><br>
> <br>
> ---<br>
> <br>
> Sorry about the churn, just fixed a bug in this code.<br>
</font></tt>
<br><tt><font size=2>[SNIP] <br>
> e. Some notes on code<br>
> 1. SRQ is used for scalability to large cluster sizes<br>
</font></tt>
<br><tt><font size=2>I still want to support non-SRQ adapters with this
code. Not all systems have 100's or 1000's of endpoints and those smaller
systems will benefit from IPoIB-CM. The larger systems tend to have larger
memory per node so can support the additional memory requirements. </font></tt>
<br>
<br><tt><font size=2>At the November meeting one of the main themes from
application developers and customers is we must have a well performing
TCP/IP story across as much of the IB space as possible. If only one or
two of the IB adapters perform well, then we haven't addressed the customer
needs. Those adapters that can't support RC is one issue, but for those
who do without SRQ, smaller configurations should be able to use IPoIB-CM.</font></tt>
<br>
<br><tt><font size=2>> 2. Only RC connections are used (UC does not
support SRQ now)<br>
> 3. Retry count is set to 0 since spec draft warns against retries<br>
> 4. Each connection is used for data transfers in only 1 direction,<br>
>    so each connection is either active(TX) or passive (RX).<br>
>    2 sides that want to communicate create 2 connections.<br>
> 5. Each active (TX) connection has a separate CQ for send completions
-<br>
>    this keeps the code simple without CQ resize and other
tricks<br>
> <br>
</font></tt><font size=2 face="sans-serif"><br>
Bernie King-Smith  <br>
IBM Corporation<br>
Server Group<br>
Cluster System Performance  <br>
wombat2@us.ibm.com    (845)433-8483<br>
Tie. 293-8483 or wombat2 on NOTES <br>
<br>
"We are not responsible for the world we are born into, only for the
world we leave when we die.<br>
So we have to accept what has gone before us and work to change the only
thing we can,<br>
-- The Future." William Shatner</font>