<br><font size=2 face="sans-serif">Hello,</font>
<br>
<br><font size=2 face="sans-serif">we am currently looking into the scalability
of the T3 in terms of</font>
<br><font size=2 face="sans-serif">connections. We are using a 1-to-n scenario
where the one server</font>
<br><font size=2 face="sans-serif">has a chunk of data and n client that
fetch this chunk over and over</font>
<br><font size=2 face="sans-serif">again using RDMA reads (each 1MB in
size).</font>
<br>
<br><font size=2 face="sans-serif">The clients do that such that they get
an average data rate of about</font>
<br><font size=2 face="sans-serif">9Mbps each. Every second we connect
a new client to the server</font>
<br><font size=2 face="sans-serif">and see how far it goes.</font>
<br>
<br><font size=2 face="sans-serif">What puzzles us now is that after about
800 clients, they do no longer</font>
<br><font size=2 face="sans-serif">seem to receive much data.</font>
<br>
<br><font size=2 face="sans-serif">The first interesting thing is that
the aggregate throughput actually drops</font>
<br><font size=2 face="sans-serif">(we expected it to stall). And the second
interesting thing is that it does</font>
<br><font size=2 face="sans-serif">so already at about 6.3Gbps which is
just a bit more than half of what the</font>
<br><font size=2 face="sans-serif">card can do. We do not experience this
kind of situation when using</font>
<br><font size=2 face="sans-serif">much less clients that RDMA read the
data at a much higher data rate.</font>
<br>
<br><font size=2 face="sans-serif">Is there any limitation on the RNIC
that would give an explanation for this?</font>
<br>
<br><font size=2 face="sans-serif">(Setup: T3 RNICs, OFED-1.4, 2.6.26 kernel,
MTU=9000)</font>
<br>
<br><font size=2 face="sans-serif">Many thanks for your advice,</font>
<br><font size=2 face="sans-serif"> Philip</font>
<br>
<br><font size=2 face="sans-serif">-- <br>
   Philip Frey                
  <br>
   IBM Zurich Research Laboratory<br>
   Saumerstrasse 4              
                    |
 Phone: +41 44 724 8613<br>
   CH-8803 Rueschlikon/Switzerland  |  Email: phf@zurich.ibm.com</font>