<br><tt><font size=2>"Erez Strauss" <erezs@voltaire.com>
wrote on 03/06/2007 12:51:52 AM:<br>
<br>
> Hi Bernie,</font></tt>
<br><tt><font size=2>>  </font></tt>
<br><tt><font size=2>> Thank you for your reply.</font></tt>
<br><tt><font size=2>>  </font></tt>
<br><tt><font size=2>> In this case I’m using an application which
is using very small <br>
> messages (300Bytes) and I can not change it.</font></tt>
<br><tt><font size=2>> The focus of the testing is to reduce the latency
to minimum during <br>
> high stress, while keeping the application intact.</font></tt>
<br>
<br><tt><font size=2>O.K. you are looking at small packet performance as
opposed to peak bandwidth. In this case NAPI would lower the interrupt
rate if TCP doesn't already coalesce multiple TCP packets into a larger
packet over IB. However, at a packet size of 300 bytes, I would expect
that the traffic actually comes over the UD QP not the RC one.</font></tt>
<br>
<br><tt><font size=2>With your rate of 40000 interrupts per second, if
each interrupt was a single packet you are only looking at 12 MB/s. If
you are not using TCP_NODELAY then your bandwidth may be higher. Even so,
NAPI hopefully with improve the small packet throughput.</font></tt>
<br>
<br><tt><font size=2>>  </font></tt>
<br><tt><font size=2>> Similar synthetic test would be multiple ‘iperf
–l 300 ….’ and sum <br>
> of the total bandwidth (or packets per seconds).</font></tt>
<br><tt><font size=2>>  </font></tt>
<br><tt><font size=2>> Any suggestions for IPoIB-CM/RC are welcome.</font></tt>
<br><tt><font size=2>> Do you expect the SDP to perform better under
the above constrains?</font></tt>
<br><tt><font size=2>>  </font></tt>
<br><tt><font size=2>> Thanks,</font></tt>
<br><tt><font size=2>> Erez</font></tt>
<br><tt><font size=2>> Voltaire Inc.</font></tt>
<br><tt><font size=2>>  </font></tt>
<br>
<br><font size=2 face="sans-serif">Regards,</font>
<br><font size=2 face="sans-serif"><br>
Bernie King-Smith  <br>
IBM Corporation<br>
Server Group<br>
Cluster System Performance  <br>
wombat2@us.ibm.com    (845)433-8483<br>
Tie. 293-8483 or wombat2 on NOTES <br>
<br>
"We are not responsible for the world we are born into, only for the
world we leave when we die.<br>
So we have to accept what has gone before us and work to change the only
thing we can,<br>
-- The Future." William Shatner</font>
<br>