<br><font size=2><tt>Michael,</tt></font>
<br>
<br><font size=2><tt>"Michael S. Tsirkin" <mst@mellanox.co.il>
wrote on 04/29/2006 03:23:51 PM:<br>
> Quoting r. Shirley Ma <xma@us.ibm.com>:<br>
> > Subject: Re: [openib-general] Re: Re: [PATCH] IPoIB splitting
CQ,?<br>
> increase both send/recv poll NUM_WC & interval<br>
> > <br>
> > <br>
> > Michael,<br>
> > <br>
> > smp kernel on UP result is very bad. It dropped 40% throughput.<br>
> > up kernel on UP thoughput dropped with cpu utilization dropped
<br>
> from 75% idle to 52% idle.<br>
> <br>
> Hmm. So far it seems the approach only works well on 2 CPUs.<br>
</tt></font>
<br><font size=2><tt>Did a clean 2.6.16 uniprocessor kernel build on both
sides,</tt></font>
<br><font size=2><tt>+ patch1 (splitting CQ & handler)</tt></font>
<br><font size=2><tt>+ patch2 (tune CQ polling interval)</tt></font>
<br><font size=2><tt>+ patch3 (use work queue in CQ handler) </tt></font>
<br><font size=2><tt>+ patch4 (remove tx_ring) (rx_ring removal hasn't
done yet)</tt></font>
<br>
<br><font size=2><tt>Without tuning, i got 1-3% throughput increase with
average 10%</tt></font>
<br><font size=2><tt>cpu utiilzation reduce on netserver side. W/O patches,
netperf side</tt></font>
<br><font size=2><tt>is 100% cpu utilization.</tt></font>
<br>
<br><font size=2><tt>The best result I got so far with tunning, 25% throughput
increase</tt></font>
<br><font size=2><tt>+ 2-5% cpu utilization saving in netperf side.</tt></font>
<br><font size=2><tt><br>
> > I didn't see latency difference. I used TCP_RR test.<br>
> <br>
> This is somewhat surprising, isn't it? One would explain the extra<br>
> context switch to have some effect on latency, would one not?<br>
> <br>
> -- <br>
> MST<br>
</tt></font>
<br><font size=2><tt>I got around 4% latency decrease on UP with less cpu
utilization.</tt></font>
<br><font size=2 face="sans-serif"><br>
Thanks<br>
Shirley Ma<br>
IBM Linux Technology Center<br>
15300 SW Koll Parkway<br>
Beaverton, OR 97006-6063<br>
Phone(Fax): (503) 578-7638<br>
<br>
</font>
<br>
<br>