<br><font size=2><tt>Grant Grundler <iod00d@hp.com> wrote on 05/09/2006
12:05:38 PM:<br>
<br>
> On Tue, May 09, 2006 at 11:36:45AM -0700, Shirley Ma wrote:<br>
> > What throughput did you get on two CPUs?<br>
> <br>
> With one CPU, I get ~2.5-2.8 Gb/s. With two CPUs: 3.5-3.6 Gb/s.<br>
> The last SVN version I tested was 2.6.15 + r4929 (several monthes
ago).<br>
</tt></font>
<br><font size=2><tt>I got 3.5-3.66Gb/s on UP with splitting CQ + threads
supports on send/recv </tt></font>
<br><font size=2><tt>CQ polling, and didn't get any better on SMP.</tt></font>
<br><font size=2><tt><br>
> To be clear, "one CPU" means the netperf process is bound
to the same<br>
> CPU as the one handling mthca interrupts with taskset. Ditto for netserver<br>
> on the other system. "Two CPU" means bind netperf/netserver
processes<br>
> to a different CPU that is NOT handling the mthca interrupt.<br>
</tt></font>
<br><font size=2><tt>I tried interrupts affinity on mthca, it didn't work
by changing </tt></font>
<br><font size=2><tt>/proc/irq/XXX/smp_affinity. The interrupts distruction
kept bouncing between </tt></font>
<br><font size=2><tt>there two CPUs. </tt></font>
<br>
<br><font size=2><tt>What did you do to handle mthca interrupt on a fixed
cpu?</tt></font>
<br><font size=2><tt><br>
> Also note that the "Service Demand" (CPU us/KB) goes up
by<br>
> 10-20% also. So we really only want to do this when the CPU<br>
> handling interrupts is saturated and we know the other CPU<br>
> is available.<br>
> grant<br>
</tt></font>
<br><font size=2><tt>Thanks</tt></font>
<br><font size=2 face="sans-serif">Shirley Ma<br>
IBM Linux Technology Center<br>
15300 SW Koll Parkway<br>
Beaverton, OR 97006-6063<br>
Phone(Fax): (503) 578-7638</font>