<br><font size=2><tt>Hello Grant,</tt></font>
<br>
<br><font size=2><tt>openib-general-bounces@openib.org wrote on 04/19/2006
09:42:26 AM:<br>
> I've looked at this tradeoff pretty closely with ia64 (1.5Ghz)<br>
> by pinning netperf to a different CPU than the one handling interrupts.<br>
> By moving netperf RX traffic off the CPU handling interrupts,<br>
> the 1.5Ghz ia64 box goes from 2.8 Gb/s to around 3.5 Gb/s.<br>
> But the "service demand" (CPU time per KB payload)  goes
up<br>
> from ~2.3 usec/KB to ~3.1 usec/KB - cacheline misses go up dramatically.<br>
</tt></font>
<br><font size=2><tt>Yes, netperf/netserver binding to same cpu definitely
has benefit cacheline. </tt></font>
<br><font size=2><tt>But the cpu will be the bottleneck. One cpu is not
sufficient to drain out faster </tt></font>
<br><font size=2><tt>network device HCA.</tt></font>
<br><font size=2><tt><br>
> I'm expect splitting the RX/TX completeions would achieve something<br>
> similar since we are just "slicing" the same problem from
a different<br>
> angle.  Apps typically do both RX and TX and will be running
on one<br>
> CPU. So on one path they will be missing cachelines.<br>
</tt></font>
<br><font size=2><tt>It's different. Binding cpu garantees packets goes
to the same cpu. </tt></font>
<br><font size=2><tt>WC handler is not in interrupt conext. It could deliver
packets to different cpus.</tt></font>
<br><font size=2><tt><br>
> Anyway, my take is IPoIB perf isn't as critical as SDP and RDMA perf.<br>
> If folks really care about perf, they have to migrate away from<br>
> IPoIB to either SDP or directly use RDMA (uDAPL or something). <br>
> Splitting RX/TX completions might help initial adoption, but<br>
> aren't were the big wins in perf are.<br>
</tt></font>
<br><font size=2><tt>IPoIB perf if important for people still use old application.
We do see under some </tt></font>
<br><font size=2><tt>workload IPoIB gain double bidirectional performance
with splitting CQ/tune poll </tt></font>
<br><font size=2><tt>interval/poll more entries from WC patch.</tt></font>
<br><font size=2><tt>It's a huge improvement. </tt></font>
<br>
<br><font size=2 face="sans-serif">Thanks<br>
Shirley Ma<br>
IBM Linux Technology Center<br>
15300 SW Koll Parkway<br>
Beaverton, OR 97006-6063<br>
Phone(Fax): (503) 578-7638<br>
<br>
</font>
<br>
<br>