<br><font size=2><tt>"Talpey, Thomas" <Thomas.Talpey@netapp.com>
wrote on 05/09/2006 06:58:09 PM:<br>
<br>
> Of course, the NFS/RDMA copies do not need to compute the checksum,<br>
> so they are more efficient than the socket atop IPoIB. But I am not<br>
> sure that the payload per WQE is important. We are nowhere near the<br>
> op rate of the adapter. I think the more important factor is the interrupt<br>
> rate. NFS/RDMA allows the client to take a single interrupt (the server<br>
> reply) after all RDMA has occurred. Also, the client uses unsignalled<br>
> completion on as many sends as possible. I believe I measured 0.7<br>
> interrupts per NFS op in my tests.<br>
> <br>
> Well, I have been very pleased with the results so far! We'll have
more<br>
> detail as we go.<br>
> <br>
> Tom. <br>
</tt></font>
<br><font size=2><tt>Computing the checksum is expensive on receiver, on
sender it's free.</tt></font>
<br><font size=2><tt>Yes, high interrupt rate is another killer of the
performance. But I think </tt></font>
<br><font size=2><tt>payload is important, with large MTU supports in IPoIB
RC mode, the </tt></font>
<br><font size=2><tt>performance would be much better. </tt></font>
<br><font size=2><tt>Have you tried to send payload smaller than 2044?
Any difference?<br>
</tt></font>
<br><font size=2><tt>Thanks</tt></font>
<br><font size=2 face="sans-serif">Shirley Ma<br>
IBM Linux Technology Center<br>
15300 SW Koll Parkway<br>
Beaverton, OR 97006-6063<br>
Phone(Fax): (503) 578-7638</font>