It turns out that SuperMicro recently released a BIOS update for our motherboards.  No release notes to say what all was done, but after installing the update we now have MaxReadReq = 4096.  I ran ib_rdma_bw and now we are getting 1500MB/s instead of 1336.
<br><br><br><br><div class="gmail_quote">On Jan 21, 2008 4:14 AM, Bart Van Assche <<a href="mailto:bart.vanassche@gmail.com">bart.vanassche@gmail.com</a>> wrote:<br><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
<div class="Ih2E3d">On Jan 18, 2008 5:09 PM, Sagi Rotem <<a href="mailto:Sagir@mellanox.co.il">Sagir@mellanox.co.il</a>> wrote:<br>> This may be your problem:<br>> MaxReadReq 128 bytes<br>> U need a BIOS update , common value with good performance is 512.
<br>> Alternatively u can force it using setpci but than system may be<br>> unstable.<br><br></div>After unloading and reloading the ib_mthca module with parameter<br>tune_pci=1 (which sets MaxReadReq to 4096,) ib_rdma_bw now reports a
<br>bandwidth of 933 MB/s.<br><br>Thanks,<br><font color="#888888"><br>Bart.<br></font></blockquote></div><br>