<div class="gmail_quote">On Sun, Aug 9, 2009 at 7:09 PM, Chris Worley <span dir="ltr"><<a href="mailto:worleys@gmail.com">worleys@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
I'm running a target comprised of: RHEL5.2/2.6.18-92.el5 (fresh off<br>
the CD.. never updated) and it's embedded IB stack (not the latest<br>
OFED) w/ SCST rev 1029 8-Aug-2009 ("svn info").<br>
<br>
I'm running a W2008S (fully patched) initiator w/<br>
MLNX_WinOF_2_0_5_wlh_x64_fre_2_0_5_4453.<br>
<br>
Using Mellanox QDR cards/switch.<br>
<br>
Writes over SRP, as measured from the initiator using IOMeter, get<br>
proper performance (i.e. 1.2GB/s).<br>
<br>
Reads get about 30% performance (i.e. 500MB/s instead of 1.6GB/s).<br>
And while reading, IOMeter eventually hangs the system (Windows<br>
becomes unresponsive to GUI interaction).  In this state, I see iostat<br>
reporting transfers at the same low read rate from the target... so<br>
there's IB traffic, but, given IOMeter's tasks are 10 minutes each, it<br>
acts like it's a "skipping record" (sorry of you young folks don't<br>
know what that is... but I can't think of another way to describe it)<br>
and never moving on to the next benchmark, just endlessly repeating<br>
the same I/O over and over again.  If I unload then reload the mlx4_ib<br>
driver on the target, then the Windows system quickly returns, but<br>
IOMeter remains hung and needs killed.<br>
</blockquote></div><br>The throughput of the SRP protocol strongly depends on the block size used for I/O. The results I obtained with IOmeter are:<br>* For a block size of 32 KB: 396 MB/s for reading and 321 MB/s for writing.<br>
* For a block size of 1 MB: 1383 MB/s for reading and 1151 MB/s for writing.<br>These results are about 90% of the throughput obtained with dd.<br><br>Setup details:<br>* Two Mellanox ConnectX DDR cards connected back to back, operating in PCIe 2.0 mode.<br>
* Target: vanilla 2.6.30.4 kernel + SCST patches + the two patches attached to <a href="http://bugzilla.kernel.org/show_bug.cgi?id=13757">http://bugzilla.kernel.org/show_bug.cgi?id=13757</a> + SCST r1030.<br>* Initiator: openSUSE 11.0 (contains a patched 2.6.27.25 kernel) with openSUSE 11.0 OFED components + Linux version of IOmeter's dynamo + IOmeter GUI running in a virtual machine.<br>
* I/O-scheduler used by SRP initiator: noop.<br>
<br>Bart.<br>