<br><font size=2 face="sans-serif">Tzachi,</font>
<br>
<br><font size=2 face="sans-serif">You are correct.. there are 2 SG lists..
the IB scatter gather and the StorPort scatter gather list.  </font>
<br>
<br><font size=2 face="sans-serif">The issue we are seeing is with the
StorPort scatter gather list size which seems to be limited to 16 entries
(16 * 4096 page size = 64KB IO).    The reason we want this size
increased is to be able to scale single stream bandwidth by feeding the
storage backend larger IOs.  Basically pusing the latency down to
the backend, keeping the disks busy while freeing up the host.  This
will give us greater bandwidth.</font>
<br>
<br><font size=2 face="sans-serif">The StorPort scatter gather list size
is controlled by setting PORT_CONFIGURATION_INFORMATION::NumberOfPhysicalBreaks.
 On entry to srp_find_adapter() StorPort has defaulted this to 16.
 I was told by Microsoft that I should be able to set this to 254.
(StorPort adds 1).  When I set this value it does not stick.  A
matter of fact NT is not even reading the location.  This was confirmed
by setting a break on access to NumberOfPhysicalBreaks just before return
from FindAdapter() and hitting GO in WinDbg.</font>
<br>
<br><font size=2 face="sans-serif">What I did find out is that the number
of map registers allocated to the adpater is being limited to 16 by an
internal call to IoGetDmaAdapter().  This function is called by NT
during adapter initialization right after we return from FindAdapter().
 According to Microsoft this is what is capping the scatter gather
list size.</font>
<br>
<br><font size=2 face="sans-serif">As it stands right now they have yet
to tell me why IoGetDmaAdapter() is limiting the number of map registers.
 I will let you know once I find out more.</font>
<br><font size=2 face="sans-serif"><br>
Daniel Cummins<br>
SeaChange International<br>
32 Mill Street, Greenville, NH 03048<br>
Phone (603) 878-6414<br>
mailto:daniel.cummins@schange.com<br>
<br>
This e-mail and any attachments may contain information which is SeaChange
International confidential.  The information enclosed is intended
only for the addressees herein and may not be copied or forwarded without
permission from SeaChange International.</font>
<br>
<br><font size=3><tt>Hi Steve,<br>
<br>
There are two questions that I need to understand:<br>
1) What SG lists are you talking about? The IB ones (post send/recive)?<br>
<br>
2) why is 64kb not enough. Does the code send out one request and only<br>
once it is finished it is sending the next request? Assuming you want to<br>
reach to a BW of 1000MB/sec than this means that you should have a<br>
request once every 64us.<br>
Do you know if the time that it takes to handle a request is bigger that<br>
64us?<br>
<br>
Thanks<br>
Tzachi <br>
<br>
><i> -----Original Message-----<br>
</i>><i> From: </i></tt></font><a href="http://lists.openfabrics.org/cgi-bin/mailman/listinfo/ofw"><font size=3 color=blue><tt><i><u>ofw-bounces
at lists.openfabrics.org</u></i></tt></font></a><font size=3><tt><i> <br>
</i>><i> [mailto:</i></tt></font><a href="http://lists.openfabrics.org/cgi-bin/mailman/listinfo/ofw"><font size=3 color=blue><tt><i><u>ofw-bounces
at lists.openfabrics.org</u></i></tt></font></a><font size=3><tt><i>] On
Behalf Of Steve Valimaki<br>
</i>><i> Sent: Monday, June 25, 2007 10:16 PM<br>
</i>><i> To: </i></tt></font><a href="http://lists.openfabrics.org/cgi-bin/mailman/listinfo/ofw"><font size=3 color=blue><tt><i><u>ofw
at lists.openfabrics.org</u></i></tt></font></a><font size=3><tt><i><br>
</i>><i> Subject: [ofw] WinIB SRP driver and 64k IO's?<br>
</i>><i> <br>
</i>><i> Doing some basic testing (iometer, xdd) of the windows WinIB
(Mellanox<br>
</i>><i> 1.3) SRP driver, its seems that I've not been able to get <br>
</i>><i> larger the 64K IO's to my DataDirect Networks Storage array.
<br>
</i>><i> The host is Windows server<br>
</i>><i> 2003 SP2. I suspect it may be the need to increase the size
<br>
</i>><i> of the SG list, is there a known limitation?<br>
</i>><i> <br>
</i>><i> Thanks,<br>
</i>><i> Steve<br>
</i>><i> <br>
</i>><i> --<br>
</i>><i> Steve Valimaki<br>
</i>><i> Field Applications Engineer<br>
</i>><i> DataDirect Networks Federal LLC<br>
</i>><i> Cell Phone:   (443) 415-4947<br>
</i>><i> Office Phone: (410) 309-9300 x152<br>
</i>><i> <br>
</i>><i> </i></tt></font><a href=http://www.datadirectnet.com/><font size=3 color=blue><tt><i><u>http://www.datadirectnet.com</u></i></tt></font></a><font size=3><tt><i><br>
</i>><i> <br>
</i>><i> DDN Support Announcement mailing list:<br>
</i>><i> </i></tt></font><a href=http://www.ddnsupport.com/announce><font size=3 color=blue><tt><i><u>http://www.ddnsupport.com/announce</u></i></tt></font></a><font size=3><tt><i><br>
</i>><i> <br>
</i>><i> <br>
</i>><i> <br>
</i>><i> _______________________________________________<br>
</i>><i> ofw mailing list<br>
</i>><i> </i></tt></font><a href="http://lists.openfabrics.org/cgi-bin/mailman/listinfo/ofw"><font size=3 color=blue><tt><i><u>ofw
at lists.openfabrics.org</u></i></tt></font></a><font size=3><tt><i><br>
</i>><i> </i></tt></font><a href="http://lists.openfabrics.org/cgi-bin/mailman/listinfo/ofw"><font size=3 color=blue><tt><i><u>http://lists.openfabrics.org/cgi-bin/mailman/listinfo/ofw</u></i></tt></font></a><font size=3><tt><i><br>
</i>><i> <br>
</i></tt></font>