<br><tt><font size=2>>> My concern is the performance. The overhead
of software poll_cq loop <br>
>> is quite significant if there are multiple pieces of small amount
of <br>
>> data to be transferred on both sender/receiver sides. For instance,
on <br>
>> the sender, the data I have are 1k, 1k, 2k, 1k..., on the receiver
<br>
>> side, the data size and blocks are the same, 1k, 1k, 2k, 1k....
Do you <br>
>> have a good solution for such kind of problem?<br>
</font></tt>
<br><tt><font size=2>>How many QPs do you use?<br>
>(and how outstanding WR from every QP?)<br>
</font></tt>
<br><tt><font size=2>Only one QP. Is it better to alloc multiple QPs and
evenly distribute WRs among those QPs?</font></tt>
<br>
<br><tt><font size=2>Best,</font></tt>
<br><tt><font size=2>Yicheng</font></tt>
<br>
<br>
<br>
<br>
<table width=100%>
<tr valign=top>
<td width=40%><font size=1 face="sans-serif"><b>Dotan Barak <dotanba@gmail.com></b>
</font>
<p><font size=1 face="sans-serif">05/28/2008 12:24 PM</font>
<td width=59%>
<table width=100%>
<tr valign=top>
<td>
<div align=right><font size=1 face="sans-serif">To</font></div>
<td><font size=1 face="sans-serif">Yicheng Jia <YJia@tmriusa.com></font>
<tr valign=top>
<td>
<div align=right><font size=1 face="sans-serif">cc</font></div>
<td><font size=1 face="sans-serif">general@lists.openfabrics.org</font>
<tr valign=top>
<td>
<div align=right><font size=1 face="sans-serif">Subject</font></div>
<td><font size=1 face="sans-serif">Re: [ofa-general] MLX HCA: CQ request
notification for multiple completions not implemented?</font></table>
<br>
<table>
<tr valign=top>
<td>
<td></table>
<br></table>
<br>
<br>
<br><tt><font size=2>Yicheng Jia wrote:<br>
><br>
> Thanks for your reply. I'm using one CQ for all the WRs. Do you know
<br>
> why there's no ARM-N support in MLX drivers?<br>
I don't know if i can speak in the name of Mellanox/MLX driver <br>
maintainers, but i think that the<br>
reason is lack of demand for this feature (but i can't be sure).<br>
<br>
> My concern is the performance. The overhead of software poll_cq loop
<br>
> is quite significant if there are multiple pieces of small amount
of <br>
> data to be transferred on both sender/receiver sides. For instance,
on <br>
> the sender, the data I have are 1k, 1k, 2k, 1k..., on the receiver
<br>
> side, the data size and blocks are the same, 1k, 1k, 2k, 1k.... Do
you <br>
> have a good solution for such kind of problem?<br>
How many QPs do you use?<br>
(and how outstanding WR from every QP?)<br>
<br>
Dotan<br>
> Best,<br>
> Yicheng<br>
><br>
><br>
><br>
> *Dotan Barak <dotanba@gmail.com>*<br>
><br>
> 05/23/2008 01:27 PM<br>
><br>
>                  <br>
> To<br>
>                  Yicheng
Jia <YJia@tmriusa.com><br>
> cc<br>
>                  general@lists.openfabrics.org<br>
> Subject<br>
>                  Re:
[ofa-general] MLX HCA: CQ request notification for multiple <br>
> completions not implemented?<br>
><br>
><br>
><br>
>                  <br>
><br>
><br>
><br>
><br>
><br>
> Hi.<br>
><br>
> Yicheng Jia wrote:<br>
> ><br>
> > Hi Folks,<br>
> ><br>
> > I'm trying to use CQ Event notification for multiple completions<br>
> > (ARM_N) according to Mellanox Lx III user manual for scatter/gathering<br>
> > RDMA. However I couldn't find it in current MLX driver. It seems
to me<br>
> > that only ARM_NEXT and ARM_SOLICIT are implemented. So if there
are<br>
> > multiple work requests, I have to use "poll_cq" to
synchronously wait<br>
> > until all the requests are done, is it correct? Is there a way
to do<br>
> > asynchronous multiple send by subscribing for a ARM_N event?<br>
> You are right: the low level drivers of Mellanox devices doesn't support<br>
> ARM-N<br>
> (This feature is supported by the devices, but it wasn't implemented
in<br>
> the low level drivers).<br>
><br>
> You are right, in order to read all of the completions you need to
use<br>
> poll_cq.<br>
><br>
> By the way: Do you have you have to create a completion for any WR?<br>
> (if you are using one QP, this will maybe solve your problem).<br>
><br>
> Dotan<br>
><br>
> _____________________________________________________________________________<br>
> Scanned by IBM Email Security Management Services powered by <br>
> MessageLabs. For more information please visit </font></tt><a href=http://www.ers.ibm.com/><tt><font size=2>http://www.ers.ibm.com<br>
> _____________________________________________________________________________<br>
> <</font></tt><a href=http://www.ers.ibm.com/><tt><font size=2>http://www.ers.ibm.com/><br>
><br>
> _____________________________________________________________________________<br>
> Scanned by IBM Email Security Management Services powered by <br>
> MessageLabs. For more information please visit </font></tt><a href=http://www.ers.ibm.com/><tt><font size=2>http://www.ers.ibm.com<br>
> _____________________________________________________________________________<br>
<br>
<br>
_____________________________________________________________________________<br>
Scanned by IBM Email Security Management Services powered by MessageLabs.
For more information please visit </font></tt><a href=http://www.ers.ibm.com/><tt><font size=2>http://www.ers.ibm.com<br>
_____________________________________________________________________________<br>
</font></tt></a></a></a></a>
<br>

<BR>
_____________________________________________________________________________<BR>
Scanned by IBM Email Security Management Services powered by MessageLabs. For more information please visit http://www.ers.ibm.com<BR>
_____________________________________________________________________________<BR>