<br><tt><font size=2>> >> I am running OFED 1.4 on a Chelsio T3
RNIC.<br>
> >> When I was trying to connect a large number of clients (several
hundred),<br>
> >> I noticed that the server was running out of memory. One
instance of a<br>
> >> whenever I do an rdma_create_qp(), I lose about 7MB of main
memory.<br>
> >> This severly limits the scalability of my application.<br>
> >><br>
> >> Is there a reason for that?<br>
> >>     <br>
> ><br>
> > The amount of memory needed per QP is based on the send and <br>
> receive queue sizes,<br>
> > plus the number of SGEs.  I don't know specific details
about the Chelsio<br>
> > adapter itself to know if 7MB is high or not.<br>
> ><br>
> >   <br>
> That seems very high.  A T3 max depth QP should only use around
256KB of <br>
> dma coherent memory.   The max depth CQ should be around 256KB
too.  So <br>
> something whacked if its consuming 7MB per QP...<br>
> <br>
> How are you measuring this memory usage?<br>
</font></tt>
<br><tt><font size=2>I measured it using the vmstat command. The 7MB are
only a rough estimation.</font></tt>
<br><tt><font size=2>Since I was not aware of the fact that the size of
a QP object is depending on</font></tt>
<br><tt><font size=2>the max QP init attrs, I assigned the highest possible
values for each</font></tt>
<br><tt><font size=2>(16384 send WRs, 1023 recv WRs, 4 SGEs for send and
recv each). When reducing</font></tt>
<br><tt><font size=2>these numbers to what is actually needed (2 send WRs,
2 recv WRs and 1 SGE each),</font></tt>
<br><tt><font size=2>the QP size shrank significantly and I was able to
create many more QPs.</font></tt>
<br>
<br><tt><font size=2>Thanks,</font></tt>
<br><tt><font size=2> Philip</font></tt>