<br><br><div class="gmail_quote">On Tue, Aug 28, 2012 at 9:48 AM, Gaetano Mendola <span dir="ltr"><<a href="mailto:mendola@gmail.com" target="_blank">mendola@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div><div class="h5">...<br>
<br>
</div></div>Indeed my Slop is a PCI-E 2.0 x4 that's why the 1500 MB/sec was what<br>
I'm expecting.<br></blockquote><div><br></div><div>OK - with a PCIe 2.0 x4 slot you are actually doing well to be doing 1500 MB/sec.  Any other ideas for improvement cannot work.</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">

<div class="im"><br>
...</div>
<br>
This what lspci say about that slot:<br>
<br>
<div class="im"><br></div></blockquote><div><br></div><div>You need to use the -vv (two v characters in a row) option to lspci to see width information.</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div class="im">
...</div><div><div class="h5">
<br>
</div></div>I'll try the IBV_WR_RDMA_WRITE_WITH_IMM avoid the send "DONE" message,<br>
as I understood with IBV_WR_RDMA_WRITE_WITH_IMM is notified, right ?<br></blockquote><div><br></div><div>Yes, when the write is finished the target will get the immediate data value.  If things are otherwise going well, and with large transfers like you use, it isn't a significant performance difference to just follow the rdma write with a send message.  You can queue (post) both at the same time, since if the write has an error the send will not happen.</div>
<div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div><div class="h5"><br>
...</div></div><div class="im">
<br>
</div>Yes that's an idea, I have to be sure (as already is the case) the<br>
buffers are not<br>
continuously allocated/deallocated.<br>
I'll try to create an hash table buffer -> memory region to avoid those<br>
registration/deregistration and I'll post what I get.<br>
<div class="HOEnZb"><div class="h5"><br></div></div></blockquote><div><br></div><div>It could make your life easier if you created a private allocation pool for these buffers.  You could create a memory region to cover the entire pool, and then anything allocated from it would be covered by that MR.</div>
<div><br></div><div>Dave</div><div><br></div></div>