<br><br><div class="gmail_quote">On Wed, Jul 24, 2013 at 3:31 AM, Anton Starikov <span dir="ltr"><<a href="mailto:ant.starikov@gmail.com" target="_blank">ant.starikov@gmail.com</a>></span> wrote:<br><blockquote style="margin:0px 0px 0px 0.8ex;padding-left:1ex;border-left-color:rgb(204,204,204);border-left-width:1px;border-left-style:solid" class="gmail_quote">
Hello,<br>
<br>
<br>
I'm using OFED-3.5-1 with SL-6.4 (I had to do some minor patching to get it working on 2.6.32-358.14.1.el6.x86_64 kernel due to double export of __pskb_copy).<br>
<br>
OpenMPI give known warning about limit of registrable memory (below). But in current modules there is no "log_num_mtt" parameter to tune.<br></blockquote><div> </div><div>Which HCA are you using ?</div><div> </div>
<div>-- Hal</div><div> </div><blockquote style="margin:0px 0px 0px 0.8ex;padding-left:1ex;border-left-color:rgb(204,204,204);border-left-width:1px;border-left-style:solid" class="gmail_quote">
<br>
Just in case, My hard and soft limits for maximal locked memory are unlimited.<br>
<br>
What should be procedure with latest OFED then?<br>
<br>
Thank you,<br>
<br>
Anton Starikov<br>
<br>
------------------------------------------<br>
<br>
WARNING: It appears that your OpenFabrics subsystem is configured to only<br>
allow registering part of your physical memory.  This can cause MPI jobs to<br>
run with erratic performance, hang, and/or crash.<br>
<br>
This may be caused by your OpenFabrics vendor limiting the amount of<br>
physical memory that can be registered.  You should investigate the<br>
relevant Linux kernel module parameters that control how much physical<br>
memory can be registered, and increase them to allow registering all<br>
physical memory on your machine.<br>
<br>
See this Open MPI FAQ item for more information on these Linux kernel module<br>
parameters:<br>
<br>
    <a href="http://www.open-mpi.org/faq/?category=openfabrics#ib-locked-pages" target="_blank">http://www.open-mpi.org/faq/?category=openfabrics#ib-locked-pages</a><br>
<br>
  Local host:              node1<br>
  Registerable memory:     32768 MiB<br>
  Total memory:            262098 MiB<br>
<br>
Your MPI job will continue, but may be behave poorly and/or hang.<br>
_______________________________________________<br>
Users mailing list<br>
<a href="mailto:Users@lists.openfabrics.org">Users@lists.openfabrics.org</a><br>
<a href="http://lists.openfabrics.org/cgi-bin/mailman/listinfo/users" target="_blank">http://lists.openfabrics.org/cgi-bin/mailman/listinfo/users</a><br>
</blockquote></div><br>