<br><br><div class="gmail_quote">On Fri, Jul 26, 2013 at 4:24 AM, Anton Starikov <span dir="ltr"><<a href="mailto:ant.starikov@gmail.com" target="_blank">ant.starikov@gmail.com</a>></span> wrote:<br><blockquote style="margin:0px 0px 0px 0.8ex;padding-left:1ex;border-left-color:rgb(204,204,204);border-left-width:1px;border-left-style:solid" class="gmail_quote">
Yep, that one I saw.<br>
<br>
But earlier here was long discussion about which of them (log_mtts_per_seg or log_num_mtt ) to use, and conclusion was that log_num_mtt is more preferable as it decrease fragmentation, if I remember correctly.<br></blockquote>
<div> </div><div>FWIW, in terms of the latest upstream driver sources, I don't see log_num_mtt module parameter for mlx4; only log_mtts_per_seg.</div><div> </div><div>-- Hal</div><div> </div><blockquote style="margin:0px 0px 0px 0.8ex;padding-left:1ex;border-left-color:rgb(204,204,204);border-left-width:1px;border-left-style:solid" class="gmail_quote">

<span class="HOEnZb"><font color="#888888"><br>
Anton.<br>
</font></span><div class="HOEnZb"><div class="h5"><br>
On Jul 25, 2013, at 5:58 PM, Hal Rosenstock <<a href="mailto:hal.rosenstock@gmail.com">hal.rosenstock@gmail.com</a>> wrote:<br>
<br>
><br>
><br>
> On Wed, Jul 24, 2013 at 8:56 AM, Anton Starikov <<a href="mailto:ant.starikov@gmail.com">ant.starikov@gmail.com</a>> wrote:<br>
><br>
> It is connectx-3 (MT27500). I checked driver sources, there is no mentioning of log_num_mtt .<br>
><br>
> It's log_mtts_per_seg, log_mtts_per_seg and it's found in<br>
> drivers/net/ethernet/mellanox/mlx4/main.c<br>
><br>
><br>
> On Jul 24, 2013, at 12:46 PM, Hal Rosenstock <<a href="mailto:hal.rosenstock@gmail.com">hal.rosenstock@gmail.com</a>> wrote:<br>
><br>
> ><br>
> ><br>
> > On Wed, Jul 24, 2013 at 3:31 AM, Anton Starikov <<a href="mailto:ant.starikov@gmail.com">ant.starikov@gmail.com</a>> wrote:<br>
> > Hello,<br>
> ><br>
> ><br>
> > I'm using OFED-3.5-1 with SL-6.4 (I had to do some minor patching to get it working on 2.6.32-358.14.1.el6.x86_64 kernel due to double export of __pskb_copy).<br>
> ><br>
> > OpenMPI give known warning about limit of registrable memory (below). But in current modules there is no "log_num_mtt" parameter to tune.<br>
> ><br>
> > Which HCA are you using ?<br>
> ><br>
> > -- Hal<br>
> ><br>
> ><br>
> > Just in case, My hard and soft limits for maximal locked memory are unlimited.<br>
> ><br>
> > What should be procedure with latest OFED then?<br>
> ><br>
> > Thank you,<br>
> ><br>
> > Anton Starikov<br>
> ><br>
> > ------------------------------------------<br>
> ><br>
> > WARNING: It appears that your OpenFabrics subsystem is configured to only<br>
> > allow registering part of your physical memory.  This can cause MPI jobs to<br>
> > run with erratic performance, hang, and/or crash.<br>
> ><br>
> > This may be caused by your OpenFabrics vendor limiting the amount of<br>
> > physical memory that can be registered.  You should investigate the<br>
> > relevant Linux kernel module parameters that control how much physical<br>
> > memory can be registered, and increase them to allow registering all<br>
> > physical memory on your machine.<br>
> ><br>
> > See this Open MPI FAQ item for more information on these Linux kernel module<br>
> > parameters:<br>
> ><br>
> >     <a href="http://www.open-mpi.org/faq/?category=openfabrics#ib-locked-pages" target="_blank">http://www.open-mpi.org/faq/?category=openfabrics#ib-locked-pages</a><br>
> ><br>
> >   Local host:              node1<br>
> >   Registerable memory:     32768 MiB<br>
> >   Total memory:            262098 MiB<br>
> ><br>
> > Your MPI job will continue, but may be behave poorly and/or hang.<br>
> > _______________________________________________<br>
> > Users mailing list<br>
> > <a href="mailto:Users@lists.openfabrics.org">Users@lists.openfabrics.org</a><br>
> > <a href="http://lists.openfabrics.org/cgi-bin/mailman/listinfo/users" target="_blank">http://lists.openfabrics.org/cgi-bin/mailman/listinfo/users</a><br>
> ><br>
><br>
><br>
<br>
</div></div></blockquote></div><br>