Hi,<div><br class="webkit-block-placeholder"></div><div>Is there a way to tell the HCA driver to use more of the system memory as context memory?</div><div>When I tried changing the module load parameters num_mpt and num_mtt I got the following error.</div>
<div><br class="webkit-block-placeholder"></div><div>kernel: ib_mthca 0000:01:00.0: Profile requires 0x8000000 bytes; won't fit in 0x7a00000 bytes of context memory.</div><div>So it's currently using 128MB as context memory?</div>
<div><br class="webkit-block-placeholder"></div><div>I'm using dual-port DDR memfree HCA.</div><div><br class="webkit-block-placeholder"></div><div>Also, where can I set the module parameter overrides?</div><div><br class="webkit-block-placeholder">
</div><div>I added this line to /etc/init.d/openibd but that didn't make any difference. </div><div><div>if [ "X${MTHCA_LOAD}" == "Xyes" ]; then</div><div>        #/sbin/modprobe ib_mthca  > /dev/null 2>&1</div>
<div>        /sbin/modprobe ib_mthca num_mpt=262144 num_mtt=2097152 > /dev/null 2>&1</div><div><br class="webkit-block-placeholder"></div></div><div>The only way I could experiment was to disable openibd autostart and manually run </div>
<div>modprobe ib_mtcha num_mpt=262144 num_mtt=2097152<br><br></div><div>Any info would be greatly appreciated.</div><div><br class="webkit-block-placeholder"></div><div><br><div class="gmail_quote">On Tue, Mar 11, 2008 at 6:26 AM, Tziporet Koren <<a href="mailto:tziporet@dev.mellanox.co.il">tziporet@dev.mellanox.co.il</a>> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;"><div><div></div><div class="Wj3C7c">Rajouri Jammu wrote:<br>
> The HCA I'm using reports max_mr = 131056.<br>
><br>
> Our application needs large number of memory regions, much more than<br>
> the 128K limit.<br>
><br>
> Is there a way to increase this limit?<br>
> I suppose it's bound by memory on the HCA. Is there an HCA that can<br>
> use host memory to increase the number of MRs that can be supported.<br>
><br>
</div></div>Which HCA you are using?<br>
In mlx4 and mthca drivers there are modules parameters to change the<br>
amount of memory regions (by enlarging the number of MPTs and MTTs)<br>
<br>
for example:<br>
mlx4:<br>
   log_num_mpt:         log maximum number of memory protection table<br>
entries per HCA (default is 17; max is 20)<br>
   log_num_mtt:         log maximum number of memory translation table<br>
segments per HCA (default is 20; max is 20)<br>
<br>
mthca:<br>
  num_mpt               - maximum number of memory protection table<br>
entries per HCA (int)<br>
  num_mtt               - maximum number of memory translation table<br>
segments per HCA (int)<br>
<font color="#888888"><br>
Tziporet<br>
<br>
</font></blockquote></div><br></div>