<div>On Fri, Mar 21, 2008 at 2:08 PM, Roland Dreier <<a href="mailto:rdreier@cisco.com">rdreier@cisco.com</a>> wrote:<br></div><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">
<div class="Ih2E3d"> > I burnt a mem-free f/w on the card and this time I'm getting a different<br>
 > error when trying to set num_mtt to 2097152.<br>
<br>
 > I did:<br>
<br>
 > modprobe ib_mtcha num_mpt=262144 num_mtt=2097152<br>
<br>
</div><div class="Ih2E3d"> >  kernel: ib_mthca 0000:01:00.0: Failed to initialize memory region table, aborting.<br>
<br>
</div>You may not have enough contiguous memory for the buddy allocator<br>
bitmaps for the MTT.  What does /proc/buddyinfo show when this<br>
happens?<br>
<div class="Ih2E3d"></div></blockquote><div><br></div><div>I have 32GB of physical memory in the system.</div><div><br></div><div>cat /proc/buddyinfo </div><div>Node 0, zone      DMA      3      5      3      2      4      0      2      0      2      0      2 </div>
<div>Node 0, zone    DMA32      1      0      0      2      5      4      2      2      3      3    486 </div><div>Node 0, zone   Normal     80     38      8    189    335     46     40      3      3      1   7366</div><div>
<br></div><div>No idea how to interpret that.</div><div><br></div><div>Can I change some system parameter so that it gets the required memory?</div><div><br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">
<div class="Ih2E3d"><br>
 > Roland, when your attempt succeeded were you using a mem-free HCA or the<br>
 > 256MB version?<br>
<br>
</div>mem-free.  With the fixes I just posted, I am able to load the driver<br>
with num_mtt=33554432 and have it work in fact.<br>
<br>
It's not clear to me why you need such crazy values.  Having 2M MTT<br>
segments means you can map 64GB of memory with 4KB pages... do you<br>
really need that much memory pinned for IB operations?<br></blockquote><div><br></div><div>I thought 2M MTTs will allow to map up to 8GB of memory?</div><div>2^21*4K. Is that not correct?</div><div><br></div><div> </div>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">
<font color="#888888"><br>
 - R.<br>
</font></blockquote></div><br>