Does that mean that no matter how I size my memory regions the maximum amount of (total) memory I can register is = 2^20 * 4K = 4GB?<div>I.e., Am I limited by the total number of MTTs?</div><div><br><br><div class="gmail_quote">
On Sun, Mar 16, 2008 at 11:50 PM, Jack Morgenstein <<a href="mailto:jackm@dev.mellanox.co.il">jackm@dev.mellanox.co.il</a>> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">
<div class="Ih2E3d">On Monday 17 March 2008 06:49, Rajouri Jammu wrote:<br>
> Jack,<br>
><br>
> The problem I'm seeing is that I'm not able to register even the default<br>
> number of memory regions.<br>
> The default is 131056 but I'm not able to register more than 32635 regions<br>
> I'm on OFED -<a href="http://1.2.5.4" target="_blank">1.2.5.4</a>.<br>
><br>
> Any ideas?<br>
><br>
</div>You are running out of MTTs.  Roughly speaking, by default<br>
there are 2^17 (= 131K) mpts, and 2^20 mtts.  Each memory region<br>
uses 1 mpt entry, and an MTT entry for each 4K of the region.<br>
Thus, to be able to allocate the maximum number of regions, each region<br>
should be no greater than 32K on the average ( = (2^20 / 2^17) * 4K).<br>
Your regions are 100K on the average, so you are using 100K / 4K = 25 mtt entries<br>
per region on the average (instead of 8).<br>
<br>
The calculation for 32K regions is (roughly):<br>
2^15 regions * 2^5 mtt's per region = 2^20 mtts -- the max value.<br>
<font color="#888888"><br>
- Jack<br>
</font><div><div></div><div class="Wj3C7c"><br>
> Below is the output of lspci and ibv_devinfo -v. I also recently upgraded to<br>
> the latest f/w but that didn't make a difference.<br>
><br>
><br>
> lspci | grep Mellanox<br>
> 01:00.0 InfiniBand: Mellanox Technologies MT25208 InfiniHost III Ex (Tavor<br>
> compatibility mode) (rev 20)<br>
><br>
> ibv_devinfo -v<br>
> hca_id: mthca0<br>
>         fw_ver:                         4.8.200<br>
>         node_guid:                      0006:6a00:9800:8403<br>
>         sys_image_guid:                 0006:6a00:9800:8403<br>
>         vendor_id:                      0x02c9<br>
>         vendor_part_id:                 25208<br>
>         hw_ver:                         0xA0<br>
>         board_id:                       MT_0200000001<br>
>         phys_port_cnt:                  2<br>
>         max_mr_size:                    0xffffffffffffffff<br>
>         page_size_cap:                  0xfffff000<br>
>         max_qp:                         64512<br>
>         max_qp_wr:                      65535<br>
>         device_cap_flags:               0x00001c76<br>
>         max_sge:                        59<br>
>         max_sge_rd:                     0<br>
>         max_cq:                         65408<br>
>         max_cqe:                        131071<br>
>         max_mr:                         131056<br>
>         max_pd:                         32768<br>
>         max_qp_rd_atom:                 4<br>
>         max_ee_rd_atom:                 0<br>
>         max_res_rd_atom:                258048<br>
>         max_qp_init_rd_atom:            128<br>
>         max_ee_init_rd_atom:            0<br>
>         atomic_cap:                     ATOMIC_HCA (1)<br>
>         max_ee:                         0<br>
>         max_rdd:                        0<br>
>         max_mw:                         0<br>
>         max_raw_ipv6_qp:                0<br>
>         max_raw_ethy_qp:                0<br>
>         max_mcast_grp:                  8192<br>
>         max_mcast_qp_attach:            56<br>
>         max_total_mcast_qp_attach:      458752<br>
>         max_ah:                         0<br>
>         max_fmr:                        0<br>
>         max_srq:                        960<br>
>         max_srq_wr:                     65535<br>
>         max_srq_sge:                    31<br>
>         max_pkeys:                      64<br>
>         local_ca_ack_delay:             15<br>
><br>
><br>
><br>
> On Tue, Mar 11, 2008 at 11:35 PM, Jack Morgenstein <<a href="mailto:jackm@dev.mellanox.co.il">jackm@dev.mellanox.co.il</a>><br>
> wrote:<br>
><br>
> > On Tuesday 11 March 2008 19:38, Rajouri Jammu wrote:<br>
> > > I think it's Arabel.<br>
> > ><br>
> > > Both drivers are loaded (ib_mthca and mlx4_core). How do I tell which<br>
> > > driver's settings I should modify?<br>
> > ><br>
> > > What will be the max_mr value if log_num_mpt = 20?<br>
> > ><br>
> ><br>
> > To see which device you have, type the following command in your linux<br>
> > console:<br>
> ><br>
> > lspci | grep Mellanox<br>
> ><br>
> > For ConnectX (mlx4), you will see:<br>
> > InfiniBand: Mellanox Technologies: Unknown device 634a (rev a0)<br>
> >  (lspci has not caught up with us yet).<br>
> ><br>
> > For Arbel (InfiniHost III), you will see either:<br>
> > InfiniBand: Mellanox Technologies MT25208 InfiniHost III Ex HCA (rev a0)<br>
> ><br>
> > or, if you are running your arbel in Tavor compatibility mode:<br>
> ><br>
> > InfiniBand: Mellanox Technologies MT25208 InfiniHost III Ex (Tavor<br>
> > compatibility mode) (rev 20)<br>
> > ===========<br>
> > If your installed HCA is a ConnectX, you should use the module parameters<br>
> > for mlx4.<br>
> > If your installed HCA is an InfiniHost III, you should use the module<br>
> > parameters for ib_mthca.<br>
> ><br>
> > - Jack<br>
> ><br>
><br>
</div></div></blockquote></div><br></div>