Dear all,<div><br></div><div>Both Mellanox Connect X VIP and Neteffect iWARP RNIC  support Ethernet connectivity. So, soft-RoCE can run over these two cards after fixing <span class="Apple-style-span" style="font-family: arial, sans-serif; font-size: 15px; border-collapse: collapse; color: rgb(31, 73, 125); ">libibverbs searching problem after introduce Soft-RoCE packages. But the performance is not as good as expected(a little worse than TCP), even when turn off the CRC functionality. </span> </div>
<div><br></div><div>Thanks so much for all of your help!<br><br><div class="gmail_quote">On Thu, May 5, 2011 at 11:03 AM, Latif, Faisal <span dir="ltr"><<a href="mailto:faisal.latif@intel.com">faisal.latif@intel.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;"><div lang="EN-US" link="blue" vlink="purple"><div><p class="MsoNormal"><span style="font-size:11.0pt;color:#1F497D">NetEffect cards have iWARP drivers in OFED and RoCEE is not supported by NetEffect cards.</span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;color:#1F497D"> </span></p><p class="MsoNormal"><span style="font-size:11.0pt;color:#1F497D">Faisal Latif</span></p><p class="MsoNormal"><span style="font-size:11.0pt;color:#1F497D"> </span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;color:#1F497D"> </span></p><div><div style="border:none;border-top:solid #B5C4DF 1.0pt;padding:3.0pt 0in 0in 0in"><p class="MsoNormal"><b><span style="font-size:10.0pt">From:</span></b><span style="font-size:10.0pt"> <a href="mailto:ewg-bounces@lists.openfabrics.org" target="_blank">ewg-bounces@lists.openfabrics.org</a> [mailto:<a href="mailto:ewg-bounces@lists.openfabrics.org" target="_blank">ewg-bounces@lists.openfabrics.org</a>] <b>On Behalf Of </b>Richard Croucher<br>
<b>Sent:</b> Thursday, May 05, 2011 5:46 AM<br><b>To:</b> 'Bob Pearson'; 'Tanin'; 'OpenFabrics EWG'; 'Dantong Yu'; 'fatfish'; 'Shudong Jin'</span></p><div><div></div><div class="h5">
<br><b>Subject:</b> Re: [ewg] Soft-RoCE on NetEffect NE020 10Gb RNIC</div></div><p></p></div></div><div><div></div><div class="h5"><p class="MsoNormal"> </p><p class="MsoNormal"><span lang="EN-GB" style="font-size:11.0pt;color:#1F497D">As I understand it,  Soft-RoCEE is only to allow developers to run InfiniBand VERBS over Ethernet cards that do not have native RoCEE drivers.   The latter requires RDMA and CEE, whereas Soft-Rocee does not have these dependencies.   The NetEffect and Mellanox cards both have RoCEE drivers in OFED and these should be used in preference. The maintainers will accept bugs on these.</span></p>
<p class="MsoNormal"><span lang="EN-GB" style="font-size:11.0pt;color:#1F497D"> </span></p><p class="MsoNormal"><span lang="EN-GB" style="font-size:11.0pt;color:#1F497D">Soft RoCEE is not currently included or maintained by OFED and is maintained separately by  systemfabricworks </span></p>
<p class="MsoNormal"><span lang="EN-GB" style="font-size:11.0pt;color:#1F497D"> </span></p><div><div style="border:none;border-top:solid #B5C4DF 1.0pt;padding:3.0pt 0in 0in 0in"><p class="MsoNormal"><b><span style="font-size:10.0pt">From:</span></b><span style="font-size:10.0pt"> <a href="mailto:ewg-bounces@lists.openfabrics.org" target="_blank">ewg-bounces@lists.openfabrics.org</a> [mailto:<a href="mailto:ewg-bounces@lists.openfabrics.org" target="_blank">ewg-bounces@lists.openfabrics.org</a>] <b>On Behalf Of </b>Bob Pearson<br>
<b>Sent:</b> 05 May 2011 03:24<br><b>To:</b> 'Tanin'; 'OpenFabrics EWG'; 'Dantong Yu'; 'fatfish'; 'Shudong Jin'<br><b>Subject:</b> Re: [ewg] Soft-RoCE on NetEffect NE020 10Gb RNIC</span></p>
</div></div><p class="MsoNormal"><span lang="EN-GB"> </span></p><p class="MsoNormal"><span style="font-size:11.0pt;color:#1F497D">Hi Mr Lee,</span></p><p class="MsoNormal"><span style="font-size:11.0pt;color:#1F497D"> </span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;color:#1F497D">I will respond off list since rxe is not technically part of OFED.</span></p><p class="MsoNormal"><span style="font-size:11.0pt;color:#1F497D"> </span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;color:#1F497D">Bob Pearson</span></p><p class="MsoNormal"><span style="font-size:11.0pt;color:#1F497D"> </span></p><p class="MsoNormal"><b><span style="font-size:10.0pt">From:</span></b><span style="font-size:10.0pt"> <a href="mailto:ewg-bounces@lists.openfabrics.org" target="_blank">ewg-bounces@lists.openfabrics.org</a> [mailto:<a href="mailto:ewg-bounces@lists.openfabrics.org" target="_blank">ewg-bounces@lists.openfabrics.org</a>] <b>On Behalf Of </b>Tanin<br>
<b>Sent:</b> Wednesday, May 04, 2011 3:52 PM<br><b>To:</b> OpenFabrics EWG; Dantong Yu; fatfish; Shudong Jin<br><b>Subject:</b> [ewg] Soft-RoCE on NetEffect NE020 10Gb RNIC</span></p><p class="MsoNormal"> </p><p class="MsoNormal">
Dear all,</p><div><p class="MsoNormal"> </p></div><div><p class="MsoNormal">I have installed the OFED-1.5.2-rxe on our linux host, which has three network interfaces, Broadcom Corporation NetXtreme II BCM5709 Gigabit Ethernet NIC, Mellanox Technologies MT26478 [ConnectX EN 40GigE, PCIe 2.0 5GT/s] and NetEffect NE020 10Gb Accelerated Ethernet Adapter (iWARP RNIC). The Soft-RoCE can work on the first two cards, but when I applied the Soft-RoCE to the Neteffect card and use "ibv_devinfo" to view the RDMA device, I got  following errors on some of the hosts in our cluster, and the whole OFED stack doesnot work.</p>
</div><div><p class="MsoNormal"> </p></div><div><div><p class="MsoNormal"><b>[root@netqos14 ~]# rxe_cfg status</b></p></div><div><p class="MsoNormal"><b>Name  Link  Driver  Speed  MTU       IPv4_addr              S-RoCE  RMTU</b></p>
</div><div><p class="MsoNormal"><b>eth0     yes    bnx2                 1500      198.124.220.155</b></p></div><div><p class="MsoNormal"><b>eth1      no     bnx2                 1500</b></p></div><div><p class="MsoNormal">
<b>eth2      no     bnx2                 1500</b></p></div><div><p class="MsoNormal"><b>eth3      no     bnx2                 1500</b></p></div><div><p class="MsoNormal"><b>eth4     yes    iw_nes              1500     198.124.220.207      rxe0</b></p>
</div><div><p class="MsoNormal"><b>rxe eth_proto_id: 0x8915</b></p></div><div><p class="MsoNormal"> </p></div><div><p class="MsoNormal"> </p></div><div><p class="MsoNormal"><b>[root@netqos14 ~]# ibv_devinfo</b></p></div><div>
<p class="MsoNormal"><b>hca_id: mlx4_0</b></p></div><div><p class="MsoNormal"><b>        transport:                      InfiniBand (0)</b></p></div><div><p class="MsoNormal"><b>        fw_ver:                         2.7.626</b></p>
</div><div><p class="MsoNormal"><b>        node_guid:                      0002:c903:000b:f306</b></p></div><div><p class="MsoNormal"><b>        sys_image_guid:                 0002:c903:000b:f309</b></p></div><div><p class="MsoNormal">
<b>        vendor_id:                      0x02c9</b></p></div><div><p class="MsoNormal"><b>        vendor_part_id:                 26428</b></p></div><div><p class="MsoNormal"><b>        hw_ver:                         0xB0</b></p>
</div><div><p class="MsoNormal"><b>        board_id:                       MT_0D90110009</b></p></div><div><p class="MsoNormal"><b>        phys_port_cnt:                  1</b></p></div><div><p class="MsoNormal"><b>                port:   1</b></p>
</div><div><p class="MsoNormal"><b>                        state:                  PORT_ACTIVE (4)</b></p></div><div><p class="MsoNormal"><b>                        max_mtu:                2048 (4)</b></p></div><div><p class="MsoNormal">
<b>                        active_mtu:             2048 (4)</b></p></div><div><p class="MsoNormal"><b>                        sm_lid:                 6</b></p></div><div><p class="MsoNormal"><b>                        port_lid:               4</b></p>
</div><div><p class="MsoNormal"><b>                        port_lmc:               0x00</b></p></div><div><p class="MsoNormal"><b>                        link_layer:             IB</b></p></div><div><p class="MsoNormal"> </p>
</div><div><p class="MsoNormal"><b>hca_id: nes0</b></p></div><div><p class="MsoNormal"><b>        transport:                      iWARP (1)</b></p></div><div><p class="MsoNormal"><b>        fw_ver:                         3.16</b></p>
</div><div><p class="MsoNormal"><b>        node_guid:                      0012:5502:f6ac:0000</b></p></div><div><p class="MsoNormal"><b>        sys_image_guid:                 0012:5502:f6ac:0000</b></p></div><div><p class="MsoNormal">
<b>        vendor_id:                      0x1255</b></p></div><div><p class="MsoNormal"><b>        vendor_part_id:                 256</b></p></div><div><p class="MsoNormal"><b>        hw_ver:                         0x5</b></p>
</div><div><p class="MsoNormal"><b>        board_id:                       NES020 Board ID</b></p></div><div><p class="MsoNormal"><b>        phys_port_cnt:                  1</b></p></div><div><p class="MsoNormal"><b>                port:   1</b></p>
</div><div><p class="MsoNormal"><b>                        state:                  PORT_ACTIVE (4)</b></p></div><div><p class="MsoNormal"><b>                        max_mtu:                4096 (5)</b></p></div><div><p class="MsoNormal">
<b>                        active_mtu:             1024 (3)</b></p></div><div><p class="MsoNormal"><b>                        sm_lid:                 0</b></p></div><div><p class="MsoNormal"><b>                        port_lid:               1</b></p>
</div><div><p class="MsoNormal"><b>                        port_lmc:               0x00</b></p></div><div><p class="MsoNormal"><b>                        link_layer:             Ethernet</b></p></div><div><p class="MsoNormal">
 </p></div><div><p class="MsoNormal"><b><span style="color:red">libnes: nes_ualloc_context: Invalid kernel driver version detected. Detected 0,  should be 1</span></b></p></div><div><p class="MsoNormal"><b><span style="color:red">libnes: nes_ualloc_context: Failed to allocate context for device.</span></b></p>
</div><div><p class="MsoNormal"><b><span style="color:red">Failed to open device</span></b></p></div></div><div><p class="MsoNormal"> </p></div><div><p class="MsoNormal">However, some hosts in our cluster can make Soft-RoCE work on the iWARP RNIC with the same configuration. The info is as follows,</p>
</div><div><p class="MsoNormal"> </p></div><div><div><p class="MsoNormal">[root@netqos13 rftp]# rxe_cfg status</p></div><div><p class="MsoNormal">Name  Link  Driver  Speed  MTU   IPv4_addr               S-RoCE  RMTU</p></div>
<div><p class="MsoNormal">eth0     yes   bnx2                 1500   198.124.220.154</p></div><div><p class="MsoNormal">eth1      no    bnx2                 1500</p></div><div><p class="MsoNormal">eth2      no    bnx2                 1500</p>
</div><div><p class="MsoNormal">eth3      no    bnx2                 1500</p></div><div><p class="MsoNormal">eth4     yes   iw_nes             1500   198.124.220.206       rxe0    1024  (3)</p></div><div><p class="MsoNormal">
rxe eth_proto_id: 0x8915</p></div><div><p class="MsoNormal"> </p></div><div><p class="MsoNormal">[root@netqos13 rftp]# ibv_devinfo</p></div><div><p class="MsoNormal">hca_id: mlx4_0</p></div><div><p class="MsoNormal">        transport:                      InfiniBand (0)</p>
</div><div><p class="MsoNormal">        fw_ver:                         2.7.626</p></div><div><p class="MsoNormal">        node_guid:                      0002:c903:000b:f31e</p></div><div><p class="MsoNormal">        sys_image_guid:                 0002:c903:000b:f321</p>
</div><div><p class="MsoNormal">        vendor_id:                      0x02c9</p></div><div><p class="MsoNormal">        vendor_part_id:                 26428</p></div><div><p class="MsoNormal">        hw_ver:                         0xB0</p>
</div><div><p class="MsoNormal">        board_id:                       MT_0D90110009</p></div><div><p class="MsoNormal">        phys_port_cnt:                  1</p></div><div><p class="MsoNormal">                port:   1</p>
</div><div><p class="MsoNormal">                        state:                  PORT_ACTIVE (4)</p></div><div><p class="MsoNormal">                        max_mtu:                2048 (4)</p></div><div><p class="MsoNormal">
                        active_mtu:             2048 (4)</p></div><div><p class="MsoNormal">                        sm_lid:                 6</p></div><div><p class="MsoNormal">                        port_lid:               1</p>
</div><div><p class="MsoNormal">                        port_lmc:               0x00</p></div><div><p class="MsoNormal">                        link_layer:             IB</p></div><div><p class="MsoNormal"> </p></div><div>
<p class="MsoNormal">hca_id: nes0</p></div><div><p class="MsoNormal">        transport:                      iWARP (1)</p></div><div><p class="MsoNormal">        fw_ver:                         3.16</p></div><div><p class="MsoNormal">
        node_guid:                      0012:5502:f208:0000</p></div><div><p class="MsoNormal">        sys_image_guid:                 0012:5502:f208:0000</p></div><div><p class="MsoNormal">        vendor_id:                      0x1255</p>
</div><div><p class="MsoNormal">        vendor_part_id:                 256</p></div><div><p class="MsoNormal">        hw_ver:                         0x5</p></div><div><p class="MsoNormal">        board_id:                       NES020 Board ID</p>
</div><div><p class="MsoNormal">        phys_port_cnt:                  1</p></div><div><p class="MsoNormal">                port:   1</p></div><div><p class="MsoNormal">                        state:                  PORT_ACTIVE (4)</p>
</div><div><p class="MsoNormal">                        max_mtu:                4096 (5)</p></div><div><p class="MsoNormal">                        active_mtu:             1024 (3)</p></div><div><p class="MsoNormal">                        sm_lid:                 0</p>
</div><div><p class="MsoNormal">                        port_lid:               1</p></div><div><p class="MsoNormal">                        port_lmc:               0x00</p></div><div><p class="MsoNormal">                        link_layer:             Ethernet</p>
</div><div><p class="MsoNormal"> </p></div><div><p class="MsoNormal">hca_id: rxe0</p></div><div><p class="MsoNormal">        transport:                      InfiniBand (0)</p></div><div><p class="MsoNormal">        fw_ver:                         0.0.0</p>
</div><div><p class="MsoNormal">        node_guid:                      0212:55ff:fe02:f208</p></div><div><p class="MsoNormal">        sys_image_guid:                 0000:0000:0000:0000</p></div><div><p class="MsoNormal">
        vendor_id:                      0x0000</p></div><div><p class="MsoNormal">        vendor_part_id:                 0</p></div><div><p class="MsoNormal">        hw_ver:                         0x0</p></div><div><p class="MsoNormal">
        phys_port_cnt:                  1</p></div><div><p class="MsoNormal">                port:   1</p></div><div><p class="MsoNormal">                        state:                  PORT_ACTIVE (4)</p></div><div><p class="MsoNormal">
                        max_mtu:                4096 (5)</p></div><div><p class="MsoNormal">                        active_mtu:             1024 (3)</p></div><div><p class="MsoNormal">                        sm_lid:                 0</p>
</div><div><p class="MsoNormal">                        port_lid:               0</p></div><div><p class="MsoNormal">                        port_lmc:               0x00</p></div><div><p class="MsoNormal">                        link_layer:             Ethernet</p>
</div></div><div><p class="MsoNormal"> </p></div><div><p class="MsoNormal">The two host are identical.  The system info is as follows,</p></div><div><p class="MsoNormal"> </p></div><div><div><p class="MsoNormal">[root@netqos13 rftp]# uname -a</p>
</div><div><p class="MsoNormal">Linux netqos13 2.6.18-164.11.1.el5_lustre.1.8.3 #1 SMP Fri Apr 9 18:00:39 MDT 2010 x86_64 x86_64 x86_64 GNU/Linux</p></div></div><div><p class="MsoNormal"> </p></div><div><div><p class="MsoNormal">
[root@netqos13 rftp]# ifconfig</p></div><div><p class="MsoNormal">eth0      Link encap:Ethernet  HWaddr A4:BA:DB:1E:CC:8D</p></div><div><p class="MsoNormal">          inet addr:198.124.220.154  Bcast:198.124.220.63  Mask:255.255.255.192</p>
</div><div><p class="MsoNormal">          inet6 addr: fe80::a6ba:dbff:fe1e:cc8d/64 Scope:Link</p></div><div><p class="MsoNormal">          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1</p></div><div><p class="MsoNormal">
          RX packets:105558250 errors:0 dropped:0 overruns:0 frame:0</p></div><div><p class="MsoNormal">          TX packets:137816731 errors:0 dropped:0 overruns:0 carrier:0</p></div><div><p class="MsoNormal">          collisions:0 txqueuelen:1000</p>
</div><div><p class="MsoNormal">          RX bytes:95088704022 (88.5 GiB)  TX bytes:156759141516 (145.9 GiB)</p></div><div><p class="MsoNormal">          Interrupt:98 Memory:d2000000-d2012800</p></div><div><p class="MsoNormal">
 </p></div><div><p class="MsoNormal">eth4      Link encap:Ethernet  HWaddr 00:12:55:02:F2:08</p></div><div><p class="MsoNormal">          inet addr:198.124.220.206  Bcast:198.124.220.255  Mask:255.255.255.192</p></div><div>
<p class="MsoNormal">          inet6 addr: fe80::212:55ff:fe02:f208/64 Scope:Link</p></div><div><p class="MsoNormal">          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1</p></div><div><p class="MsoNormal">          RX packets:59487544 errors:0 dropped:0 overruns:0 frame:0</p>
</div><div><p class="MsoNormal">          TX packets:55691374 errors:0 dropped:0 overruns:0 carrier:0</p></div><div><p class="MsoNormal">          collisions:0 txqueuelen:1000</p></div><div><p class="MsoNormal">          RX bytes:82372790409 (76.7 GiB)  TX bytes:34462883454 (32.0 GiB)</p>
</div><div><p class="MsoNormal">          Interrupt:130</p></div><div><p class="MsoNormal"> </p></div><div><p class="MsoNormal">ib0       Link encap:InfiniBand  HWaddr 80:00:00:48:FE:80:00:00:00:00:00:00:00:00:00:00:00:00:00:00</p>
</div><div><p class="MsoNormal">          inet addr:192.168.1.13  Bcast:192.168.1.255  Mask:255.255.255.0</p></div><div><p class="MsoNormal">          inet6 addr: fe80::202:c903:b:f31f/64 Scope:Link</p></div><div><p class="MsoNormal">
          UP BROADCAST RUNNING MULTICAST  MTU:65520  Metric:1</p></div><div><p class="MsoNormal">          RX packets:4461 errors:0 dropped:0 overruns:0 frame:0</p></div><div><p class="MsoNormal">          TX packets:17 errors:0 dropped:9 overruns:0 carrier:0</p>
</div><div><p class="MsoNormal">          collisions:0 txqueuelen:256</p></div><div><p class="MsoNormal">          RX bytes:264959 (258.7 KiB)  TX bytes:3267 (3.1 KiB)</p></div><div><p class="MsoNormal"> </p></div><div><p class="MsoNormal">
lo        Link encap:Local Loopback</p></div><div><p class="MsoNormal">          inet addr:127.0.0.1  Mask:255.0.0.0</p></div><div><p class="MsoNormal">          inet6 addr: ::1/128 Scope:Host</p></div><div><p class="MsoNormal">
          UP LOOPBACK RUNNING  MTU:16436  Metric:1</p></div><div><p class="MsoNormal">          RX packets:19040792 errors:0 dropped:0 overruns:0 frame:0</p></div><div><p class="MsoNormal">          TX packets:19040792 errors:0 dropped:0 overruns:0 carrier:0</p>
</div><div><p class="MsoNormal">          collisions:0 txqueuelen:0</p></div><div><p class="MsoNormal">          RX bytes:147810608491 (137.6 GiB)  TX bytes:147810608491 (137.6 GiB)</p></div></div><div><p class="MsoNormal">
 </p></div><div><p class="MsoNormal">So, my question is why is that Soft-RoCE does not work on some of the NetEffect iWARP RNIC's, but does work on the other NetEffect iWARP RNIC's? All iWARP RNIC's are on different hosts of the same cluster, and connected via a Juniper EX 2500 switch. </p>
</div><div><p class="MsoNormal"> </p></div><div><p class="MsoNormal">Any help will be greatly appreciated.</p></div><div><p class="MsoNormal"> </p></div><div><p class="MsoNormal">-- </p><div><p class="MsoNormal">Best regards,</p>
</div><div><p class="MsoNormal"> </p></div><div><p class="MsoNormal">-----------------------------------------------------------------------------------------------<br>Li, Tan<br>PhD Candidate & Research Assistant, <br>
Electrical Engineering, <br>Stony Brook University, NY<br><br>Personal Web Site: <a href="https://sites.google.com/site/homepagelitan/Home" target="_blank">https://sites.google.com/site/homepagelitan/Home</a><br><br>Email: <a href="mailto:fanqielee@gmail.com" target="_blank">fanqielee@gmail.com</a></p>
</div><p class="MsoNormal"> </p></div></div></div></div></div></blockquote></div><br><br clear="all"><br>-- <br><div>Best regards,</div>
<div> </div>
<div>-----------------------------------------------------------------------------------------------<br>Li, Tan<br>PhD Candidate & Research Assistant, <br>Electrical Engineering, <br>Stony Brook University, NY<br><br>
Personal Web Site: <a href="https://sites.google.com/site/homepagelitan/Home" target="_blank">https://sites.google.com/site/homepagelitan/Home</a><br><br>Email: <a href="mailto:fanqielee@gmail.com" target="_blank">fanqielee@gmail.com</a></div>
<br>
</div>