<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40"><head><META HTTP-EQUIV="Content-Type" CONTENT="text/html; charset=us-ascii"><meta name=Generator content="Microsoft Word 14 (filtered medium)"><style><!--
/* Font Definitions */
@font-face
{font-family:"Cambria Math";
panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
{font-family:Calibri;
panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
{font-family:Tahoma;
panose-1:2 11 6 4 3 5 4 4 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
{margin:0in;
margin-bottom:.0001pt;
font-size:12.0pt;
font-family:"Times New Roman","serif";}
a:link, span.MsoHyperlink
{mso-style-priority:99;
color:blue;
text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
{mso-style-priority:99;
color:purple;
text-decoration:underline;}
span.EmailStyle17
{mso-style-type:personal-reply;
font-family:"Calibri","sans-serif";
color:#1F497D;}
.MsoChpDefault
{mso-style-type:export-only;
font-family:"Calibri","sans-serif";}
@page WordSection1
{size:8.5in 11.0in;
margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
{page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]--></head><body lang=EN-US link=blue vlink=purple><div class=WordSection1><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'>Hi Mr Lee,<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'>I will respond off list since rxe is not technically part of OFED.<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'>Bob Pearson<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><b><span style='font-size:10.0pt;font-family:"Tahoma","sans-serif"'>From:</span></b><span style='font-size:10.0pt;font-family:"Tahoma","sans-serif"'> ewg-bounces@lists.openfabrics.org [mailto:ewg-bounces@lists.openfabrics.org] <b>On Behalf Of </b>Tanin<br><b>Sent:</b> Wednesday, May 04, 2011 3:52 PM<br><b>To:</b> OpenFabrics EWG; Dantong Yu; fatfish; Shudong Jin<br><b>Subject:</b> [ewg] Soft-RoCE on NetEffect NE020 10Gb RNIC<o:p></o:p></span></p><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal>Dear all,<o:p></o:p></p><div><p class=MsoNormal><o:p> </o:p></p></div><div><p class=MsoNormal>I have installed the OFED-1.5.2-rxe on our linux host, which has three network interfaces, Broadcom Corporation NetXtreme II BCM5709 Gigabit Ethernet NIC, Mellanox Technologies MT26478 [ConnectX EN 40GigE, PCIe 2.0 5GT/s] and NetEffect NE020 10Gb Accelerated Ethernet Adapter (iWARP RNIC). The Soft-RoCE can work on the first two cards, but when I applied the Soft-RoCE to the Neteffect card and use "ibv_devinfo" to view the RDMA device, I got following errors on some of the hosts in our cluster, and the whole OFED stack doesnot work.<o:p></o:p></p></div><div><p class=MsoNormal><o:p> </o:p></p></div><div><div><p class=MsoNormal><b>[root@netqos14 ~]# rxe_cfg status</b><o:p></o:p></p></div><div><p class=MsoNormal><b>Name Link Driver Speed MTU IPv4_addr S-RoCE RMTU</b><o:p></o:p></p></div><div><p class=MsoNormal><b>eth0 yes bnx2 1500 198.124.220.155</b><o:p></o:p></p></div><div><p class=MsoNormal><b>eth1 no bnx2 1500</b><o:p></o:p></p></div><div><p class=MsoNormal><b>eth2 no bnx2 1500</b><o:p></o:p></p></div><div><p class=MsoNormal><b>eth3 no bnx2 1500</b><o:p></o:p></p></div><div><p class=MsoNormal><b>eth4 yes iw_nes 1500 198.124.220.207 rxe0</b><o:p></o:p></p></div><div><p class=MsoNormal><b>rxe eth_proto_id: 0x8915</b><o:p></o:p></p></div><div><p class=MsoNormal><o:p> </o:p></p></div><div><p class=MsoNormal><o:p> </o:p></p></div><div><p class=MsoNormal><b>[root@netqos14 ~]# ibv_devinfo</b><o:p></o:p></p></div><div><p class=MsoNormal><b>hca_id: mlx4_0</b><o:p></o:p></p></div><div><p class=MsoNormal><b> transport: InfiniBand (0)</b><o:p></o:p></p></div><div><p class=MsoNormal><b> fw_ver: 2.7.626</b><o:p></o:p></p></div><div><p class=MsoNormal><b> node_guid: 0002:c903:000b:f306</b><o:p></o:p></p></div><div><p class=MsoNormal><b> sys_image_guid: 0002:c903:000b:f309</b><o:p></o:p></p></div><div><p class=MsoNormal><b> vendor_id: 0x02c9</b><o:p></o:p></p></div><div><p class=MsoNormal><b> vendor_part_id: 26428</b><o:p></o:p></p></div><div><p class=MsoNormal><b> hw_ver: 0xB0</b><o:p></o:p></p></div><div><p class=MsoNormal><b> board_id: MT_0D90110009</b><o:p></o:p></p></div><div><p class=MsoNormal><b> phys_port_cnt: 1</b><o:p></o:p></p></div><div><p class=MsoNormal><b> port: 1</b><o:p></o:p></p></div><div><p class=MsoNormal><b> state: PORT_ACTIVE (4)</b><o:p></o:p></p></div><div><p class=MsoNormal><b> max_mtu: 2048 (4)</b><o:p></o:p></p></div><div><p class=MsoNormal><b> active_mtu: 2048 (4)</b><o:p></o:p></p></div><div><p class=MsoNormal><b> sm_lid: 6</b><o:p></o:p></p></div><div><p class=MsoNormal><b> port_lid: 4</b><o:p></o:p></p></div><div><p class=MsoNormal><b> port_lmc: 0x00</b><o:p></o:p></p></div><div><p class=MsoNormal><b> link_layer: IB</b><o:p></o:p></p></div><div><p class=MsoNormal><o:p> </o:p></p></div><div><p class=MsoNormal><b>hca_id: nes0</b><o:p></o:p></p></div><div><p class=MsoNormal><b> transport: iWARP (1)</b><o:p></o:p></p></div><div><p class=MsoNormal><b> fw_ver: 3.16</b><o:p></o:p></p></div><div><p class=MsoNormal><b> node_guid: 0012:5502:f6ac:0000</b><o:p></o:p></p></div><div><p class=MsoNormal><b> sys_image_guid: 0012:5502:f6ac:0000</b><o:p></o:p></p></div><div><p class=MsoNormal><b> vendor_id: 0x1255</b><o:p></o:p></p></div><div><p class=MsoNormal><b> vendor_part_id: 256</b><o:p></o:p></p></div><div><p class=MsoNormal><b> hw_ver: 0x5</b><o:p></o:p></p></div><div><p class=MsoNormal><b> board_id: NES020 Board ID</b><o:p></o:p></p></div><div><p class=MsoNormal><b> phys_port_cnt: 1</b><o:p></o:p></p></div><div><p class=MsoNormal><b> port: 1</b><o:p></o:p></p></div><div><p class=MsoNormal><b> state: PORT_ACTIVE (4)</b><o:p></o:p></p></div><div><p class=MsoNormal><b> max_mtu: 4096 (5)</b><o:p></o:p></p></div><div><p class=MsoNormal><b> active_mtu: 1024 (3)</b><o:p></o:p></p></div><div><p class=MsoNormal><b> sm_lid: 0</b><o:p></o:p></p></div><div><p class=MsoNormal><b> port_lid: 1</b><o:p></o:p></p></div><div><p class=MsoNormal><b> port_lmc: 0x00</b><o:p></o:p></p></div><div><p class=MsoNormal><b> link_layer: Ethernet</b><o:p></o:p></p></div><div><p class=MsoNormal><o:p> </o:p></p></div><div><p class=MsoNormal><b><span style='color:red'>libnes: nes_ualloc_context: Invalid kernel driver version detected. Detected 0, should be 1</span></b><o:p></o:p></p></div><div><p class=MsoNormal><b><span style='color:red'>libnes: nes_ualloc_context: Failed to allocate context for device.</span></b><o:p></o:p></p></div><div><p class=MsoNormal><b><span style='color:red'>Failed to open device</span></b><o:p></o:p></p></div></div><div><p class=MsoNormal><o:p> </o:p></p></div><div><p class=MsoNormal>However, some hosts in our cluster can make Soft-RoCE work on the iWARP RNIC with the same configuration. The info is as follows,<o:p></o:p></p></div><div><p class=MsoNormal><o:p> </o:p></p></div><div><div><p class=MsoNormal>[root@netqos13 rftp]# rxe_cfg status<o:p></o:p></p></div><div><p class=MsoNormal>Name Link Driver Speed MTU IPv4_addr S-RoCE RMTU<o:p></o:p></p></div><div><p class=MsoNormal>eth0 yes bnx2 1500 198.124.220.154<o:p></o:p></p></div><div><p class=MsoNormal>eth1 no bnx2 1500<o:p></o:p></p></div><div><p class=MsoNormal>eth2 no bnx2 1500<o:p></o:p></p></div><div><p class=MsoNormal>eth3 no bnx2 1500<o:p></o:p></p></div><div><p class=MsoNormal>eth4 yes iw_nes 1500 198.124.220.206 rxe0 1024 (3)<o:p></o:p></p></div><div><p class=MsoNormal>rxe eth_proto_id: 0x8915<o:p></o:p></p></div><div><p class=MsoNormal><o:p> </o:p></p></div><div><p class=MsoNormal>[root@netqos13 rftp]# ibv_devinfo<o:p></o:p></p></div><div><p class=MsoNormal>hca_id: mlx4_0<o:p></o:p></p></div><div><p class=MsoNormal> transport: InfiniBand (0)<o:p></o:p></p></div><div><p class=MsoNormal> fw_ver: 2.7.626<o:p></o:p></p></div><div><p class=MsoNormal> node_guid: 0002:c903:000b:f31e<o:p></o:p></p></div><div><p class=MsoNormal> sys_image_guid: 0002:c903:000b:f321<o:p></o:p></p></div><div><p class=MsoNormal> vendor_id: 0x02c9<o:p></o:p></p></div><div><p class=MsoNormal> vendor_part_id: 26428<o:p></o:p></p></div><div><p class=MsoNormal> hw_ver: 0xB0<o:p></o:p></p></div><div><p class=MsoNormal> board_id: MT_0D90110009<o:p></o:p></p></div><div><p class=MsoNormal> phys_port_cnt: 1<o:p></o:p></p></div><div><p class=MsoNormal> port: 1<o:p></o:p></p></div><div><p class=MsoNormal> state: PORT_ACTIVE (4)<o:p></o:p></p></div><div><p class=MsoNormal> max_mtu: 2048 (4)<o:p></o:p></p></div><div><p class=MsoNormal> active_mtu: 2048 (4)<o:p></o:p></p></div><div><p class=MsoNormal> sm_lid: 6<o:p></o:p></p></div><div><p class=MsoNormal> port_lid: 1<o:p></o:p></p></div><div><p class=MsoNormal> port_lmc: 0x00<o:p></o:p></p></div><div><p class=MsoNormal> link_layer: IB<o:p></o:p></p></div><div><p class=MsoNormal><o:p> </o:p></p></div><div><p class=MsoNormal>hca_id: nes0<o:p></o:p></p></div><div><p class=MsoNormal> transport: iWARP (1)<o:p></o:p></p></div><div><p class=MsoNormal> fw_ver: 3.16<o:p></o:p></p></div><div><p class=MsoNormal> node_guid: 0012:5502:f208:0000<o:p></o:p></p></div><div><p class=MsoNormal> sys_image_guid: 0012:5502:f208:0000<o:p></o:p></p></div><div><p class=MsoNormal> vendor_id: 0x1255<o:p></o:p></p></div><div><p class=MsoNormal> vendor_part_id: 256<o:p></o:p></p></div><div><p class=MsoNormal> hw_ver: 0x5<o:p></o:p></p></div><div><p class=MsoNormal> board_id: NES020 Board ID<o:p></o:p></p></div><div><p class=MsoNormal> phys_port_cnt: 1<o:p></o:p></p></div><div><p class=MsoNormal> port: 1<o:p></o:p></p></div><div><p class=MsoNormal> state: PORT_ACTIVE (4)<o:p></o:p></p></div><div><p class=MsoNormal> max_mtu: 4096 (5)<o:p></o:p></p></div><div><p class=MsoNormal> active_mtu: 1024 (3)<o:p></o:p></p></div><div><p class=MsoNormal> sm_lid: 0<o:p></o:p></p></div><div><p class=MsoNormal> port_lid: 1<o:p></o:p></p></div><div><p class=MsoNormal> port_lmc: 0x00<o:p></o:p></p></div><div><p class=MsoNormal> link_layer: Ethernet<o:p></o:p></p></div><div><p class=MsoNormal><o:p> </o:p></p></div><div><p class=MsoNormal>hca_id: rxe0<o:p></o:p></p></div><div><p class=MsoNormal> transport: InfiniBand (0)<o:p></o:p></p></div><div><p class=MsoNormal> fw_ver: 0.0.0<o:p></o:p></p></div><div><p class=MsoNormal> node_guid: 0212:55ff:fe02:f208<o:p></o:p></p></div><div><p class=MsoNormal> sys_image_guid: 0000:0000:0000:0000<o:p></o:p></p></div><div><p class=MsoNormal> vendor_id: 0x0000<o:p></o:p></p></div><div><p class=MsoNormal> vendor_part_id: 0<o:p></o:p></p></div><div><p class=MsoNormal> hw_ver: 0x0<o:p></o:p></p></div><div><p class=MsoNormal> phys_port_cnt: 1<o:p></o:p></p></div><div><p class=MsoNormal> port: 1<o:p></o:p></p></div><div><p class=MsoNormal> state: PORT_ACTIVE (4)<o:p></o:p></p></div><div><p class=MsoNormal> max_mtu: 4096 (5)<o:p></o:p></p></div><div><p class=MsoNormal> active_mtu: 1024 (3)<o:p></o:p></p></div><div><p class=MsoNormal> sm_lid: 0<o:p></o:p></p></div><div><p class=MsoNormal> port_lid: 0<o:p></o:p></p></div><div><p class=MsoNormal> port_lmc: 0x00<o:p></o:p></p></div><div><p class=MsoNormal> link_layer: Ethernet<o:p></o:p></p></div></div><div><p class=MsoNormal><o:p> </o:p></p></div><div><p class=MsoNormal>The two host are identical. The system info is as follows,<o:p></o:p></p></div><div><p class=MsoNormal><o:p> </o:p></p></div><div><div><p class=MsoNormal>[root@netqos13 rftp]# uname -a<o:p></o:p></p></div><div><p class=MsoNormal>Linux netqos13 2.6.18-164.11.1.el5_lustre.1.8.3 #1 SMP Fri Apr 9 18:00:39 MDT 2010 x86_64 x86_64 x86_64 GNU/Linux<o:p></o:p></p></div></div><div><p class=MsoNormal><o:p> </o:p></p></div><div><div><p class=MsoNormal>[root@netqos13 rftp]# ifconfig<o:p></o:p></p></div><div><p class=MsoNormal>eth0 Link encap:Ethernet HWaddr A4:BA:DB:1E:CC:8D<o:p></o:p></p></div><div><p class=MsoNormal> inet addr:198.124.220.154 Bcast:198.124.220.63 Mask:255.255.255.192<o:p></o:p></p></div><div><p class=MsoNormal> inet6 addr: fe80::a6ba:dbff:fe1e:cc8d/64 Scope:Link<o:p></o:p></p></div><div><p class=MsoNormal> UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1<o:p></o:p></p></div><div><p class=MsoNormal> RX packets:105558250 errors:0 dropped:0 overruns:0 frame:0<o:p></o:p></p></div><div><p class=MsoNormal> TX packets:137816731 errors:0 dropped:0 overruns:0 carrier:0<o:p></o:p></p></div><div><p class=MsoNormal> collisions:0 txqueuelen:1000<o:p></o:p></p></div><div><p class=MsoNormal> RX bytes:95088704022 (88.5 GiB) TX bytes:156759141516 (145.9 GiB)<o:p></o:p></p></div><div><p class=MsoNormal> Interrupt:98 Memory:d2000000-d2012800<o:p></o:p></p></div><div><p class=MsoNormal><o:p> </o:p></p></div><div><p class=MsoNormal>eth4 Link encap:Ethernet HWaddr 00:12:55:02:F2:08<o:p></o:p></p></div><div><p class=MsoNormal> inet addr:198.124.220.206 Bcast:198.124.220.255 Mask:255.255.255.192<o:p></o:p></p></div><div><p class=MsoNormal> inet6 addr: fe80::212:55ff:fe02:f208/64 Scope:Link<o:p></o:p></p></div><div><p class=MsoNormal> UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1<o:p></o:p></p></div><div><p class=MsoNormal> RX packets:59487544 errors:0 dropped:0 overruns:0 frame:0<o:p></o:p></p></div><div><p class=MsoNormal> TX packets:55691374 errors:0 dropped:0 overruns:0 carrier:0<o:p></o:p></p></div><div><p class=MsoNormal> collisions:0 txqueuelen:1000<o:p></o:p></p></div><div><p class=MsoNormal> RX bytes:82372790409 (76.7 GiB) TX bytes:34462883454 (32.0 GiB)<o:p></o:p></p></div><div><p class=MsoNormal> Interrupt:130<o:p></o:p></p></div><div><p class=MsoNormal><o:p> </o:p></p></div><div><p class=MsoNormal>ib0 Link encap:InfiniBand HWaddr 80:00:00:48:FE:80:00:00:00:00:00:00:00:00:00:00:00:00:00:00<o:p></o:p></p></div><div><p class=MsoNormal> inet addr:192.168.1.13 Bcast:192.168.1.255 Mask:255.255.255.0<o:p></o:p></p></div><div><p class=MsoNormal> inet6 addr: fe80::202:c903:b:f31f/64 Scope:Link<o:p></o:p></p></div><div><p class=MsoNormal> UP BROADCAST RUNNING MULTICAST MTU:65520 Metric:1<o:p></o:p></p></div><div><p class=MsoNormal> RX packets:4461 errors:0 dropped:0 overruns:0 frame:0<o:p></o:p></p></div><div><p class=MsoNormal> TX packets:17 errors:0 dropped:9 overruns:0 carrier:0<o:p></o:p></p></div><div><p class=MsoNormal> collisions:0 txqueuelen:256<o:p></o:p></p></div><div><p class=MsoNormal> RX bytes:264959 (258.7 KiB) TX bytes:3267 (3.1 KiB)<o:p></o:p></p></div><div><p class=MsoNormal><o:p> </o:p></p></div><div><p class=MsoNormal>lo Link encap:Local Loopback<o:p></o:p></p></div><div><p class=MsoNormal> inet addr:127.0.0.1 Mask:255.0.0.0<o:p></o:p></p></div><div><p class=MsoNormal> inet6 addr: ::1/128 Scope:Host<o:p></o:p></p></div><div><p class=MsoNormal> UP LOOPBACK RUNNING MTU:16436 Metric:1<o:p></o:p></p></div><div><p class=MsoNormal> RX packets:19040792 errors:0 dropped:0 overruns:0 frame:0<o:p></o:p></p></div><div><p class=MsoNormal> TX packets:19040792 errors:0 dropped:0 overruns:0 carrier:0<o:p></o:p></p></div><div><p class=MsoNormal> collisions:0 txqueuelen:0<o:p></o:p></p></div><div><p class=MsoNormal> RX bytes:147810608491 (137.6 GiB) TX bytes:147810608491 (137.6 GiB)<o:p></o:p></p></div></div><div><p class=MsoNormal><o:p> </o:p></p></div><div><p class=MsoNormal>So, my question is why is that Soft-RoCE does not work on some of the NetEffect iWARP RNIC's, but does work on the other NetEffect iWARP RNIC's? All iWARP RNIC's are on different hosts of the same cluster, and connected via a Juniper EX 2500 switch. <o:p></o:p></p></div><div><p class=MsoNormal><o:p> </o:p></p></div><div><p class=MsoNormal>Any help will be greatly appreciated.<o:p></o:p></p></div><div><p class=MsoNormal><o:p> </o:p></p></div><div><p class=MsoNormal>-- <o:p></o:p></p><div><p class=MsoNormal>Best regards,<o:p></o:p></p></div><div><p class=MsoNormal> <o:p></o:p></p></div><div><p class=MsoNormal>-----------------------------------------------------------------------------------------------<br>Li, Tan<br>PhD Candidate & Research Assistant, <br>Electrical Engineering, <br>Stony Brook University, NY<br><br>Personal Web Site: <a href="https://sites.google.com/site/homepagelitan/Home" target="_blank">https://sites.google.com/site/homepagelitan/Home</a><br><br>Email: <a href="mailto:fanqielee@gmail.com" target="_blank">fanqielee@gmail.com</a><o:p></o:p></p></div><p class=MsoNormal><o:p> </o:p></p></div></div></body></html>