<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40"><head><META HTTP-EQUIV="Content-Type" CONTENT="text/html; charset=us-ascii"><meta name=Generator content="Microsoft Word 12 (filtered medium)"><style><!--
/* Font Definitions */
@font-face
{font-family:"Cambria Math";
panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
{font-family:Calibri;
panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
{font-family:Tahoma;
panose-1:2 11 6 4 3 5 4 4 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
{margin:0cm;
margin-bottom:.0001pt;
font-size:12.0pt;
font-family:"Times New Roman","serif";}
a:link, span.MsoHyperlink
{mso-style-priority:99;
color:blue;
text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
{mso-style-priority:99;
color:purple;
text-decoration:underline;}
span.EmailStyle17
{mso-style-type:personal;
font-family:"Calibri","sans-serif";
color:#1F497D;}
span.EmailStyle18
{mso-style-type:personal-reply;
font-family:"Calibri","sans-serif";
color:#1F497D;}
.MsoChpDefault
{mso-style-type:export-only;
font-size:10.0pt;}
@page WordSection1
{size:612.0pt 792.0pt;
margin:72.0pt 72.0pt 72.0pt 72.0pt;}
div.WordSection1
{page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]--></head><body lang=EN-GB link=blue vlink=purple><div class=WordSection1><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'>As I understand it, Soft-RoCEE is only to allow developers to run InfiniBand VERBS over Ethernet cards that do not have native RoCEE drivers. The latter requires RDMA and CEE, whereas Soft-Rocee does not have these dependencies. The NetEffect and Mellanox cards both have RoCEE drivers in OFED and these should be used in preference. The maintainers will accept bugs on these.<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'>Soft RoCEE is not currently included or maintained by OFED and is maintained separately by systemfabricworks <o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'><o:p> </o:p></span></p><div><div style='border:none;border-top:solid #B5C4DF 1.0pt;padding:3.0pt 0cm 0cm 0cm'><p class=MsoNormal><b><span lang=EN-US style='font-size:10.0pt;font-family:"Tahoma","sans-serif"'>From:</span></b><span lang=EN-US style='font-size:10.0pt;font-family:"Tahoma","sans-serif"'> ewg-bounces@lists.openfabrics.org [mailto:ewg-bounces@lists.openfabrics.org] <b>On Behalf Of </b>Bob Pearson<br><b>Sent:</b> 05 May 2011 03:24<br><b>To:</b> 'Tanin'; 'OpenFabrics EWG'; 'Dantong Yu'; 'fatfish'; 'Shudong Jin'<br><b>Subject:</b> Re: [ewg] Soft-RoCE on NetEffect NE020 10Gb RNIC<o:p></o:p></span></p></div></div><p class=MsoNormal><o:p> </o:p></p><p class=MsoNormal><span lang=EN-US style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'>Hi Mr Lee,<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span lang=EN-US style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'>I will respond off list since rxe is not technically part of OFED.<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><span lang=EN-US style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'>Bob Pearson<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'><o:p> </o:p></span></p><p class=MsoNormal><b><span lang=EN-US style='font-size:10.0pt;font-family:"Tahoma","sans-serif"'>From:</span></b><span lang=EN-US style='font-size:10.0pt;font-family:"Tahoma","sans-serif"'> ewg-bounces@lists.openfabrics.org [mailto:ewg-bounces@lists.openfabrics.org] <b>On Behalf Of </b>Tanin<br><b>Sent:</b> Wednesday, May 04, 2011 3:52 PM<br><b>To:</b> OpenFabrics EWG; Dantong Yu; fatfish; Shudong Jin<br><b>Subject:</b> [ewg] Soft-RoCE on NetEffect NE020 10Gb RNIC<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US><o:p> </o:p></span></p><p class=MsoNormal><span lang=EN-US>Dear all,<o:p></o:p></span></p><div><p class=MsoNormal><span lang=EN-US><o:p> </o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US>I have installed the OFED-1.5.2-rxe on our linux host, which has three network interfaces, Broadcom Corporation NetXtreme II BCM5709 Gigabit Ethernet NIC, Mellanox Technologies MT26478 [ConnectX EN 40GigE, PCIe 2.0 5GT/s] and NetEffect NE020 10Gb Accelerated Ethernet Adapter (iWARP RNIC). The Soft-RoCE can work on the first two cards, but when I applied the Soft-RoCE to the Neteffect card and use "ibv_devinfo" to view the RDMA device, I got following errors on some of the hosts in our cluster, and the whole OFED stack doesnot work.<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US><o:p> </o:p></span></p></div><div><div><p class=MsoNormal><b><span lang=EN-US>[root@netqos14 ~]# rxe_cfg status</span></b><span lang=EN-US><o:p></o:p></span></p></div><div><p class=MsoNormal><b><span lang=EN-US>Name Link Driver Speed MTU IPv4_addr S-RoCE RMTU</span></b><span lang=EN-US><o:p></o:p></span></p></div><div><p class=MsoNormal><b><span lang=EN-US>eth0 yes bnx2 1500 198.124.220.155</span></b><span lang=EN-US><o:p></o:p></span></p></div><div><p class=MsoNormal><b><span lang=EN-US>eth1 no bnx2 1500</span></b><span lang=EN-US><o:p></o:p></span></p></div><div><p class=MsoNormal><b><span lang=EN-US>eth2 no bnx2 1500</span></b><span lang=EN-US><o:p></o:p></span></p></div><div><p class=MsoNormal><b><span lang=EN-US>eth3 no bnx2 1500</span></b><span lang=EN-US><o:p></o:p></span></p></div><div><p class=MsoNormal><b><span lang=EN-US>eth4 yes iw_nes 1500 198.124.220.207 rxe0</span></b><span lang=EN-US><o:p></o:p></span></p></div><div><p class=MsoNormal><b><span lang=EN-US>rxe eth_proto_id: 0x8915</span></b><span lang=EN-US><o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US><o:p> </o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US><o:p> </o:p></span></p></div><div><p class=MsoNormal><b><span lang=EN-US>[root@netqos14 ~]# ibv_devinfo</span></b><span lang=EN-US><o:p></o:p></span></p></div><div><p class=MsoNormal><b><span lang=EN-US>hca_id: mlx4_0</span></b><span lang=EN-US><o:p></o:p></span></p></div><div><p class=MsoNormal><b><span lang=EN-US> transport: InfiniBand (0)</span></b><span lang=EN-US><o:p></o:p></span></p></div><div><p class=MsoNormal><b><span lang=EN-US> fw_ver: 2.7.626</span></b><span lang=EN-US><o:p></o:p></span></p></div><div><p class=MsoNormal><b><span lang=EN-US> node_guid: 0002:c903:000b:f306</span></b><span lang=EN-US><o:p></o:p></span></p></div><div><p class=MsoNormal><b><span lang=EN-US> sys_image_guid: 0002:c903:000b:f309</span></b><span lang=EN-US><o:p></o:p></span></p></div><div><p class=MsoNormal><b><span lang=EN-US> vendor_id: 0x02c9</span></b><span lang=EN-US><o:p></o:p></span></p></div><div><p class=MsoNormal><b><span lang=EN-US> vendor_part_id: 26428</span></b><span lang=EN-US><o:p></o:p></span></p></div><div><p class=MsoNormal><b><span lang=EN-US> hw_ver: 0xB0</span></b><span lang=EN-US><o:p></o:p></span></p></div><div><p class=MsoNormal><b><span lang=EN-US> board_id: MT_0D90110009</span></b><span lang=EN-US><o:p></o:p></span></p></div><div><p class=MsoNormal><b><span lang=EN-US> phys_port_cnt: 1</span></b><span lang=EN-US><o:p></o:p></span></p></div><div><p class=MsoNormal><b><span lang=EN-US> port: 1</span></b><span lang=EN-US><o:p></o:p></span></p></div><div><p class=MsoNormal><b><span lang=EN-US> state: PORT_ACTIVE (4)</span></b><span lang=EN-US><o:p></o:p></span></p></div><div><p class=MsoNormal><b><span lang=EN-US> max_mtu: 2048 (4)</span></b><span lang=EN-US><o:p></o:p></span></p></div><div><p class=MsoNormal><b><span lang=EN-US> active_mtu: 2048 (4)</span></b><span lang=EN-US><o:p></o:p></span></p></div><div><p class=MsoNormal><b><span lang=EN-US> sm_lid: 6</span></b><span lang=EN-US><o:p></o:p></span></p></div><div><p class=MsoNormal><b><span lang=EN-US> port_lid: 4</span></b><span lang=EN-US><o:p></o:p></span></p></div><div><p class=MsoNormal><b><span lang=EN-US> port_lmc: 0x00</span></b><span lang=EN-US><o:p></o:p></span></p></div><div><p class=MsoNormal><b><span lang=EN-US> link_layer: IB</span></b><span lang=EN-US><o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US><o:p> </o:p></span></p></div><div><p class=MsoNormal><b><span lang=EN-US>hca_id: nes0</span></b><span lang=EN-US><o:p></o:p></span></p></div><div><p class=MsoNormal><b><span lang=EN-US> transport: iWARP (1)</span></b><span lang=EN-US><o:p></o:p></span></p></div><div><p class=MsoNormal><b><span lang=EN-US> fw_ver: 3.16</span></b><span lang=EN-US><o:p></o:p></span></p></div><div><p class=MsoNormal><b><span lang=EN-US> node_guid: 0012:5502:f6ac:0000</span></b><span lang=EN-US><o:p></o:p></span></p></div><div><p class=MsoNormal><b><span lang=EN-US> sys_image_guid: 0012:5502:f6ac:0000</span></b><span lang=EN-US><o:p></o:p></span></p></div><div><p class=MsoNormal><b><span lang=EN-US> vendor_id: 0x1255</span></b><span lang=EN-US><o:p></o:p></span></p></div><div><p class=MsoNormal><b><span lang=EN-US> vendor_part_id: 256</span></b><span lang=EN-US><o:p></o:p></span></p></div><div><p class=MsoNormal><b><span lang=EN-US> hw_ver: 0x5</span></b><span lang=EN-US><o:p></o:p></span></p></div><div><p class=MsoNormal><b><span lang=EN-US> board_id: NES020 Board ID</span></b><span lang=EN-US><o:p></o:p></span></p></div><div><p class=MsoNormal><b><span lang=EN-US> phys_port_cnt: 1</span></b><span lang=EN-US><o:p></o:p></span></p></div><div><p class=MsoNormal><b><span lang=EN-US> port: 1</span></b><span lang=EN-US><o:p></o:p></span></p></div><div><p class=MsoNormal><b><span lang=EN-US> state: PORT_ACTIVE (4)</span></b><span lang=EN-US><o:p></o:p></span></p></div><div><p class=MsoNormal><b><span lang=EN-US> max_mtu: 4096 (5)</span></b><span lang=EN-US><o:p></o:p></span></p></div><div><p class=MsoNormal><b><span lang=EN-US> active_mtu: 1024 (3)</span></b><span lang=EN-US><o:p></o:p></span></p></div><div><p class=MsoNormal><b><span lang=EN-US> sm_lid: 0</span></b><span lang=EN-US><o:p></o:p></span></p></div><div><p class=MsoNormal><b><span lang=EN-US> port_lid: 1</span></b><span lang=EN-US><o:p></o:p></span></p></div><div><p class=MsoNormal><b><span lang=EN-US> port_lmc: 0x00</span></b><span lang=EN-US><o:p></o:p></span></p></div><div><p class=MsoNormal><b><span lang=EN-US> link_layer: Ethernet</span></b><span lang=EN-US><o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US><o:p> </o:p></span></p></div><div><p class=MsoNormal><b><span lang=EN-US style='color:red'>libnes: nes_ualloc_context: Invalid kernel driver version detected. Detected 0, should be 1</span></b><span lang=EN-US><o:p></o:p></span></p></div><div><p class=MsoNormal><b><span lang=EN-US style='color:red'>libnes: nes_ualloc_context: Failed to allocate context for device.</span></b><span lang=EN-US><o:p></o:p></span></p></div><div><p class=MsoNormal><b><span lang=EN-US style='color:red'>Failed to open device</span></b><span lang=EN-US><o:p></o:p></span></p></div></div><div><p class=MsoNormal><span lang=EN-US><o:p> </o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US>However, some hosts in our cluster can make Soft-RoCE work on the iWARP RNIC with the same configuration. The info is as follows,<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US><o:p> </o:p></span></p></div><div><div><p class=MsoNormal><span lang=EN-US>[root@netqos13 rftp]# rxe_cfg status<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US>Name Link Driver Speed MTU IPv4_addr S-RoCE RMTU<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US>eth0 yes bnx2 1500 198.124.220.154<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US>eth1 no bnx2 1500<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US>eth2 no bnx2 1500<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US>eth3 no bnx2 1500<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US>eth4 yes iw_nes 1500 198.124.220.206 rxe0 1024 (3)<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US>rxe eth_proto_id: 0x8915<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US><o:p> </o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US>[root@netqos13 rftp]# ibv_devinfo<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US>hca_id: mlx4_0<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> transport: InfiniBand (0)<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> fw_ver: 2.7.626<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> node_guid: 0002:c903:000b:f31e<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> sys_image_guid: 0002:c903:000b:f321<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> vendor_id: 0x02c9<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> vendor_part_id: 26428<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> hw_ver: 0xB0<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> board_id: MT_0D90110009<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> phys_port_cnt: 1<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> port: 1<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> state: PORT_ACTIVE (4)<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> max_mtu: 2048 (4)<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> active_mtu: 2048 (4)<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> sm_lid: 6<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> port_lid: 1<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> port_lmc: 0x00<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> link_layer: IB<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US><o:p> </o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US>hca_id: nes0<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> transport: iWARP (1)<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> fw_ver: 3.16<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> node_guid: 0012:5502:f208:0000<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> sys_image_guid: 0012:5502:f208:0000<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> vendor_id: 0x1255<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> vendor_part_id: 256<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> hw_ver: 0x5<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> board_id: NES020 Board ID<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> phys_port_cnt: 1<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> port: 1<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> state: PORT_ACTIVE (4)<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> max_mtu: 4096 (5)<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> active_mtu: 1024 (3)<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> sm_lid: 0<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> port_lid: 1<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> port_lmc: 0x00<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> link_layer: Ethernet<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US><o:p> </o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US>hca_id: rxe0<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> transport: InfiniBand (0)<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> fw_ver: 0.0.0<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> node_guid: 0212:55ff:fe02:f208<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> sys_image_guid: 0000:0000:0000:0000<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> vendor_id: 0x0000<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> vendor_part_id: 0<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> hw_ver: 0x0<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> phys_port_cnt: 1<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> port: 1<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> state: PORT_ACTIVE (4)<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> max_mtu: 4096 (5)<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> active_mtu: 1024 (3)<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> sm_lid: 0<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> port_lid: 0<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> port_lmc: 0x00<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> link_layer: Ethernet<o:p></o:p></span></p></div></div><div><p class=MsoNormal><span lang=EN-US><o:p> </o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US>The two host are identical. The system info is as follows,<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US><o:p> </o:p></span></p></div><div><div><p class=MsoNormal><span lang=EN-US>[root@netqos13 rftp]# uname -a<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US>Linux netqos13 2.6.18-164.11.1.el5_lustre.1.8.3 #1 SMP Fri Apr 9 18:00:39 MDT 2010 x86_64 x86_64 x86_64 GNU/Linux<o:p></o:p></span></p></div></div><div><p class=MsoNormal><span lang=EN-US><o:p> </o:p></span></p></div><div><div><p class=MsoNormal><span lang=EN-US>[root@netqos13 rftp]# ifconfig<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US>eth0 Link encap:Ethernet HWaddr A4:BA:DB:1E:CC:8D<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> inet addr:198.124.220.154 Bcast:198.124.220.63 Mask:255.255.255.192<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> inet6 addr: fe80::a6ba:dbff:fe1e:cc8d/64 Scope:Link<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> RX packets:105558250 errors:0 dropped:0 overruns:0 frame:0<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> TX packets:137816731 errors:0 dropped:0 overruns:0 carrier:0<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> collisions:0 txqueuelen:1000<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> RX bytes:95088704022 (88.5 GiB) TX bytes:156759141516 (145.9 GiB)<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> Interrupt:98 Memory:d2000000-d2012800<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US><o:p> </o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US>eth4 Link encap:Ethernet HWaddr 00:12:55:02:F2:08<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> inet addr:198.124.220.206 Bcast:198.124.220.255 Mask:255.255.255.192<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> inet6 addr: fe80::212:55ff:fe02:f208/64 Scope:Link<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> RX packets:59487544 errors:0 dropped:0 overruns:0 frame:0<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> TX packets:55691374 errors:0 dropped:0 overruns:0 carrier:0<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> collisions:0 txqueuelen:1000<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> RX bytes:82372790409 (76.7 GiB) TX bytes:34462883454 (32.0 GiB)<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> Interrupt:130<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US><o:p> </o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US>ib0 Link encap:InfiniBand HWaddr 80:00:00:48:FE:80:00:00:00:00:00:00:00:00:00:00:00:00:00:00<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> inet addr:192.168.1.13 Bcast:192.168.1.255 Mask:255.255.255.0<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> inet6 addr: fe80::202:c903:b:f31f/64 Scope:Link<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> UP BROADCAST RUNNING MULTICAST MTU:65520 Metric:1<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> RX packets:4461 errors:0 dropped:0 overruns:0 frame:0<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> TX packets:17 errors:0 dropped:9 overruns:0 carrier:0<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> collisions:0 txqueuelen:256<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> RX bytes:264959 (258.7 KiB) TX bytes:3267 (3.1 KiB)<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US><o:p> </o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US>lo Link encap:Local Loopback<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> inet addr:127.0.0.1 Mask:255.0.0.0<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> inet6 addr: ::1/128 Scope:Host<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> UP LOOPBACK RUNNING MTU:16436 Metric:1<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> RX packets:19040792 errors:0 dropped:0 overruns:0 frame:0<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> TX packets:19040792 errors:0 dropped:0 overruns:0 carrier:0<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> collisions:0 txqueuelen:0<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> RX bytes:147810608491 (137.6 GiB) TX bytes:147810608491 (137.6 GiB)<o:p></o:p></span></p></div></div><div><p class=MsoNormal><span lang=EN-US><o:p> </o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US>So, my question is why is that Soft-RoCE does not work on some of the NetEffect iWARP RNIC's, but does work on the other NetEffect iWARP RNIC's? All iWARP RNIC's are on different hosts of the same cluster, and connected via a Juniper EX 2500 switch. <o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US><o:p> </o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US>Any help will be greatly appreciated.<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US><o:p> </o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US>-- <o:p></o:p></span></p><div><p class=MsoNormal><span lang=EN-US>Best regards,<o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US> <o:p></o:p></span></p></div><div><p class=MsoNormal><span lang=EN-US>-----------------------------------------------------------------------------------------------<br>Li, Tan<br>PhD Candidate & Research Assistant, <br>Electrical Engineering, <br>Stony Brook University, NY<br><br>Personal Web Site: <a href="https://sites.google.com/site/homepagelitan/Home" target="_blank">https://sites.google.com/site/homepagelitan/Home</a><br><br>Email: <a href="mailto:fanqielee@gmail.com" target="_blank">fanqielee@gmail.com</a><o:p></o:p></span></p></div><p class=MsoNormal><span lang=EN-US><o:p> </o:p></span></p></div></div></body></html>