<FONT face="Default Sans Serif,Verdana,Arial,Helvetica,sans-serif" size=2><DIV><DIV>We have a linux cluster running RH5.3 with ofed1.4 using Mellanox MT25418. The cluster is attached to a sun solaris10.7 thumper box. The thumper box export a zfs filesystem via NFS. linux clients mount the filesystem via IPoIB. </DIV><DIV> </DIV><DIV>Under filesystem I/O load the subnet manager gets repeated path record requests from the sun solaris box. This can bring the SM and the fabric down.  Any any one else had issue with solaris IB <-> Linux IB? Any insight into what could be causing the issue?</DIV><DIV> </DIV><DIV>Thanks,</DIV><DIV>Mahmoud</DIV><DIV> </DIV><DIV>----</DIV><FONT face="Default Monospace,Courier New,Courier,monospace"><FONT face="Default Monospace,Courier New,Courier,monospace"><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>Oct 15 19:37: </FONT></FONT></FONT><FONT size=1><B><FONT face="Default Monospace,Courier New,Courier,monospace">59 952368 [41E02960] 0x08 </FONT></B><FONT face="Default Monospace,Courier New,Courier,monospace">-> </FONT></FONT><B><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>PathRecord dump:</FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>service id ..............0x0000000000000000</FONT></P></B><P align=left><FONT size=1><FONT face="Default Monospace,Courier New,Courier,monospace">dgid .................... </FONT><B><FONT face="Default Monospace,Courier New,Courier,monospace">Oxfe80000000000000 </FONT></B><FONT face="Default Monospace,Courier New,Courier,monospace">: </FONT></FONT><B><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>0x00237dffff949819</FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>sgid </FONT></B><FONT size=1><FONT face="Default Monospace,Courier New,Courier,monospace">.................... <B>Oxfe80000000000000 </B></FONT><FONT face="Default Monospace,Courier New,Courier,monospace">: </FONT></FONT><B><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>0x0003ba000100d0a5</FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>dlid .................... 0</FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>slid </FONT></B><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>.................... </FONT><B><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>0</FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>hop_flow</FONT></B><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>_</FONT><B><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>raw............ OxO</FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>tclass </FONT></B><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>.................. </FONT><B><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>OxO</FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>num_path_revers......... Ox81</FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>pkey </FONT></B><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>.................... </FONT><B><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>0x0</FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>qos_class </FONT></B><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>............... </FONT><B><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>OxO</FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>sl ......................OxO</FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>mtu .....................OxO</FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>rate </FONT></B><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>.................... </FONT><B><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>OxO</FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>pkt_life ................0x0</FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>preference </FONT></B><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>.............. </FONT><B><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>0x0</FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>resv2 </FONT></B><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>................... </FONT><B><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>OxO</FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>resv3 </FONT></B><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>................... </FONT><B><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>OxO</FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>Oct 15 19:37:59 952376 [41E02960) 0x08 -> osm_pr_rcv_process: Unicast</FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>destination requested</FONT></P><FONT face="Default Monospace,Courier New,Courier,monospace" size=1><P align=left>Oct 15 19:37:59 952382 [41E02960] 0x08 -></P></FONT><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>osm_pr_rcv</FONT></B><FONT size=1><FONT face="Default Monospace,Courier New,Courier,monospace">_<B>get_port pair</B></FONT><FONT face="Default Monospace,Courier New,Courier,monospace">_</FONT></FONT><B><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>paths: Src port 0x0003ba000100d0a5, Dst port</FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>0x00237dffff949819</FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>Oct 15 19:37:59 952388 [41E02960] 0x08 -></FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>_osm_pr_rcv</FONT></B><FONT size=1><FONT face="Default Monospace,Courier New,Courier,monospace">_<B>get_port_pair_paths: Src LIDs [2 </B></FONT><FONT face="Default Monospace,Courier New,Courier,monospace">- </FONT></FONT><B><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>2], Dest LIDs [67-67]</FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>Oct 15 19:37:59 952393 [41E02960] 0x08 -></FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>_osm pr</FONT></B><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>_</FONT><B><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>rcv_get_lid_pair_path: Src LID 2, Dest LID 67</FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>Oct 15 19:37:59 952399 [41E02960] 0x08 -> _osm_pr</FONT></B><FONT size=1><FONT face="Default Monospace,Courier New,Courier,monospace">_<B>rcv_get</B></FONT><FONT face="Default Monospace,Courier New,Courier,monospace">-</FONT></FONT><B><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>path_parms:</FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>Path min MTU </FONT></B><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>= </FONT><B><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>4, min rate = 6</FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>Oct 15 19:37:59 952408 [41E02960] 0x08 - </FONT></B><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>> _</FONT><B><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>osm_pr_rcv_get-path_parms:</FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>Path params: mtu = 4, rate </FONT></B><FONT size=1><FONT face="Default Monospace,Courier New,Courier,monospace">= <B>6, packet lifetime = 18, pkey </B></FONT><FONT face="Default Monospace,Courier New,Courier,monospace">= </FONT></FONT><B><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>OxFFFF, sl</FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>= 0</FONT></P></B><P align=left><FONT size=1><FONT face="Default Monospace,Courier New,Courier,monospace">Oct 15 19:37:59 952417 </FONT><B><FONT face="Default Monospace,Courier New,Courier,monospace">[41E02960] 0x08 - </FONT></B><FONT face="Default Monospace,Courier New,Courier,monospace">> _osm_pr_rcv_get_path_parms:</FONT></FONT></P><P align=left><FONT size=1><FONT face="Default Monospace,Courier New,Courier,monospace">Path min MTU = </FONT><B><FONT face="Default Monospace,Courier New,Courier,monospace">4, min rate = 6</FONT></P></B></FONT><P align=left><FONT size=1><FONT face="Default Monospace,Courier New,Courier,monospace">Oct 15 19: </FONT><B><FONT face="Default Monospace,Courier New,Courier,monospace">37:59 952423 [41E02960] 0x08 </FONT></B><FONT face="Default Monospace,Courier New,Courier,monospace">-> osm pr_rcv_get_path parms:</FONT></FONT></P><B><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>Path params: mtu = 4, rate </FONT></B><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>= 6, packet lifetime = 18, pkey = </FONT><B><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>OxFFFF, sl</FONT></P><FONT face="Default Monospace,Courier New,Courier,monospace" size=1><P align=left>= 0</P></FONT><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>Oct 15 19:37:59 952428 [41E02960] 0x08</FONT></B><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>-> </FONT><B><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>osm_sa_respond: Returning 1</FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>records</FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>Oct 15 19:37:59 952433 [41E02960] 0x08 - </FONT></B><FONT size=1><FONT face="Default Monospace,Courier New,Courier,monospace">> <B>osm_vendor</B></FONT><FONT face="Default Monospace,Courier New,Courier,monospace">_</FONT></FONT><B><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>get: Acquiring UMAD</FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>for p_madw = 0x2a9567f2c8, size = 120</FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>Oct 15 19:37:59 952439 [41E02960] 0x08 -> osm_vendor_get: Acquired UMAD</FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>0x2a9567f390, size = 120</FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>Oct 15 19:37:59 952455 [41E02960] 0x08 - </FONT></B><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>> </FONT><B><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>osm_vendor_put: Retiring UMAD</FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>0x2a9567f390</FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>Oct 15 19:37:59 952460 [41E02960] 0x08 -> </FONT></B><FONT size=1><FONT face="Default Monospace,Courier New,Courier,monospace">•.<B>osm_vendor</B></FONT><FONT face="Default Monospace,Courier New,Courier,monospace">_</FONT></FONT><B><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>send: Completed</FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>sending response or unsolicited p_madw'"j= Ox2a9567f2b0</FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>Oct 15 19:37:59 952466 [41E02960] 0x08 -> osm</FONT></B><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>_</FONT><B><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>vendor_put: Retiring UMAD</FONT></P><P><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>0x724520</FONT></P></B><DIV><BR><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>===============</FONT></DIV><DIV><BR><B><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>Loading IBDIAGNET from: /usr/1ib64 </FONT></B><FONT face="Default Monospace,Courier New,Courier,monospace"><FONT size=1>/ <B>ibdiagnetl.2</P></B></FONT></FONT><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>-</FONT><B><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>W- Topology file is not specified.</FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>Reports regarding cluster links will use direct routes.</FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>Loading IBDM from: </FONT></B><FONT size=1><FONT face="Default Monospace,Courier New,Courier,monospace">/<B>usr/lib64 </B></FONT><FONT face="Default Monospace,Courier New,Courier,monospace">/ <B>ibdml.2</P></B></FONT></FONT><P align=left><FONT size=1><FONT face="Default Monospace,Courier New,Courier,monospace">- </FONT><B><FONT face="Default Monospace,Courier New,Courier,monospace">I- Using port 1 as the local port.</FONT></P></B></FONT><P align=left><FONT size=1><FONT face="Default Monospace,Courier New,Courier,monospace">- </FONT><B><FONT face="Default Monospace,Courier New,Courier,monospace">I- Discovering ... 103 nodes (7 Switches </FONT></B><FONT face="Default Monospace,Courier New,Courier,monospace">& <B>96 CA</B></FONT><FONT face="Default Monospace,Courier New,Courier,monospace">- <B>s) discovered.</P></B></FONT></FONT><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>-I ---------------------------------------------------</FONT></P><P align=left><FONT size=1><FONT face="Default Monospace,Courier New,Courier,monospace">- </FONT><B><FONT face="Default Monospace,Courier New,Courier,monospace">I- Bad Guids </FONT></B><FONT face="Default Monospace,Courier New,Courier,monospace">/<B>LIDs Info</P></B></FONT></FONT><P align=left><FONT size=1><FONT face="Default Monospace,Courier New,Courier,monospace">-I -------------------------------------------------- </FONT><FONT face="Default Monospace,Courier New,Courier,monospace">-</FONT></FONT></P><B><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>-I- No bad Guids were found</FONT></P><P align=left><FONT size=1><FONT face="Default Monospace,Courier New,Courier,monospace">-I -------------------------------------------------- </FONT><FONT face="Default Monospace,Courier New,Courier,monospace">-</FONT></FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>-I- Links With Logical State = INIT</FONT></P><P align=left><FONT size=1><FONT face="Default Monospace,Courier New,Courier,monospace">-I -------------------------------------------------- </FONT><FONT face="Default Monospace,Courier New,Courier,monospace">-</FONT></FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>-I- No bad Links (with logical state </FONT></B><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>= </FONT><B><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>INIT) were found</FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>-I ---------------------------------------------------</FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>-I- PM Counters Info</FONT></P><P align=left><FONT size=1><FONT face="Default Monospace,Courier New,Courier,monospace">-I -------------------------------------------------- </FONT><FONT face="Default Monospace,Courier New,Courier,monospace">-</FONT></FONT></P><FONT face="Default Monospace,Courier New,Courier,monospace" size=1><P align=left>-I- No illegal PM counters values were found</P></FONT><FONT face="Default Monospace,Courier New,Courier,monospace" size=1><P align=left>-I ---------------------------------------------------</P></FONT><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>-I- Fabric Partitions Report (see ibdiagnet.pkey for a full hosts list)</FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>-I ---------------------------------------------------</FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>-I- PKey:Ox7fff Hosts:97 full:97 partial:0</FONT></P><P align=left><FONT size=1><FONT face="Default Monospace,Courier New,Courier,monospace">-I -------------------------------------------------- </FONT><FONT face="Default Monospace,Courier New,Courier,monospace">-</FONT></FONT></P><FONT face="Default Monospace,Courier New,Courier,monospace" size=1><P align=left>-I- IPoIB Subnets Check</P></FONT><FONT face="Default Monospace,Courier New,Courier,monospace" size=1><P align=left>-I ---------------------------------------------------</P></FONT><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>-I- Subnet: IPv4 PKey:Ox7fff QKey:Ox00000blb MTU:2048Byte rate:lOGbps</FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>SL:OxOO</FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>-W- Suboptimal rate for group. Lowest member rate:20Gbps > grouprate:</FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>lOGbps</FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>-I ---------------------------------------------------</FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>-I- Bad Links Info</FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>-I- Errors have occurred on the following links</FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>(for errors details, look in log file </FONT></B><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>/ </FONT><B><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>tmp/ibdiagnet.log):</FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>-I ----------------------------------------------------</FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>Link at the end of direct route "1,11,23"</FONT></P></B><FONT face="Default Monospace,Courier New,Courier,monospace" size=1><P align=left>----------------------------------------------------------------</P></FONT><B><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>-I- Stages Status Report:</FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>STAGE</FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>Bad GUIDs </FONT></B><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>/</FONT><B><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>LIDS Check</FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>Link State Active Check</FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>Performance Counters Report</FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>Partitions Check</FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>IPoIB Subnets Check</FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>Link Errors Check</FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>Errors Warnings</FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>0 0</FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>0 0</FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>0 0</FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>0 0</FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>0 1</FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>0 0</FONT></P><P align=left><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>Please see </FONT></B><FONT face="Default Monospace,Courier New,Courier,monospace" size=1>/tmp/ibdiagnet.log for complete log</FONT></P><P><FONT size=1><FONT face="Default Monospace,Courier New,Courier,monospace">- </FONT><B><FONT face="Default Monospace,Courier New,Courier,monospace"><FONT face="Default Monospace,Courier New,Courier,monospace"><FONT face="Default Monospace,Courier New,Courier,monospace">I- Done. Run time was 6 seconds.</FONT></P></B></FONT></FONT></FONT></DIV><BR></DIV></FONT>