<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN">
<HTML xmlns="http://www.w3.org/TR/REC-html40" xmlns:v = 
"urn:schemas-microsoft-com:vml" xmlns:o = 
"urn:schemas-microsoft-com:office:office" xmlns:w = 
"urn:schemas-microsoft-com:office:word"><HEAD>
<META http-equiv=Content-Type content="text/html; charset=us-ascii">
<META content="MSHTML 6.00.2900.2963" name=GENERATOR>
<STYLE>@font-face {
        font-family: Helvetica;
}
@font-face {
        font-family: Courier;
}
@font-face {
        font-family: Tms Rmn;
}
@font-face {
        font-family: Helv;
}
@font-face {
        font-family: New York;
}
@font-face {
        font-family: System;
}
@font-face {
        font-family: Wingdings;
}
@font-face {
        font-family: MS Mincho;
}
@font-face {
        font-family: Batang;
}
@font-face {
        font-family: SimSun;
}
@font-face {
        font-family: PMingLiU;
}
@font-face {
        font-family: MS Gothic;
}
@font-face {
        font-family: Dotum;
}
@font-face {
        font-family: SimHei;
}
@font-face {
        font-family: MingLiU;
}
@font-face {
        font-family: Mincho;
}
@font-face {
        font-family: Gulim;
}
@font-face {
        font-family: Century;
}
@font-face {
        font-family: Angsana New;
}
@font-face {
        font-family: Cordia New;
}
@font-face {
        font-family: Mangal;
}
@font-face {
        font-family: Latha;
}
@font-face {
        font-family: Sylfaen;
}
@font-face {
        font-family: Vrinda;
}
@font-face {
        font-family: Raavi;
}
@font-face {
        font-family: Shruti;
}
@font-face {
        font-family: Sendnya;
}
@font-face {
        font-family: Gautami;
}
@font-face {
        font-family: Tunga;
}
@font-face {
        font-family: Estrangelo Edessa;
}
@font-face {
        font-family: Kartika;
}
@font-face {
        font-family: Arial Unicode MS;
}
@font-face {
        font-family: Tahoma;
}
@font-face {
        font-family: Miriam;
}
@font-face {
        font-family: TimesNewRoman;
}
@font-face {
        font-family: Arial;
}
@font-face {
        font-family: TimesNewRomanPSMT;
}
@font-face {
        font-family: Arial Narrow;
}
@font-face {
        font-family: David;
}
@font-face {
        font-family: CG Times;
}
@font-face {
        font-family: Univers;
}
@font-face {
        font-family: Univers Condensed;
}
@font-face {
        font-family: Antique Olive;
}
@font-face {
        font-family: Garamond;
}
@font-face {
        font-family: CG Omega;
}
@font-face {
        font-family: Albertus Medium;
}
@font-face {
        font-family: Albertus Extra Bold;
}
@font-face {
        font-family: Clarendon Condensed;
}
@font-face {
        font-family: Coronet;
}
@font-face {
        font-family: Letter Gothic;
}
@font-face {
        font-family: Marigold;
}
@font-face {
        font-family: Marlett;
}
@font-face {
        font-family: Lucida Console;
}
@font-face {
        font-family: Verdana;
}
@font-face {
        font-family: Arial Black;
}
@font-face {
        font-family: Comic Sans MS;
}
@font-face {
        font-family: Impact;
}
@font-face {
        font-family: Georgia;
}
@font-face {
        font-family: Franklin Gothic Medium;
}
@font-face {
        font-family: Palatino Linotype;
}
@font-face {
        font-family: Trebuchet MS;
}
@font-face {
        font-family: Webdings;
}
@font-face {
        font-family: MV Boli;
}
@font-face {
        font-family: Microsoft Sans Serif;
}
@font-face {
        font-family: Lucida Sans Unicode;
}
@font-face {
        font-family: Agency FB;
}
@font-face {
        font-family: Arial Rounded MT Bold;
}
@font-face {
        font-family: Blackadder ITC;
}
@font-face {
        font-family: Bodoni MT;
}
@font-face {
        font-family: Bodoni MT Black;
}
@font-face {
        font-family: Bodoni MT Condensed;
}
@font-face {
        font-family: Book Antiqua;
}
@font-face {
        font-family: Bookman Old Style;
}
@font-face {
        font-family: Bradley Hand ITC;
}
@font-face {
        font-family: Calisto MT;
}
@font-face {
        font-family: Castellar;
}
@font-face {
        font-family: Century Gothic;
}
@font-face {
        font-family: Century Schoolbook;
}
@font-face {
        font-family: Copperplate Gothic Bold;
}
@font-face {
        font-family: Copperplate Gothic Light;
}
@font-face {
        font-family: Curlz MT;
}
@font-face {
        font-family: Edwardian Script ITC;
}
@font-face {
        font-family: Elephant;
}
@font-face {
        font-family: Engravers MT;
}
@font-face {
        font-family: Eras Bold ITC;
}
@font-face {
        font-family: Eras Demi ITC;
}
@font-face {
        font-family: Eras Light ITC;
}
@font-face {
        font-family: Eras Medium ITC;
}
@font-face {
        font-family: Felix Titling;
}
@font-face {
        font-family: Forte;
}
@font-face {
        font-family: Franklin Gothic Book;
}
@font-face {
        font-family: Franklin Gothic Demi;
}
@font-face {
        font-family: Franklin Gothic Demi Cond;
}
@font-face {
        font-family: Franklin Gothic Heavy;
}
@font-face {
        font-family: Franklin Gothic Medium Cond;
}
@font-face {
        font-family: French Script MT;
}
@font-face {
        font-family: Gigi;
}
@font-face {
        font-family: Gill Sans MT Ext Condensed Bold;
}
@font-face {
        font-family: Gill Sans MT;
}
@font-face {
        font-family: Gill Sans MT Condensed;
}
@font-face {
        font-family: Gill Sans Ultra Bold;
}
@font-face {
        font-family: Gill Sans Ultra Bold Condensed;
}
@font-face {
        font-family: Gloucester MT Extra Condensed;
}
@font-face {
        font-family: Goudy Old Style;
}
@font-face {
        font-family: Goudy Stout;
}
@font-face {
        font-family: Haettenschweiler;
}
@font-face {
        font-family: Imprint MT Shadow;
}
@font-face {
        font-family: Lucida Sans;
}
@font-face {
        font-family: Lucida Sans Typewriter;
}
@font-face {
        font-family: Maiandra GD;
}
@font-face {
        font-family: Monotype Corsiva;
}
@font-face {
        font-family: OCR A Extended;
}
@font-face {
        font-family: Palace Script MT;
}
@font-face {
        font-family: Papyrus;
}
@font-face {
        font-family: Perpetua;
}
@font-face {
        font-family: Perpetua Titling MT;
}
@font-face {
        font-family: Pristina;
}
@font-face {
        font-family: Rage Italic;
}
@font-face {
        font-family: Rockwell;
}
@font-face {
        font-family: Rockwell Condensed;
}
@font-face {
        font-family: Rockwell Extra Bold;
}
@font-face {
        font-family: Script MT Bold;
}
@font-face {
        font-family: Tw Cen MT;
}
@font-face {
        font-family: Tw Cen MT Condensed;
}
@font-face {
        font-family: Wingdings 2;
}
@font-face {
        font-family: Wingdings 3;
}
@font-face {
        font-family: Tw Cen MT Condensed Extra Bold;
}
@font-face {
        font-family: AngsanaUPC;
}
@font-face {
        font-family: BrowalliaUPC;
}
@font-face {
        font-family: Browallia New;
}
@font-face {
        font-family: CordiaUPC;
}
@font-face {
        font-family: DilleniaUPC;
}
@font-face {
        font-family: EucrosiaUPC;
}
@font-face {
        font-family: FreesiaUPC;
}
@font-face {
        font-family: IrisUPC;
}
@font-face {
        font-family: JasmineUPC;
}
@font-face {
        font-family: KodchiangUPC;
}
@font-face {
        font-family: LilyUPC;
}
@font-face {
        font-family: Aharoni;
}
@font-face {
        font-family: David Transparent;
}
@font-face {
        font-family: FrankRuehl;
}
@font-face {
        font-family: Levenim MT;
}
@font-face {
        font-family: Miriam Transparent;
}
@font-face {
        font-family: Miriam Fixed;
}
@font-face {
        font-family: Fixed Miriam Transparent;
}
@font-face {
        font-family: Narkisim;
}
@font-face {
        font-family: Rod;
}
@font-face {
        font-family: Rod Transparent;
}
@font-face {
        font-family: Traditional Arabic;
}
@font-face {
        font-family: Arabic Transparent;
}
@font-face {
        font-family: Andalus;
}
@font-face {
        font-family: Simplified Arabic;
}
@font-face {
        font-family: Simplified Arabic Fixed;
}
@font-face {
        font-family: Bookshelf Symbol 7;
}
@font-face {
        font-family: MS Reference Sans Serif;
}
@font-face {
        font-family: MS Reference Specialty;
}
@font-face {
        font-family: MS Outlook;
}
@font-face {
        font-family: Nina;
}
@font-face {
        font-family: Times;
}
@font-face {
        font-family: Geneva;
}
@font-face {
        font-family: Brush Script MT;
}
@font-face {
        font-family: Guttman Yad-Brush;
}
@font-face {
        font-family: sans-serif;
}
@page Section1 {size: 8.5in 11.0in; margin: 1.0in 1.25in 1.0in 1.25in; }
P.MsoNormal {
        FONT-SIZE: 12pt; MARGIN: 0in 0in 0pt; FONT-FAMILY: "Times New Roman"
}
LI.MsoNormal {
        FONT-SIZE: 12pt; MARGIN: 0in 0in 0pt; FONT-FAMILY: "Times New Roman"
}
DIV.MsoNormal {
        FONT-SIZE: 12pt; MARGIN: 0in 0in 0pt; FONT-FAMILY: "Times New Roman"
}
A:link {
        COLOR: blue; TEXT-DECORATION: underline
}
SPAN.MsoHyperlink {
        COLOR: blue; TEXT-DECORATION: underline
}
A:visited {
        COLOR: purple; TEXT-DECORATION: underline
}
SPAN.MsoHyperlinkFollowed {
        COLOR: purple; TEXT-DECORATION: underline
}
SPAN.EmailStyle17 {
        COLOR: windowtext; FONT-FAMILY: Arial; mso-style-type: personal-compose
}
INS {
        TEXT-DECORATION: none; mso-style-type: export-only
}
SPAN.msoIns {
        TEXT-DECORATION: underline; mso-style-type: export-only
}
SPAN.msoDel {
        COLOR: red; TEXT-DECORATION: line-through; mso-style-type: export-only
}
DIV.Section1 {
        page: Section1
}
</STYLE>
</HEAD>
<BODY lang=EN-US vLink=purple link=blue>
<DIV><SPAN class=613084812-02012007><FONT face=Arial color=#0000ff size=2>Is it 
reproduce able ? how ?</FONT></SPAN></DIV>
<DIV><SPAN class=613084812-02012007><FONT face=Arial color=#0000ff size=2>Does 
the SM resides on the switch ?</FONT></SPAN></DIV>
<DIV><SPAN class=613084812-02012007><FONT face=Arial color=#0000ff 
size=2></FONT></SPAN> </DIV>
<DIV><SPAN class=613084812-02012007><FONT face=Arial color=#0000ff 
size=2></FONT></SPAN> </DIV>
<DIV><SPAN class=613084812-02012007><FONT face=Arial color=#0000ff size=2>I 
think that there was error in the join process against the 
SM.</FONT></SPAN></DIV>
<DIV><SPAN class=613084812-02012007><FONT face=Arial color=#0000ff size=2>In 
normal behavior of IPoIB __bcast_cb() should be called after IPoIB issued query 
of __port_join_bcast()</FONT></SPAN></DIV>
<DIV><SPAN class=613084812-02012007><FONT face=Arial color=#0000ff 
size=2></FONT></SPAN> </DIV>
<DIV><SPAN class=613084812-02012007><FONT face=Arial color=#0000ff size=2>In 
your log there is not call to the __bcast_cb()  callback, this mean that 
IBAL did not get the answer and failed to create time out for the 
query.</FONT></SPAN></DIV>
<DIV><SPAN class=613084812-02012007><FONT face=Arial color=#0000ff 
size=2></FONT></SPAN> </DIV>
<DIV><SPAN class=613084812-02012007><FONT face=Arial color=#0000ff size=2>Can 
you collect IBAL traces so we can be sure that the query returned 
?</FONT></SPAN></DIV>
<DIV><SPAN class=613084812-02012007><FONT face=Arial color=#0000ff size=2>Can 
you also get IB traces between the SM and the IPoIB ?</FONT></SPAN></DIV><BR>
<BLOCKQUOTE dir=ltr 
style="PADDING-LEFT: 5px; MARGIN-LEFT: 5px; BORDER-LEFT: #0000ff 2px solid; MARGIN-RIGHT: 0px">
  <DIV class=OutlookMessageHeader lang=en-us dir=ltr align=left>
  <HR tabIndex=-1>
  <FONT face=Tahoma size=2><B>From:</B> openib-windows-bounces@openib.org 
  [mailto:openib-windows-bounces@openib.org] <B>On Behalf Of </B>Anatoly 
  Lisenko<BR><B>Sent:</B> Tuesday, January 02, 2007 1:57 PM<BR><B>To:</B> 
  leonid@mellanox.co.il; openib-windows@openib.org<BR><B>Cc:</B> Tzahi 
  Oved<BR><B>Subject:</B> [Openib-windows] Win IBhost stop receive broadcast 
  packets<BR></FONT><BR></DIV>
  <DIV></DIV>
  <DIV class=Section1>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">Hi ,<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial"><o:p> </o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">I saw some problem with windows 
  ibhost stack: reboot of infiniband switch can cause ping loss ( even after 
  ibsw get up ).<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">I start to research this anomaly 
  and I saw:<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">1. ib stack doesn’t receive 
  broadcast arp packets.<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">2. All other packets unicast + 
  multicast are received.<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">3. rx packets hca port counter 
  increased each time broadcast packet arrived <o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">4. It seems that firmware drop 
  this packet. ( I don’t see any completions )<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial"><o:p> </o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">I examined the logs and saw that 
  somehow we fall into state when :<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">1. hca’s port joined to bcast 
  group<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">2. ipoib qp detached from bcast 
  group<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial"><o:p> </o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">This is stack backtrace of 
  mlnx_detach_mcast func. :<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">f7125d10 f68ae6ab 
  mthca!mlnx_detach_mcast+0x13 [n:\win-ibhost\trunk\hw\mthca\kernel\hca_mcast.c 
  @ 142]<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">f7125d38 f68c9c30 
  ibbus!__cleanup_mcast+0x24b [n:\win-ibhost\trunk\core\al\al_mcast.c @ 
  304]<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">f7125d70 f6820212 
  ibbus!async_destroy_cb+0x420 [n:\win-ibhost\trunk\core\al\al_common.c @ 
  665]<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">f7125d8c f6825dc2 
  ibbus!__cl_async_proc_worker+0x92 
  [n:\win-ibhost\trunk\core\complib\cl_async_proc.c @ 
  153]<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">f7125da0 f6827c3a 
  ibbus!__cl_thread_pool_routine+0x52 
  [n:\win-ibhost\trunk\core\complib\cl_threadpool.c @ 
  67]<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">f7125dac 80948bb2 
  ibbus!__thread_callback+0x2a 
  [n:\win-ibhost\trunk\core\complib\kernel\cl_thread.c @ 
  49]<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">f7125ddc 8088d4d2 
  nt!PspSystemThreadStartup+0x2e<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000000 00000000 
  nt!KiThreadStartup+0x16<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial"><o:p> </o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial"><o:p> </o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">Mthca wpp 
  log:<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000662          
  kernel   1236     
  600       
  2          
  312       
  01\02\2007-13:28:02:781            
  mlnx_query_ca()===><o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000663          
  kernel   1236     
  600       
  2          
  321       
  01\02\2007-13:28:02:781            
  mlnx_query_ca() :port 0 gid0:<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000664          
  kernel   1236     
  600       
  2          
  322       
  01\02\2007-13:28:02:781            
  mlnx_query_ca() : 0xfe80000000-0x08f14398095<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000665          
  kernel   1236     
  600       
  2          
  323       
  01\02\2007-13:28:02:781            
  mlnx_query_ca() :port 1 gid0:<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000666          
  kernel   1236     
  600       
  2          
  324       
  01\02\2007-13:28:02:781            
  mlnx_query_ca() : 0xfe80000000-0x08f14398096<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000667          
  kernel   1236     
  600       
  2          
  325       
  01\02\2007-13:28:02:781            
  mlnx_query_ca() :Space required 1898 used 1898<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000668          
  kernel   1236     
  600       
  2          
  326       
  01\02\2007-13:28:02:781            
  mlnx_conv_hca_cap() :Port 1 port_guid 
  0x8f10403980095<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000669          
  kernel   1236     
  600       
  2          
  327       
  01\02\2007-13:28:02:781            
  mlnx_conv_hca_cap() :Port 2 port_guid 
  0x8f10403980096<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000670          
  kernel   1236     
  600       
  2          
  328       
  01\02\2007-13:28:02:781            
  mlnx_query_ca()<===<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000671          
  kernel   4          
  276       
  2          
  339       
  01\02\2007-13:28:02:859            
  mlnx_attach_mcast()===><o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000672          
  kernel   4          
  276       
  2          
  340       
  01\02\2007-13:28:02:859            
  mlnx_attach_mcast() :mcasth 89930EA8, qp_p 88A56E78, mlid c0, mgid 
  ffff1b4012ff`ffffffff00000000<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000678          
  kernel   4          
  276       
  2          
  346       
  01\02\2007-13:28:02:859            
  completes with ERROR status IB_SUCCESS<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000681          
  kernel   4          
  276       
  2          
  349       
  01\02\2007-13:28:02:859            
  mlnx_enable_cq_notify()===><o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000682          
  kernel   4          
  276       
  2          
  350       
  01\02\2007-13:28:02:859            
  completes with ERROR status IB_SUCCESS<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000683          
  kernel   4          
  276       
  2          
  357       
  01\02\2007-13:28:02:859            
  mlnx_attach_mcast()===><o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000684          
  kernel   4          
  276       
  2          
  358       
  01\02\2007-13:28:02:859            
  mlnx_attach_mcast() :mcasth 898F1D68, qp_p 88A56E78, mlid 1c0, mgid 
  ffff1b4012ff`100000000000000<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000685          
  kernel   4          
  276       
  2          
  359       
  01\02\2007-13:28:02:859            
  completes with ERROR status IB_SUCCESS<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000686          
  kernel   4          
  276       
  2          
  362       
  01\02\2007-13:28:02:859            
  mlnx_attach_mcast()===><o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000687          
  kernel   4          
  276       
  2          
  363       
  01\02\2007-13:28:02:859            
  mlnx_attach_mcast() :mcasth 884352D8, qp_p 88A56E78, mlid 2c0, mgid 
  ffff051412ff`30000c280010000<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000688          
  kernel   4          
  276       
  2          
  364       
  01\02\2007-13:28:02:859            
  completes with ERROR status IB_SUCCESS<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000689          
  kernel   0          
  0          
  3          
  129       
  01\02\2007-13:28:02:750            
  mlnx_enable_cq_notify()===><o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000690          
  kernel   0          
  0          
  3          
  130       
  01\02\2007-13:28:02:750            
  completes with ERROR status IB_SUCCESS<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">...<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000776          
  kernel   0          
  0          
  3          
  373       
  01\02\2007-13:28:03:109            
  mlnx_enable_cq_notify()===><o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000777          
  kernel   0          
  0          
  3          
  374       
  01\02\2007-13:28:03:109            
  completes with ERROR status IB_SUCCESS<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000778          
  kernel   4          
  272       
  3          
  375       
  01\02\2007-13:28:03:296            
  mlnx_detach_mcast() :mcasth 89918F40, qp_p 88A56E78, mlid 2c0, mgid 
  ffff051412ff`30000c280010000<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000779          
  kernel   4          
  272       
  3          
  376       
  01\02\2007-13:28:03:296            
  completes with ERROR status IB_SUCCESS<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000780          
  kernel   4          
  272       
  3          
  377       
  01\02\2007-13:28:03:296            
  mlnx_detach_mcast() :mcasth 88DB3F00, qp_p 88A56E78, mlid 1c0, mgid 
  ffff1b4012ff`100000000000000<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000781          
  kernel   4          
  272       
  3          
  378       
  01\02\2007-13:28:03:296            
  completes with ERROR status IB_SUCCESS<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000782          
  kernel   4          
  272       
  3          
  379       
  01\02\2007-13:28:03:296            
  mlnx_detach_mcast() :mcasth 88A48DA0, qp_p 88A56E78, mlid 6c0, mgid 
  ffff051412ff`ffffa8ff00ff0000<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000783          
  kernel   4          
  272       
  3          
  380       
  01\02\2007-13:28:03:296            
  completes with ERROR status IB_SUCCESS<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000784          
  kernel   4          
  272       
  3          
  381       
  01\02\2007-13:28:03:296            
  mlnx_detach_mcast() :mcasth 88A94DD0, qp_p 88A56E78, mlid c0, mgid 
  ffff1b4012ff`ffffffff00000000<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000785          
  kernel   4          
  272       
  3          
  382       
  01\02\2007-13:28:03:296            
  completes with ERROR status IB_SUCCESS<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000786          
  kernel   4          
  280       
  1          
  383       
  01\02\2007-13:28:22:781            
  mlnx_query_ca()===><o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000787          
  kernel   4          
  280       
  1          
  384       
  01\02\2007-13:28:22:781            
  mlnx_query_ca() :port 0 gid0:<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000788          
  kernel   4          
  280       
  1          
  385       
  01\02\2007-13:28:22:781            
  mlnx_query_ca() : 0xfe80000000-0x08f14398095<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000789          
  kernel   4          
  280       
  1          
  386       
  01\02\2007-13:28:22:781            
  mlnx_query_ca() :port 1 gid0:<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000790          
  kernel   4          
  280       
  1          
  387       
  01\02\2007-13:28:22:781            
  mlnx_query_ca() : 0xfe80000000-0x08f14398096<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000791          
  kernel   4          
  280       
  1          
  388       
  01\02\2007-13:28:22:781            
  mlnx_query_ca() :Space required 1898 used 1898<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000792          
  kernel   4          
  280       
  1          
  389       
  01\02\2007-13:28:22:781            
  mlnx_conv_hca_cap() :Port 1 port_guid 
  0x8f10403980095<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000793          
  kernel   4          
  280       
  1          
  390       
  01\02\2007-13:28:22:781            
  mlnx_conv_hca_cap() :Port 2 port_guid 
  0x8f10403980096<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000794          
  kernel   4          
  280       
  1          
  391       
  01\02\2007-13:28:22:781            
  mlnx_query_ca()<===<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial"><o:p> </o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial"><o:p> </o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">Ipoib wpp 
  log:<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial"><o:p> </o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000130          
  kernel   0          
  0          
  0          
  130       
  01\02\2007-13:28:01:468            
  [IPoIB] :ipoib_check_for_hang():]<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000131          
  kernel   4          
  280       
  0          
  133       
  01\02\2007-13:28:02:781            
  [IPoIB] :__endpt_mgr_reset_all():[<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000132          
  kernel   4          
  280       
  0          
  134       
  01\02\2007-13:28:02:781            
  [IPoIB] :__endpt_destroying():[<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000133          
  kernel   4          
  280       
  0          
  135       
  01\02\2007-13:28:02:781            
  [IPoIB] :__endpt_destroying():]<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">...<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000140          
  kernel   4          
  280       
  0          
  150       
  01\02\2007-13:28:02:781            
  [IPoIB] :__endpt_destroying():[<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000141          
  kernel   4          
  280       
  0          
  151       
  01\02\2007-13:28:02:781            
  [IPoIB] :__endpt_destroying():]<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000142          
  kernel   4          
  280       
  0          
  152       
  01\02\2007-13:28:02:781            
  [IPoIB] :__endpt_mgr_reset_all():]<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000143          
  kernel   4          
  280       
  0          
  160       
  01\02\2007-13:28:02:781            
  [IPoIB] :ipoib_port_down():]<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000144          
  kernel   4          
  280       
  1          
  131       
  01\02\2007-13:28:02:781            
  [IPoIB] :__ipoib_pnp_cb() :Link DOWN!<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000145          
  kernel   4          
  280       
  1          
  132       
  01\02\2007-13:28:02:781            
  [IPoIB] :ipoib_port_down():[<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000146          
  kernel   4          
  312       
  1          
  153       
  01\02\2007-13:28:02:781            
  [IPoIB] :__endpt_cleanup():[<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000147          
  kernel   4          
  312       
  1          
  154       
  01\02\2007-13:28:02:781            
  [IPoIB] :__endpt_cleanup() :Leaving MCast group<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000148          
  kernel   4          
  312       
  1          
  164       
  01\02\2007-13:28:02:781            
  [IPoIB] :__endpt_cleanup():]<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000149          
  kernel   4          
  312       
  1          
  165       
  01\02\2007-13:28:02:781            
  [IPoIB] :__endpt_free():[<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000150          
  kernel   4          
  312       
  1          
  166       
  01\02\2007-13:28:02:781            
  [IPoIB] :__endpt_free():]<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000151          
  kernel   4          
  280       
  1          
  170       
  01\02\2007-13:28:02:781            
  [IPoIB] :ipoib_port_up():[<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000152          
  kernel   4          
  280       
  1          
  171       
  01\02\2007-13:28:02:781            
  [IPoIB] :ipoib_port_up():]<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000153          
  kernel   4          
  308       
  2          
  145       
  01\02\2007-13:28:02:781            
  [IPoIB] :__endpt_cleanup():[<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000154          
  kernel   4          
  308       
  2          
  147       
  01\02\2007-13:28:02:781            
  [IPoIB] :__endpt_cleanup() :Leaving MCast group<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000155          
  kernel   4          
  308       
  2          
  161       
  01\02\2007-13:28:02:781            
  [IPoIB] :__endpt_cleanup():]<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000156          
  kernel   4          
  308       
  2          
  162       
  01\02\2007-13:28:02:781            
  [IPoIB] :__endpt_free():[<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000157          
  kernel   4          
  308       
  2          
  163       
  01\02\2007-13:28:02:781            
  [IPoIB] :__endpt_free():]<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000158          
  kernel   4          
  276       
  2          
  191       
  01\02\2007-13:28:02:859            
  [IPoIB] :__bcast_cb():[<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000159          
  kernel   4          
  276       
  2          
  192       
  01\02\2007-13:28:02:859            
  [IPoIB] :__endpt_mgr_add_bcast():[<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000160          
  kernel   4          
  276       
  2          
  193       
  01\02\2007-13:28:02:859            
  [IPoIB] :ipoib_endpt_create():[<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000161          
  kernel   4          
  276       
  2          
  194       
  01\02\2007-13:28:02:859            
  [IPoIB] :ipoib_endpt_create():]<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000162          
  kernel   4          
  276       
  2          
  195       
  01\02\2007-13:28:02:859            
  [IPoIB] :ipoib_endpt_set_mcast():[<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000163          
  kernel   4          
  276       
  2          
  196       
  01\02\2007-13:28:02:859            
  [IPoIB] :ipoib_endpt_set_mcast() :Create av for MAC: 
  00-00-00-00-00-00<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000164          
  kernel   4          
  276       
  2          
  197       
  01\02\2007-13:28:02:859            
  [IPoIB] :__create_mcast_av():[<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000165          
  kernel   4          
  276       
  2          
  198       
  01\02\2007-13:28:02:859            
  [IPoIB] :__create_mcast_av():]<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000166          
  kernel   4          
  276       
  2          
  199       
  01\02\2007-13:28:02:859            
  [IPoIB] :ipoib_endpt_set_mcast():]<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000167          
  kernel   4          
  276       
  2          
  200       
  01\02\2007-13:28:02:859            
  [IPoIB] :__endpt_mgr_insert_locked():[<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000168          
  kernel   4          
  276       
  2          
  201       
  01\02\2007-13:28:02:859            
  [IPoIB] :__endpt_mgr_insert_locked() :insert  :  MAC: 
  FF-FF-FF-FF-FF-FF<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000169          
  kernel   4          
  276       
  2          
  202       
  01\02\2007-13:28:02:859            
  [IPoIB] :__endpt_mgr_insert():[<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000170          
  kernel   4          
  276       
  2          
  203       
  01\02\2007-13:28:02:859            
  [IPoIB] :__endpt_mgr_insert():]<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000171          
  kernel   4          
  276       
  2          
  204       
  01\02\2007-13:28:02:859            
  [IPoIB] :__endpt_mgr_add_bcast():]<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000172          
  kernel   4          
  276       
  2          
  205       
  01\02\2007-13:28:02:859            
  [IPoIB] :__ib_mgr_activate():[<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000173          
  kernel   4          
  276       
  2          
  206       
  01\02\2007-13:28:02:859            
  [IPoIB] :__ib_mgr_activate():]<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000174          
  kernel   4          
  276       
  2          
  207       
  01\02\2007-13:28:02:859            
  [IPoIB] :ipoib_set_active():[<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000175          
  kernel   4          
  276       
  2          
  208       
  01\02\2007-13:28:02:859            
  [IPoIB] :ipoib_port_join_mcast():[<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000176          
  kernel   4          
  276       
  2          
  209       
  01\02\2007-13:28:02:859            
  [IPoIB] :__endpt_mgr_ref():[<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000177          
  kernel   4          
  276       
  2          
  210       
  01\02\2007-13:28:02:859            
  [IPoIB] :__endpt_mgr_ref() :Look for :     MAC: 
  01-00-5E-00-00-01<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000178          
  kernel   4          
  276       
  2          
  211       
  01\02\2007-13:28:02:859            
  [IPoIB] :__endpt_mgr_ref() :Failed endpoint lookup.[IpoIB] 
  :__endpt_mgr_ref():]<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000179          
  kernel   4          
  276       
  2          
  212       
  01\02\2007-13:28:02:859            
  [IPoIB] :ipoib_endpt_create():[<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000180          
  kernel   4          
  276       
  2          
  213       
  01\02\2007-13:28:02:859            
  [IPoIB] :ipoib_endpt_create():]<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000181          
  kernel   4          
  276       
  2          
  214       
  01\02\2007-13:28:02:859            
  [IPoIB] :__endpt_mgr_insert_locked():[<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000182          
  kernel   4          
  276       
  2          
  215       
  01\02\2007-13:28:02:859            
  [IPoIB] :__endpt_mgr_insert_locked() :insert  :  MAC: 
  01-00-5E-00-00-01<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000183          
  kernel   4          
  276       
  2          
  216       
  01\02\2007-13:28:02:859            
  [IPoIB] :__endpt_mgr_insert():[<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000184          
  kernel   4          
  276       
  2          
  217       
  01\02\2007-13:28:02:859            
  [IPoIB] :__endpt_mgr_insert():]<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000185          
  kernel   4          
  276       
  2          
  218       
  01\02\2007-13:28:02:859            
  [IPoIB] :ipoib_port_join_mcast():]<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000186          
  kernel   4          
  276       
  2          
  219       
  01\02\2007-13:28:02:859            
  [IPoIB] :ipoib_port_join_mcast():[<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000187          
  kernel   4          
  276       
  2          
  220       
  01\02\2007-13:28:02:859            
  [IPoIB] :__endpt_mgr_ref():[<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000188          
  kernel   4          
  276       
  2          
  221       
  01\02\2007-13:28:02:859            
  [IPoIB] :__endpt_mgr_ref() :Look for :     MAC: 
  01-80-C2-00-00-03<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000189          
  kernel   4          
  276       
  2          
  222       
  01\02\2007-13:28:02:859            
  [IPoIB] :__endpt_mgr_ref() :Failed endpoint lookup.[IpoIB] 
  :__endpt_mgr_ref():]<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000190          
  kernel   4          
  276       
  2          
  223       
  01\02\2007-13:28:02:859            
  [IPoIB] :ipoib_endpt_create():[<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000191          
  kernel   4          
  276       
  2          
  224       
  01\02\2007-13:28:02:859            
  [IPoIB] :ipoib_endpt_create():]<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000192          
  kernel   4          
  276       
  2          
  225       
  01\02\2007-13:28:02:859            
  [IPoIB] :__endpt_mgr_insert_locked():[<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000193          
  kernel   4          
  276       
  2          
  226       
  01\02\2007-13:28:02:859            
  [IPoIB] :__endpt_mgr_insert_locked() :insert  :  MAC: 
  01-80-C2-00-00-03<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000194          
  kernel   4          
  276       
  2          
  227       
  01\02\2007-13:28:02:859            
  [IPoIB] :__endpt_mgr_insert():[<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000195          
  kernel   4          
  276       
  2          
  228       
  01\02\2007-13:28:02:859            
  [IPoIB] :__endpt_mgr_insert():]<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000196          
  kernel   4          
  276       
  2          
  229       
  01\02\2007-13:28:02:859            
  [IPoIB] :ipoib_port_join_mcast():]<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000197          
  kernel   4          
  276       
  2          
  230       
  01\02\2007-13:28:02:859            
  [IPoIB] :ipoib_resume_oids():[<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000198          
  kernel   4          
  276       
  2          
  231       
  01\02\2007-13:28:02:859            
  [IPoIB] :ipoib_resume_oids():]<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000199          
  kernel   4          
  276       
  2          
  232       
  01\02\2007-13:28:02:859            
  [IPoIB] :ipoib_set_active() :Link UP!<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000200          
  kernel   4          
  276       
  2          
  233       
  01\02\2007-13:28:02:859            
  [IPoIB] :ipoib_set_active():]<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000201          
  kernel   4          
  276       
  2          
  234       
  01\02\2007-13:28:02:859            
  [IPoIB] :__bcast_cb():]<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000202          
  kernel   4          
  276       
  2          
  235       
  01\02\2007-13:28:02:859            
  [IPoIB] :__mcast_cb():[<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000203          
  kernel   4          
  276       
  2          
  236       
  01\02\2007-13:28:02:859            
  [IPoIB] :ipoib_endpt_set_mcast():[<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000204          
  kernel   4          
  276       
  2          
  237       
  01\02\2007-13:28:02:859            
  [IPoIB] :ipoib_endpt_set_mcast() :Create av for MAC: 
  01-00-5E-00-00-01<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000205          
  kernel   4          
  276       
  2          
  238       
  01\02\2007-13:28:02:859            
  [IPoIB] :__create_mcast_av():[<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000206          
  kernel   4          
  276       
  2          
  239       
  01\02\2007-13:28:02:859            
  [IPoIB] :__create_mcast_av():]<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000207          
  kernel   4          
  276       
  2          
  240       
  01\02\2007-13:28:02:859            
  [IPoIB] :ipoib_endpt_set_mcast():]<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000208          
  kernel   4          
  276       
  2          
  241       
  01\02\2007-13:28:02:859            
  [IPoIB] :__mcast_cb():]<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000209          
  kernel   4          
  276       
  2          
  242       
  01\02\2007-13:28:02:859            
  [IPoIB] :__mcast_cb():[<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000210          
  kernel   4          
  276       
  2          
  243       
  01\02\2007-13:28:02:859            
  [IPoIB] :ipoib_endpt_set_mcast():[<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000211          
  kernel   4          
  276       
  2          
  244       
  01\02\2007-13:28:02:859            
  [IPoIB] :ipoib_endpt_set_mcast() :Create av for MAC: 
  01-80-C2-00-00-03<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000212          
  kernel   4          
  276       
  2          
  245       
  01\02\2007-13:28:02:859            
  [IPoIB] :__create_mcast_av():[<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000213          
  kernel   4          
  276       
  2          
  246       
  01\02\2007-13:28:02:859            
  [IPoIB] :__create_mcast_av():]<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000214          
  kernel   4          
  276       
  2          
  247       
  01\02\2007-13:28:02:859            
  [IPoIB] :ipoib_endpt_set_mcast():]<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000215          
  kernel   4          
  276       
  2          
  248       
  01\02\2007-13:28:02:859            
  [IPoIB] :__mcast_cb():]<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000216          
  kernel   4          
  320       
  3          
  136       
  01\02\2007-13:28:02:781            
  [IPoIB] :__endpt_cleanup():[<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000217          
  kernel   4          
  320       
  3          
  139       
  01\02\2007-13:28:02:781            
  [IPoIB] :__endpt_cleanup():]<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000218          
  kernel   4          
  320       
  3          
  141       
  01\02\2007-13:28:02:781            
  [IPoIB] :__endpt_free():[<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000219          
  kernel   4          
  320       
  3          
  143       
  01\02\2007-13:28:02:781            
  [IPoIB] :__endpt_free():]<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000220          
  kernel   4          
  320       
  3          
  144       
  01\02\2007-13:28:02:781            
  [IPoIB] :__endpt_cleanup():[<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000221          
  kernel   4          
  320       
  3          
  146       
  01\02\2007-13:28:02:781            
  [IPoIB] :__endpt_cleanup() :Leaving MCast group<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000222          
  kernel   4          
  320       
  3          
  155       
  01\02\2007-13:28:02:781            
  [IPoIB] :__endpt_cleanup():]<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000223          
  kernel   4          
  320       
  3          
  156       
  01\02\2007-13:28:02:781            
  [IPoIB] :__endpt_free():[<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000224          
  kernel   4          
  320       
  3          
  157       
  01\02\2007-13:28:02:781            
  [IPoIB] :__endpt_free():]<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000225          
  kernel   4          
  320       
  3          
  158       
  01\02\2007-13:28:02:781            
  [IPoIB] :__endpt_cleanup():[<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000226          
  kernel   4          
  320       
  3          
  159       
  01\02\2007-13:28:02:781            
  [IPoIB] :__endpt_cleanup() :Leaving MCast group<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000227          
  kernel   4          
  320       
  3          
  167       
  01\02\2007-13:28:02:781            
  [IPoIB] :__endpt_cleanup():]<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000228          
  kernel   4          
  320       
  3          
  168       
  01\02\2007-13:28:02:781            
  [IPoIB] :__endpt_free():[<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000229          
  kernel   4          
  320       
  3          
  169       
  01\02\2007-13:28:02:781            
  [IPoIB] :__endpt_free():]<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000230          
  kernel   0          
  0          
  3          
  172       
  01\02\2007-13:28:02:781            
  [IPoIB] :__port_info_cb():[<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000231          
  kernel   0          
  0          
  3          
  173       
  01\02\2007-13:28:02:781            
  [IPoIB] :__endpt_mgr_add_local():[<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000232          
  kernel   0          
  0          
  3          
  174       
  01\02\2007-13:28:02:781            
  [IPoIB] :ipoib_endpt_create():[<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000233          
  kernel   0          
  0          
  3          
  175       
  01\02\2007-13:28:02:781            
  [IPoIB] :ipoib_endpt_create():]<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000234          
  kernel   0          
  0          
  3          
  176       
  01\02\2007-13:28:02:781            
  [IPoIB] :__endpt_mgr_insert():[<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000235          
  kernel   0          
  0          
  3          
  177       
  01\02\2007-13:28:02:781            
  [IPoIB] :__endpt_mgr_insert():]<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000236          
  kernel   0          
  0          
  3          
  178       
  01\02\2007-13:28:02:781            
  [IPoIB] :__endpt_mgr_add_local():]<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000237          
  kernel   0          
  0          
  3          
  179       
  01\02\2007-13:28:02:781            
  [IPoIB] :__port_info_cb() :Received port info: link width = 
  2.<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000238          
  kernel   0          
  0          
  3          
  180       
  01\02\2007-13:28:02:781            
  [IPoIB] :ipoib_set_rate():[<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000239          
  kernel   0          
  0          
  3          
  181       
  01\02\2007-13:28:02:781            
  [IPoIB] :ipoib_set_rate() :Link speed is 2.5Gs<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000240          
  kernel   0          
  0          
  3          
  182       
  01\02\2007-13:28:02:781            
  [IPoIB] :ipoib_set_rate() :Link width is 4X<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000241          
  kernel   0          
  0          
  3          
  183       
  01\02\2007-13:28:02:781            
  [IPoIB] :ipoib_set_rate():]<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000242          
  kernel   0          
  0          
  3          
  184       
  01\02\2007-13:28:02:781            
  [IPoIB] :__port_get_bcast():[<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000243          
  kernel   0          
  0          
  3          
  185       
  01\02\2007-13:28:02:781            
  [IPoIB] :__port_get_bcast():]<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000244          
  kernel   0          
  0          
  3          
  186       
  01\02\2007-13:28:02:781            
  [IPoIB] :__port_info_cb():]<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000245          
  kernel   2624     2732     
  3          
  187       
  01\02\2007-13:28:02:781            
  [IPoIB] :__bcast_get_cb():[<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000246          
  kernel   2624     2732     
  3          
  188       
  01\02\2007-13:28:02:781            
  [IPoIB] :__port_join_bcast():[<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000247          
  kernel   2624     2732     
  3          
  189       
  01\02\2007-13:28:02:781            
  [IPoIB] :__port_join_bcast():]<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000248          
  kernel   2624     2732     
  3          
  190       
  01\02\2007-13:28:02:781            
  [IPoIB] :__bcast_get_cb():]<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000249          
  kernel   0          
  0          
  3          
  249       
  01\02\2007-13:28:03:109            
  [IPoIB] :__endpt_mgr_get_by_gid():[<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000250          
  kernel   0          
  0          
  3          
  250       
  01\02\2007-13:28:03:109            
  [IPoIB] :__endpt_mgr_get_by_gid():]<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">...<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000339          
  kernel   0          
  0          
  3          
  339       
  01\02\2007-13:28:03:109            
  [IPoIB] :__endpt_mgr_get_by_gid():[<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000340          
  kernel   0          
  0          
  3          
  340       
  01\02\2007-13:28:03:109            
  [IPoIB] :__endpt_mgr_get_by_gid():]<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">00000341          
  kernel   0          
  0          
  0          
  341       
  01\02\2007-13:28:03:468            
  [IPoIB] :ipoib_check_for_hang():[<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial"><o:p> </o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial"><o:p> </o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">Thanks,<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">Anatoly<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial"><o:p> </o:p></SPAN></FONT></P></DIV></BLOCKQUOTE></BODY></HTML>