<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns="http://www.w3.org/TR/REC-html40">

<head>
<meta http-equiv=Content-Type content="text/html; charset=us-ascii">
<meta name=Generator content="Microsoft Word 11 (filtered medium)">
<!--[if !mso]>
<style>
v\:* {behavior:url(#default#VML);}
o\:* {behavior:url(#default#VML);}
w\:* {behavior:url(#default#VML);}
.shape {behavior:url(#default#VML);}
</style>
<![endif]-->
<style>
<!--
 /* Font Definitions */
 @font-face
        {font-family:Tahoma;
        panose-1:2 11 6 4 3 5 4 4 2 4;}
 /* Style Definitions */
 p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0in;
        margin-bottom:.0001pt;
        font-size:12.0pt;
        font-family:"Times New Roman";}
a:link, span.MsoHyperlink
        {color:blue;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {color:purple;
        text-decoration:underline;}
span.EmailStyle17
        {mso-style-type:personal;
        font-family:Arial;
        color:windowtext;}
span.EmailStyle18
        {mso-style-type:personal-reply;
        font-family:Arial;
        color:navy;}
@page Section1
        {size:8.5in 11.0in;
        margin:1.0in 1.25in 1.0in 1.25in;}
div.Section1
        {page:Section1;}
 /* List Definitions */
 @list l0
        {mso-list-id:1356535356;
        mso-list-type:hybrid;
        mso-list-template-ids:1272745024 67698703 67698713 67698715 67698703 67698713 67698715 67698703 67698713 67698715;}
@list l0:level1
        {mso-level-tab-stop:.5in;
        mso-level-number-position:left;
        text-indent:-.25in;}
ol
        {margin-bottom:0in;}
ul
        {margin-bottom:0in;}
-->
</style>

</head>

<body lang=EN-US link=blue vlink=purple>

<div class=Section1>

<p class=MsoNormal><font size=2 color=navy face=Arial><span style='font-size:
10.0pt;font-family:Arial;color:navy'>Repro scenario:<o:p></o:p></span></font></p>

<ol style='margin-top:0in' start=1 type=1>
 <li class=MsoNormal style='color:navy;mso-list:l0 level1 lfo1'><font size=2
     color=navy face=Arial><span style='font-size:10.0pt;font-family:Arial'>reset
     IB switch<o:p></o:p></span></font></li>
 <li class=MsoNormal style='color:navy;mso-list:l0 level1 lfo1'><font size=2
     color=navy face=Arial><span style='font-size:10.0pt;font-family:Arial'>wait
     for sm start to reconfigure the fabric . <o:p></o:p></span></font></li>
 <li class=MsoNormal style='color:navy;mso-list:l0 level1 lfo1'><font size=2
     color=navy face=Arial><span style='font-size:10.0pt;font-family:Arial'>you
     should see: in ipoib log  : “link down” -> .. -> “link
     up” <o:p></o:p></span></font></li>
</ol>

<p class=MsoNormal style='margin-left:.25in'><font size=2 color=navy
face=Arial><span style='font-size:10.0pt;font-family:Arial;color:navy'>                            
 in mthca log: attach -> … -> detach<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 color=navy face=Arial><span style='font-size:
10.0pt;font-family:Arial;color:navy'><o:p> </o:p></span></font></p>

<p class=MsoNormal><font size=2 color=navy face=Arial><span style='font-size:
10.0pt;font-family:Arial;color:navy'>I attach fresh log files : mthca (flags = 0x400),
ipoib (flags=0x122), ibal (full log prints)<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 color=navy face=Arial><span style='font-size:
10.0pt;font-family:Arial;color:navy'><o:p> </o:p></span></font></p>

<p class=MsoNormal><font size=2 color=navy face=Arial><span style='font-size:
10.0pt;font-family:Arial;color:navy'>I will send you later IB traces by CATC .<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 color=navy face=Arial><span style='font-size:
10.0pt;font-family:Arial;color:navy'><o:p> </o:p></span></font></p>

<p class=MsoNormal><font size=2 color=navy face=Arial><span style='font-size:
10.0pt;font-family:Arial;color:navy'>Thanks,<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 color=navy face=Arial><span style='font-size:
10.0pt;font-family:Arial;color:navy'>Anatoly<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 color=navy face=Arial><span style='font-size:
10.0pt;font-family:Arial;color:navy'><o:p> </o:p></span></font></p>

<div>

<div class=MsoNormal align=center style='text-align:center'><font size=3
face="Times New Roman"><span style='font-size:12.0pt'>

<hr size=2 width="100%" align=center tabindex=-1>

</span></font></div>

<p class=MsoNormal><b><font size=2 face=Tahoma><span style='font-size:10.0pt;
font-family:Tahoma;font-weight:bold'>From:</span></font></b><font size=2
face=Tahoma><span style='font-size:10.0pt;font-family:Tahoma'> Yossi Leybovich
[mailto:sleybo@dev.mellanox.co.il] <br>
<b><span style='font-weight:bold'>Sent:</span></b> Tuesday, January 02, 2007
3:11 PM<br>
<b><span style='font-weight:bold'>To:</span></b> Anatoly Lisenko; Leonid
Keller; openib-windows@openib.org<br>
<b><span style='font-weight:bold'>Cc:</span></b> Tzahi Oved<br>
<b><span style='font-weight:bold'>Subject:</span></b> RE: [Openib-windows] Win
IBhost stop receive broadcast packets</span></font><o:p></o:p></p>

</div>

<p class=MsoNormal><font size=3 face="Times New Roman"><span style='font-size:
12.0pt'><o:p> </o:p></span></font></p>

<div>

<p class=MsoNormal><font size=2 color=blue face=Arial><span style='font-size:
10.0pt;font-family:Arial;color:blue'>Is it reproduce able ? how ?</span></font><o:p></o:p></p>

</div>

<div>

<p class=MsoNormal><font size=2 color=blue face=Arial><span style='font-size:
10.0pt;font-family:Arial;color:blue'>Does the SM resides on the switch ?</span></font><o:p></o:p></p>

</div>

<div>

<p class=MsoNormal><font size=3 face="Times New Roman"><span style='font-size:
12.0pt'> <o:p></o:p></span></font></p>

</div>

<div>

<p class=MsoNormal><font size=3 face="Times New Roman"><span style='font-size:
12.0pt'> <o:p></o:p></span></font></p>

</div>

<div>

<p class=MsoNormal><font size=2 color=blue face=Arial><span style='font-size:
10.0pt;font-family:Arial;color:blue'>I think that there was error in the join
process against the SM.</span></font><o:p></o:p></p>

</div>

<div>

<p class=MsoNormal><font size=2 color=blue face=Arial><span style='font-size:
10.0pt;font-family:Arial;color:blue'>In normal behavior of IPoIB __bcast_cb()
should be called after IPoIB issued query of __port_join_bcast()</span></font><o:p></o:p></p>

</div>

<div>

<p class=MsoNormal><font size=3 face="Times New Roman"><span style='font-size:
12.0pt'> <o:p></o:p></span></font></p>

</div>

<div>

<p class=MsoNormal><font size=2 color=blue face=Arial><span style='font-size:
10.0pt;font-family:Arial;color:blue'>In your log there is not call to the
__bcast_cb()  callback, this mean that IBAL did not get the answer and
failed to create time out for the query.</span></font><o:p></o:p></p>

</div>

<div>

<p class=MsoNormal><font size=3 face="Times New Roman"><span style='font-size:
12.0pt'> <o:p></o:p></span></font></p>

</div>

<div>

<p class=MsoNormal><font size=2 color=blue face=Arial><span style='font-size:
10.0pt;font-family:Arial;color:blue'>Can you collect IBAL traces so we can be
sure that the query returned ?</span></font><o:p></o:p></p>

</div>

<div>

<p class=MsoNormal><font size=2 color=blue face=Arial><span style='font-size:
10.0pt;font-family:Arial;color:blue'>Can you also get IB traces between the SM
and the IPoIB ?</span></font><o:p></o:p></p>

</div>

<blockquote style='border:none;border-left:solid blue 1.5pt;padding:0in 0in 0in 4.0pt;
margin-left:3.75pt;margin-top:5.0pt;margin-right:0in;margin-bottom:5.0pt'>

<p class=MsoNormal><font size=3 face="Times New Roman"><span style='font-size:
12.0pt'><o:p> </o:p></span></font></p>

<div class=MsoNormal align=center style='text-align:center'><font size=3
face="Times New Roman"><span style='font-size:12.0pt'>

<hr size=2 width="100%" align=center tabIndex=-1>

</span></font></div>

<p class=MsoNormal style='margin-bottom:12.0pt'><b><font size=2 face=Tahoma><span
style='font-size:10.0pt;font-family:Tahoma;font-weight:bold'>From:</span></font></b><font
size=2 face=Tahoma><span style='font-size:10.0pt;font-family:Tahoma'>
openib-windows-bounces@openib.org [mailto:openib-windows-bounces@openib.org] <b><span
style='font-weight:bold'>On Behalf Of </span></b>Anatoly Lisenko<br>
<b><span style='font-weight:bold'>Sent:</span></b> Tuesday, January 02, 2007
1:57 PM<br>
<b><span style='font-weight:bold'>To:</span></b> leonid@mellanox.co.il;
openib-windows@openib.org<br>
<b><span style='font-weight:bold'>Cc:</span></b> Tzahi Oved<br>
<b><span style='font-weight:bold'>Subject:</span></b> [Openib-windows] Win
IBhost stop receive broadcast packets</span></font><o:p></o:p></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>Hi ,<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'><o:p> </o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>I saw some problem with windows ibhost stack: reboot of
infiniband switch can cause ping loss ( even after ibsw get up ).<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>I start to research this anomaly and I saw:<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>1. ib stack doesn’t receive broadcast arp packets.<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>2. All other packets unicast + multicast are received.<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>3. rx packets hca port counter increased each time broadcast
packet arrived <o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>4. It seems that firmware drop this packet. ( I don’t
see any completions )<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'><o:p> </o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>I examined the logs and saw that somehow we fall into state
when :<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>1. hca’s port joined to bcast group<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>2. ipoib qp detached from bcast group<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'><o:p> </o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>This is stack backtrace of mlnx_detach_mcast func. :<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>f7125d10 f68ae6ab mthca!mlnx_detach_mcast+0x13
[n:\win-ibhost\trunk\hw\mthca\kernel\hca_mcast.c @ 142]<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>f7125d38 f68c9c30 ibbus!__cleanup_mcast+0x24b
[n:\win-ibhost\trunk\core\al\al_mcast.c @ 304]<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>f7125d70 f6820212 ibbus!async_destroy_cb+0x420
[n:\win-ibhost\trunk\core\al\al_common.c @ 665]<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>f7125d8c f6825dc2 ibbus!__cl_async_proc_worker+0x92
[n:\win-ibhost\trunk\core\complib\cl_async_proc.c @ 153]<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>f7125da0 f6827c3a ibbus!__cl_thread_pool_routine+0x52
[n:\win-ibhost\trunk\core\complib\cl_threadpool.c @ 67]<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>f7125dac 80948bb2 ibbus!__thread_callback+0x2a [n:\win-ibhost\trunk\core\complib\kernel\cl_thread.c
@ 49]<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>f7125ddc 8088d4d2 nt!PspSystemThreadStartup+0x2e<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000000 00000000 nt!KiThreadStartup+0x16<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'><o:p> </o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'><o:p> </o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>Mthca wpp log:<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000662         
kernel   1236    
600      
2         
312       01\02\2007-13:28:02:781           
mlnx_query_ca()===><o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000663         
kernel   1236    
600      
2         
321       01\02\2007-13:28:02:781           
mlnx_query_ca() :port 0 gid0:<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000664         
kernel   1236    
600      
2         
322       01\02\2007-13:28:02:781           
mlnx_query_ca() : 0xfe80000000-0x08f14398095<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000665         
kernel   1236    
600      
2         
323       01\02\2007-13:28:02:781           
mlnx_query_ca() :port 1 gid0:<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000666         
kernel   1236    
600      
2         
324       01\02\2007-13:28:02:781           
mlnx_query_ca() : 0xfe80000000-0x08f14398096<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000667         
kernel   1236    
600      
2         
325       01\02\2007-13:28:02:781           
mlnx_query_ca() :Space required 1898 used 1898<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000668         
kernel   1236     600      
2         
326      
01\02\2007-13:28:02:781           
mlnx_conv_hca_cap() :Port 1 port_guid 0x8f10403980095<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000669         
kernel   1236    
600      
2         
327       01\02\2007-13:28:02:781           
mlnx_conv_hca_cap() :Port 2 port_guid 0x8f10403980096<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000670         
kernel   1236    
600      
2         
328       01\02\2007-13:28:02:781           
mlnx_query_ca()<===<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000671         
kernel   4         
276      
2          339      
01\02\2007-13:28:02:859           
mlnx_attach_mcast()===><o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000672         
kernel   4         
276      
2          340      
01\02\2007-13:28:02:859           
mlnx_attach_mcast() :mcasth 89930EA8, qp_p 88A56E78, mlid c0, mgid
ffff1b4012ff`ffffffff00000000<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000678         
kernel   4          276      
2         
346      
01\02\2007-13:28:02:859           
completes with ERROR status IB_SUCCESS<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000681         
kernel   4         
276      
2          349      
01\02\2007-13:28:02:859           
mlnx_enable_cq_notify()===><o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000682         
kernel   4         
276      
2         
350      
01\02\2007-13:28:02:859           
completes with ERROR status IB_SUCCESS<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000683         
kernel   4         
276      
2          357      
01\02\2007-13:28:02:859           
mlnx_attach_mcast()===><o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000684         
kernel   4         
276      
2         
358      
01\02\2007-13:28:02:859           
mlnx_attach_mcast() :mcasth 898F1D68, qp_p 88A56E78, mlid 1c0, mgid
ffff1b4012ff`100000000000000<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000685         
kernel   4         
276      
2          359      
01\02\2007-13:28:02:859           
completes with ERROR status IB_SUCCESS<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000686         
kernel   4         
276      
2          362      
01\02\2007-13:28:02:859           
mlnx_attach_mcast()===><o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000687         
kernel   4         
276      
2         
363      
01\02\2007-13:28:02:859           
mlnx_attach_mcast() :mcasth 884352D8, qp_p 88A56E78, mlid 2c0, mgid
ffff051412ff`30000c280010000<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000688         
kernel   4         
276      
2          364      
01\02\2007-13:28:02:859           
completes with ERROR status IB_SUCCESS<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000689         
kernel   0         
0         
3          129      
01\02\2007-13:28:02:750           
mlnx_enable_cq_notify()===><o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000690         
kernel   0         
0         
3          130      
01\02\2007-13:28:02:750           
completes with ERROR status IB_SUCCESS<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>...<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000776         
kernel   0         
0         
3          373      
01\02\2007-13:28:03:109           
mlnx_enable_cq_notify()===><o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000777         
kernel   0         
0         
3         
374      
01\02\2007-13:28:03:109           
completes with ERROR status IB_SUCCESS<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000778         
kernel   4         
272      
3          375      
01\02\2007-13:28:03:296           
mlnx_detach_mcast() :mcasth 89918F40, qp_p 88A56E78, mlid 2c0, mgid
ffff051412ff`30000c280010000<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000779         
kernel   4         
272      
3          376      
01\02\2007-13:28:03:296           
completes with ERROR status IB_SUCCESS<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000780         
kernel   4         
272      
3          377      
01\02\2007-13:28:03:296           
mlnx_detach_mcast() :mcasth 88DB3F00, qp_p 88A56E78, mlid 1c0, mgid
ffff1b4012ff`100000000000000<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000781         
kernel   4         
272      
3          378      
01\02\2007-13:28:03:296           
completes with ERROR status IB_SUCCESS<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000782         
kernel   4         
272      
3          379      
01\02\2007-13:28:03:296           
mlnx_detach_mcast() :mcasth 88A48DA0, qp_p 88A56E78, mlid 6c0, mgid
ffff051412ff`ffffa8ff00ff0000<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000783         
kernel   4         
272      
3         
380      
01\02\2007-13:28:03:296           
completes with ERROR status IB_SUCCESS<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000784         
kernel   4         
272      
3          381      
01\02\2007-13:28:03:296           
mlnx_detach_mcast() :mcasth 88A94DD0, qp_p 88A56E78, mlid c0, mgid
ffff1b4012ff`ffffffff00000000<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000785         
kernel   4         
272      
3          382      
01\02\2007-13:28:03:296           
completes with ERROR status IB_SUCCESS<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000786         
kernel   4         
280      
1          383      
01\02\2007-13:28:22:781           
mlnx_query_ca()===><o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000787         
kernel   4         
280      
1          384      
01\02\2007-13:28:22:781           
mlnx_query_ca() :port 0 gid0:<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000788         
kernel   4         
280      
1         
385      
01\02\2007-13:28:22:781           
mlnx_query_ca() : 0xfe80000000-0x08f14398095<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000789         
kernel   4         
280      
1          386      
01\02\2007-13:28:22:781           
mlnx_query_ca() :port 1 gid0:<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000790         
kernel   4         
280      
1         
387      
01\02\2007-13:28:22:781           
mlnx_query_ca() : 0xfe80000000-0x08f14398096<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000791         
kernel   4         
280      
1          388      
01\02\2007-13:28:22:781           
mlnx_query_ca() :Space required 1898 used 1898<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000792         
kernel   4         
280      
1          389      
01\02\2007-13:28:22:781           
mlnx_conv_hca_cap() :Port 1 port_guid 0x8f10403980095<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000793         
kernel   4         
280      
1          390      
01\02\2007-13:28:22:781           
mlnx_conv_hca_cap() :Port 2 port_guid 0x8f10403980096<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000794         
kernel   4         
280      
1          391      
01\02\2007-13:28:22:781           
mlnx_query_ca()<===<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'><o:p> </o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'><o:p> </o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>Ipoib wpp log:<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'><o:p> </o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000130         
kernel   0         
0         
0         
130      
01\02\2007-13:28:01:468           
[IPoIB] :ipoib_check_for_hang():]<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000131         
kernel   4         
280      
0          133      
01\02\2007-13:28:02:781           
[IPoIB] :__endpt_mgr_reset_all():[<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000132         
kernel   4         
280      
0         
134      
01\02\2007-13:28:02:781           
[IPoIB] :__endpt_destroying():[<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000133         
kernel   4         
280      
0          135      
01\02\2007-13:28:02:781           
[IPoIB] :__endpt_destroying():]<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>...<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000140         
kernel   4         
280      
0          150      
01\02\2007-13:28:02:781           
[IPoIB] :__endpt_destroying():[<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000141         
kernel   4         
280      
0          151      
01\02\2007-13:28:02:781           
[IPoIB] :__endpt_destroying():]<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000142         
kernel   4         
280      
0          152      
01\02\2007-13:28:02:781           
[IPoIB] :__endpt_mgr_reset_all():]<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000143         
kernel   4         
280      
0          160      
01\02\2007-13:28:02:781           
[IPoIB] :ipoib_port_down():]<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000144         
kernel   4         
280      
1          131      
01\02\2007-13:28:02:781           
[IPoIB] :__ipoib_pnp_cb() :Link DOWN!<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000145         
kernel   4         
280      
1          132      
01\02\2007-13:28:02:781           
[IPoIB] :ipoib_port_down():[<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000146         
kernel   4         
312      
1          153      
01\02\2007-13:28:02:781           
[IPoIB] :__endpt_cleanup():[<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000147         
kernel   4         
312      
1          154      
01\02\2007-13:28:02:781           
[IPoIB] :__endpt_cleanup() :Leaving MCast group<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000148         
kernel   4         
312      
1          164      
01\02\2007-13:28:02:781           
[IPoIB] :__endpt_cleanup():]<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000149         
kernel   4         
312      
1         
165      
01\02\2007-13:28:02:781           
[IPoIB] :__endpt_free():[<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000150         
kernel   4         
312      
1          166      
01\02\2007-13:28:02:781           
[IPoIB] :__endpt_free():]<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000151         
kernel   4          280      
1         
170      
01\02\2007-13:28:02:781           
[IPoIB] :ipoib_port_up():[<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000152         
kernel   4         
280      
1          171      
01\02\2007-13:28:02:781           
[IPoIB] :ipoib_port_up():]<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000153         
kernel   4         
308      
2         
145      
01\02\2007-13:28:02:781           
[IPoIB] :__endpt_cleanup():[<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000154         
kernel   4         
308      
2          147      
01\02\2007-13:28:02:781           
[IPoIB] :__endpt_cleanup() :Leaving MCast group<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000155         
kernel   4         
308      
2          161      
01\02\2007-13:28:02:781           
[IPoIB] :__endpt_cleanup():]<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000156         
kernel   4         
308      
2          162      
01\02\2007-13:28:02:781           
[IPoIB] :__endpt_free():[<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000157         
kernel   4         
308      
2          163      
01\02\2007-13:28:02:781           
[IPoIB] :__endpt_free():]<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000158         
kernel   4         
276      
2          191      
01\02\2007-13:28:02:859           
[IPoIB] :__bcast_cb():[<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000159         
kernel   4         
276      
2          192      
01\02\2007-13:28:02:859           
[IPoIB] :__endpt_mgr_add_bcast():[<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000160         
kernel   4         
276      
2          193      
01\02\2007-13:28:02:859           
[IPoIB] :ipoib_endpt_create():[<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000161         
kernel   4         
276      
2          194      
01\02\2007-13:28:02:859           
[IPoIB] :ipoib_endpt_create():]<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000162         
kernel   4         
276      
2          195      
01\02\2007-13:28:02:859           
[IPoIB] :ipoib_endpt_set_mcast():[<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000163         
kernel   4         
276      
2          196      
01\02\2007-13:28:02:859           
[IPoIB] :ipoib_endpt_set_mcast() :Create av for MAC: 00-00-00-00-00-00<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000164         
kernel   4         
276      
2         
197      
01\02\2007-13:28:02:859           
[IPoIB] :__create_mcast_av():[<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000165         
kernel   4         
276      
2          198      
01\02\2007-13:28:02:859           
[IPoIB] :__create_mcast_av():]<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000166         
kernel   4         
276      
2         
199      
01\02\2007-13:28:02:859           
[IPoIB] :ipoib_endpt_set_mcast():]<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000167         
kernel   4         
276      
2          200      
01\02\2007-13:28:02:859           
[IPoIB] :__endpt_mgr_insert_locked():[<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000168         
kernel   4         
276      
2          201      
01\02\2007-13:28:02:859           
[IPoIB] :__endpt_mgr_insert_locked() :insert  :  MAC:
FF-FF-FF-FF-FF-FF<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000169         
kernel   4          276      
2         
202      
01\02\2007-13:28:02:859           
[IPoIB] :__endpt_mgr_insert():[<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000170         
kernel   4         
276      
2          203      
01\02\2007-13:28:02:859           
[IPoIB] :__endpt_mgr_insert():]<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000171         
kernel   4         
276      
2         
204      
01\02\2007-13:28:02:859           
[IPoIB] :__endpt_mgr_add_bcast():]<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000172         
kernel   4         
276      
2          205      
01\02\2007-13:28:02:859           
[IPoIB] :__ib_mgr_activate():[<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000173         
kernel   4         
276      
2         
206      
01\02\2007-13:28:02:859           
[IPoIB] :__ib_mgr_activate():]<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000174         
kernel   4         
276      
2          207      
01\02\2007-13:28:02:859           
[IPoIB] :ipoib_set_active():[<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000175         
kernel   4         
276      
2          208      
01\02\2007-13:28:02:859           
[IPoIB] :ipoib_port_join_mcast():[<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000176         
kernel   4         
276      
2          209      
01\02\2007-13:28:02:859           
[IPoIB] :__endpt_mgr_ref():[<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000177         
kernel   4         
276      
2          210      
01\02\2007-13:28:02:859           
[IPoIB] :__endpt_mgr_ref() :Look for :     MAC:
01-00-5E-00-00-01<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000178         
kernel   4         
276      
2          211      
01\02\2007-13:28:02:859           
[IPoIB] :__endpt_mgr_ref() :Failed endpoint lookup.[IpoIB] :__endpt_mgr_ref():]<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000179         
kernel   4         
276      
2          212      
01\02\2007-13:28:02:859           
[IPoIB] :ipoib_endpt_create():[<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000180         
kernel   4         
276      
2          213      
01\02\2007-13:28:02:859           
[IPoIB] :ipoib_endpt_create():]<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000181         
kernel   4         
276      
2          214      
01\02\2007-13:28:02:859           
[IPoIB] :__endpt_mgr_insert_locked():[<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000182         
kernel   4         
276      
2          215      
01\02\2007-13:28:02:859           
[IPoIB] :__endpt_mgr_insert_locked() :insert  :  MAC:
01-00-5E-00-00-01<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000183         
kernel   4         
276      
2         
216      
01\02\2007-13:28:02:859           
[IPoIB] :__endpt_mgr_insert():[<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000184         
kernel   4         
276      
2          217      
01\02\2007-13:28:02:859           
[IPoIB] :__endpt_mgr_insert():]<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000185         
kernel   4          276      
2         
218      
01\02\2007-13:28:02:859           
[IPoIB] :ipoib_port_join_mcast():]<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000186         
kernel   4         
276      
2          219      
01\02\2007-13:28:02:859           
[IPoIB] :ipoib_port_join_mcast():[<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000187         
kernel   4         
276      
2         
220      
01\02\2007-13:28:02:859           
[IPoIB] :__endpt_mgr_ref():[<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000188         
kernel   4         
276      
2          221      
01\02\2007-13:28:02:859           
[IPoIB] :__endpt_mgr_ref() :Look for :     MAC:
01-80-C2-00-00-03<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000189         
kernel   4         
276      
2          222      
01\02\2007-13:28:02:859           
[IPoIB] :__endpt_mgr_ref() :Failed endpoint lookup.[IpoIB] :__endpt_mgr_ref():]<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000190         
kernel   4         
276      
2         
223      
01\02\2007-13:28:02:859           
[IPoIB] :ipoib_endpt_create():[<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000191         
kernel   4         
276      
2          224      
01\02\2007-13:28:02:859           
[IPoIB] :ipoib_endpt_create():]<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000192         
kernel   4         
276      
2         
225      
01\02\2007-13:28:02:859           
[IPoIB] :__endpt_mgr_insert_locked():[<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000193         
kernel   4         
276      
2          226      
01\02\2007-13:28:02:859           
[IPoIB] :__endpt_mgr_insert_locked() :insert  :  MAC:
01-80-C2-00-00-03<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000194         
kernel   4         
276      
2          227      
01\02\2007-13:28:02:859           
[IPoIB] :__endpt_mgr_insert():[<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000195         
kernel   4         
276      
2          228      
01\02\2007-13:28:02:859           
[IPoIB] :__endpt_mgr_insert():]<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000196         
kernel   4         
276      
2          229      
01\02\2007-13:28:02:859           
[IPoIB] :ipoib_port_join_mcast():]<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000197         
kernel   4         
276      
2          230      
01\02\2007-13:28:02:859           
[IPoIB] :ipoib_resume_oids():[<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000198         
kernel   4         
276      
2          231      
01\02\2007-13:28:02:859           
[IPoIB] :ipoib_resume_oids():]<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000199         
kernel   4         
276       2         
232      
01\02\2007-13:28:02:859           
[IPoIB] :ipoib_set_active() :Link UP!<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000200         
kernel   4         
276      
2          233      
01\02\2007-13:28:02:859           
[IPoIB] :ipoib_set_active():]<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000201         
kernel   4         
276      
2         
234      
01\02\2007-13:28:02:859           
[IPoIB] :__bcast_cb():]<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000202         
kernel   4         
276      
2          235      
01\02\2007-13:28:02:859           
[IPoIB] :__mcast_cb():[<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000203         
kernel   4         
276      
2         
236      
01\02\2007-13:28:02:859           
[IPoIB] :ipoib_endpt_set_mcast():[<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000204         
kernel   4         
276      
2          237      
01\02\2007-13:28:02:859           
[IPoIB] :ipoib_endpt_set_mcast() :Create av for MAC: 01-00-5E-00-00-01<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000205         
kernel   4         
276      
2          238      
01\02\2007-13:28:02:859           
[IPoIB] :__create_mcast_av():[<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000206         
kernel   4         
276      
2          239      
01\02\2007-13:28:02:859           
[IPoIB] :__create_mcast_av():]<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000207         
kernel   4         
276      
2          240      
01\02\2007-13:28:02:859           
[IPoIB] :ipoib_endpt_set_mcast():]<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000208         
kernel   4         
276      
2          241      
01\02\2007-13:28:02:859           
[IPoIB] :__mcast_cb():]<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000209         
kernel   4         
276      
2          242      
01\02\2007-13:28:02:859           
[IPoIB] :__mcast_cb():[<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000210         
kernel   4         
276      
2          243      
01\02\2007-13:28:02:859           
[IPoIB] :ipoib_endpt_set_mcast():[<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000211         
kernel   4         
276      
2          244      
01\02\2007-13:28:02:859           
[IPoIB] :ipoib_endpt_set_mcast() :Create av for MAC: 01-80-C2-00-00-03<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000212         
kernel   4         
276      
2         
245      
01\02\2007-13:28:02:859           
[IPoIB] :__create_mcast_av():[<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000213         
kernel   4         
276      
2          246      
01\02\2007-13:28:02:859           
[IPoIB] :__create_mcast_av():]<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000214         
kernel   4         
276      
2          247      
01\02\2007-13:28:02:859           
[IPoIB] :ipoib_endpt_set_mcast():]<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000215         
kernel   4         
276      
2          248      
01\02\2007-13:28:02:859           
[IPoIB] :__mcast_cb():]<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000216         
kernel   4         
320      
3          136      
01\02\2007-13:28:02:781           
[IPoIB] :__endpt_cleanup():[<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000217         
kernel   4         
320      
3          139      
01\02\2007-13:28:02:781           
[IPoIB] :__endpt_cleanup():]<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000218         
kernel   4         
320      
3          141      
01\02\2007-13:28:02:781           
[IPoIB] :__endpt_free():[<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000219         
kernel   4         
320      
3          143      
01\02\2007-13:28:02:781           
[IPoIB] :__endpt_free():]<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000220         
kernel   4         
320      
3          144      
01\02\2007-13:28:02:781           
[IPoIB] :__endpt_cleanup():[<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000221         
kernel   4         
320      
3          146      
01\02\2007-13:28:02:781           
[IPoIB] :__endpt_cleanup() :Leaving MCast group<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000222         
kernel   4         
320      
3          155      
01\02\2007-13:28:02:781           
[IPoIB] :__endpt_cleanup():]<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000223         
kernel   4         
320      
3          156      
01\02\2007-13:28:02:781           
[IPoIB] :__endpt_free():[<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000224         
kernel   4         
320      
3          157      
01\02\2007-13:28:02:781           
[IPoIB] :__endpt_free():]<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000225         
kernel   4         
320      
3          158      
01\02\2007-13:28:02:781           
[IPoIB] :__endpt_cleanup():[<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000226         
kernel   4         
320      
3          159      
01\02\2007-13:28:02:781           
[IPoIB] :__endpt_cleanup() :Leaving MCast group<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000227         
kernel   4          320      
3         
167      
01\02\2007-13:28:02:781           
[IPoIB] :__endpt_cleanup():]<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000228         
kernel   4         
320      
3          168      
01\02\2007-13:28:02:781           
[IPoIB] :__endpt_free():[<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000229         
kernel   4         
320      
3         
169      
01\02\2007-13:28:02:781           
[IPoIB] :__endpt_free():]<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000230         
kernel   0         
0         
3          172      
01\02\2007-13:28:02:781           
[IPoIB] :__port_info_cb():[<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000231         
kernel   0         
0         
3         
173      
01\02\2007-13:28:02:781           
[IPoIB] :__endpt_mgr_add_local():[<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000232         
kernel   0         
0         
3          174      
01\02\2007-13:28:02:781           
[IPoIB] :ipoib_endpt_create():[<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000233         
kernel   0         
0         
3          175      
01\02\2007-13:28:02:781           
[IPoIB] :ipoib_endpt_create():]<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000234         
kernel   0         
0         
3          176      
01\02\2007-13:28:02:781           
[IPoIB] :__endpt_mgr_insert():[<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000235         
kernel   0         
0         
3          177      
01\02\2007-13:28:02:781           
[IPoIB] :__endpt_mgr_insert():]<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000236         
kernel   0         
0         
3          178      
01\02\2007-13:28:02:781           
[IPoIB] :__endpt_mgr_add_local():]<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000237         
kernel   0         
0         
3          179      
01\02\2007-13:28:02:781           
[IPoIB] :__port_info_cb() :Received port info: link width = 2.<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000238         
kernel   0         
0         
3         
180      
01\02\2007-13:28:02:781           
[IPoIB] :ipoib_set_rate():[<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000239         
kernel   0         
0         
3          181      
01\02\2007-13:28:02:781           
[IPoIB] :ipoib_set_rate() :Link speed is 2.5Gs<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000240         
kernel   0         
0         
3         
182       01\02\2007-13:28:02:781           
[IPoIB] :ipoib_set_rate() :Link width is 4X<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000241         
kernel   0         
0         
3          183      
01\02\2007-13:28:02:781           
[IPoIB] :ipoib_set_rate():]<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000242         
kernel   0         
0         
3          184      
01\02\2007-13:28:02:781           
[IPoIB] :__port_get_bcast():[<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000243         
kernel   0         
0         
3          185      
01\02\2007-13:28:02:781           
[IPoIB] :__port_get_bcast():]<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000244         
kernel   0         
0         
3          186      
01\02\2007-13:28:02:781           
[IPoIB] :__port_info_cb():]<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000245         
kernel   2624     2732    
3         
187       01\02\2007-13:28:02:781           
[IPoIB] :__bcast_get_cb():[<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000246         
kernel   2624     2732    
3         
188       01\02\2007-13:28:02:781           
[IPoIB] :__port_join_bcast():[<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000247         
kernel   2624     2732    
3         
189       01\02\2007-13:28:02:781           
[IPoIB] :__port_join_bcast():]<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000248         
kernel   2624     2732    
3         
190       01\02\2007-13:28:02:781           
[IPoIB] :__bcast_get_cb():]<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000249         
kernel   0         
0         
3          249      
01\02\2007-13:28:03:109           
[IPoIB] :__endpt_mgr_get_by_gid():[<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000250         
kernel   0         
0         
3          250      
01\02\2007-13:28:03:109           
[IPoIB] :__endpt_mgr_get_by_gid():]<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>...<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000339         
kernel   0         
0         
3          339      
01\02\2007-13:28:03:109           
[IPoIB] :__endpt_mgr_get_by_gid():[<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000340         
kernel   0         
0         
3          340      
01\02\2007-13:28:03:109           
[IPoIB] :__endpt_mgr_get_by_gid():]<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>00000341         
kernel   0         
0         
0         
341      
01\02\2007-13:28:03:468           
[IPoIB] :ipoib_check_for_hang():[<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'><o:p> </o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'><o:p> </o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>Thanks,<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'>Anatoly<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 face=Arial><span style='font-size:10.0pt;
font-family:Arial'><o:p> </o:p></span></font></p>

</blockquote>

</div>

</body>

</html>