<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN">
<HTML xmlns="http://www.w3.org/TR/REC-html40" xmlns:o = 
"urn:schemas-microsoft-com:office:office" xmlns:w = 
"urn:schemas-microsoft-com:office:word"><HEAD>
<META http-equiv=Content-Type content="text/html; charset=us-ascii">
<STYLE>@font-face {
        font-family: Tahoma;
}
@page Section1 {size: 8.5in 11.0in; margin: 1.0in 1.25in 1.0in 1.25in; }
P.MsoNormal {
        FONT-SIZE: 12pt; MARGIN: 0in 0in 0pt; FONT-FAMILY: "Times New Roman"
}
LI.MsoNormal {
        FONT-SIZE: 12pt; MARGIN: 0in 0in 0pt; FONT-FAMILY: "Times New Roman"
}
DIV.MsoNormal {
        FONT-SIZE: 12pt; MARGIN: 0in 0in 0pt; FONT-FAMILY: "Times New Roman"
}
A:link {
        COLOR: blue; TEXT-DECORATION: underline
}
SPAN.MsoHyperlink {
        COLOR: blue; TEXT-DECORATION: underline
}
A:visited {
        COLOR: purple; TEXT-DECORATION: underline
}
SPAN.MsoHyperlinkFollowed {
        COLOR: purple; TEXT-DECORATION: underline
}
SPAN.EmailStyle17 {
        FONT-WEIGHT: normal; COLOR: windowtext; FONT-STYLE: normal; FONT-FAMILY: Tahoma; TEXT-DECORATION: none; mso-style-type: personal-compose
}
DIV.Section1 {
        page: Section1
}
</STYLE>

<META content="MSHTML 6.00.2900.3314" name=GENERATOR></HEAD>
<BODY lang=EN-US vLink=purple link=blue>
<DIV><SPAN class=210431413-04112008><FONT face=Arial color=#0000ff 
size=2>Anatoly,</FONT></SPAN></DIV>
<DIV><SPAN class=210431413-04112008><FONT face=Arial color=#0000ff 
size=2></FONT></SPAN> </DIV>
<DIV><SPAN class=210431413-04112008><FONT face=Arial color=#0000ff size=2>Can 
you please also open a bug in Bugzilla</FONT></SPAN></DIV>
<DIV><SPAN class=210431413-04112008><FONT face=Arial color=#0000ff 
size=2></FONT></SPAN> </DIV>
<DIV><SPAN class=210431413-04112008><FONT face=Arial color=#0000ff 
size=2>Ishai</FONT></SPAN></DIV><BR>
<BLOCKQUOTE dir=ltr 
style="PADDING-LEFT: 5px; MARGIN-LEFT: 5px; BORDER-LEFT: #0000ff 2px solid; MARGIN-RIGHT: 0px">
  <DIV class=OutlookMessageHeader lang=en-us dir=ltr align=left>
  <HR tabIndex=-1>
  <FONT face=Tahoma size=2><B>From:</B> ofw-bounces@lists.openfabrics.org 
  [mailto:ofw-bounces@lists.openfabrics.org] <B>On Behalf Of </B>Tzachi 
  Dar<BR><B>Sent:</B> Tuesday, November 04, 2008 3:13 PM<BR><B>To:</B> Anatoly 
  Greenblatt; ofw@lists.openfabrics.org<BR><B>Subject:</B> RE: [ofw] BSOD in 
  ipoib<BR></FONT><BR></DIV>
  <DIV></DIV>
  <DIV><SPAN class=167140813-04112008><FONT face=Arial color=#0000ff size=2>How 
  do you repro this issue? How long does it take to reach the 
  crash.</FONT></SPAN></DIV>
  <DIV><SPAN class=167140813-04112008><FONT face=Arial color=#0000ff 
  size=2></FONT></SPAN> </DIV>
  <DIV><SPAN class=167140813-04112008><FONT face=Arial color=#0000ff size=2>Next 
  step is to understand what is the end point that was causing this 
  issue:</FONT></SPAN></DIV>
  <DIV><SPAN class=167140813-04112008><FONT face=Arial color=#0000ff 
  size=2></FONT></SPAN> </DIV>
  <DIV><SPAN class=167140813-04112008><FONT face=Arial color=#0000ff size=2>What 
  was the dlid of it? Is it the same dlid for all of them?</FONT></SPAN></DIV>
  <DIV><SPAN class=167140813-04112008><FONT face=Arial color=#0000ff 
  size=2></FONT></SPAN> </DIV>
  <DIV><SPAN class=167140813-04112008><FONT face=Arial color=#0000ff size=2>Are 
  we trying to take out an endpoint that is not in the list, or was the 
  list corrupted before we started?</FONT></SPAN></DIV>
  <DIV><SPAN class=167140813-04112008><FONT face=Arial color=#0000ff 
  size=2></FONT></SPAN> </DIV>
  <DIV><SPAN class=167140813-04112008><FONT face=Arial color=#0000ff size=2>Can 
  you please add a print of every time that we add an endpoint to the list and 
  every time that we remove it and send me the log.</FONT></SPAN></DIV>
  <DIV><SPAN class=167140813-04112008><FONT face=Arial color=#0000ff 
  size=2></FONT></SPAN> </DIV>
  <DIV><SPAN class=167140813-04112008><FONT face=Arial color=#0000ff 
  size=2>Thanks</FONT></SPAN></DIV>
  <DIV><SPAN class=167140813-04112008><FONT face=Arial color=#0000ff 
  size=2>Tzachi</FONT></SPAN></DIV>
  <DIV><SPAN class=167140813-04112008><FONT face=Arial color=#0000ff 
  size=2></FONT></SPAN> </DIV>
  <DIV><SPAN class=167140813-04112008><FONT face=Arial color=#0000ff 
  size=2></FONT></SPAN> </DIV><BR>
  <BLOCKQUOTE dir=ltr 
  style="PADDING-LEFT: 5px; MARGIN-LEFT: 5px; BORDER-LEFT: #0000ff 2px solid; MARGIN-RIGHT: 0px">
    <DIV class=OutlookMessageHeader lang=en-us dir=ltr align=left>
    <HR tabIndex=-1>
    <FONT face=Tahoma size=2><B>From:</B> ofw-bounces@lists.openfabrics.org 
    [mailto:ofw-bounces@lists.openfabrics.org] <B>On Behalf Of </B>Anatoly 
    Greenblatt<BR><B>Sent:</B> Tuesday, November 04, 2008 2:55 PM<BR><B>To:</B> 
    ofw@lists.openfabrics.org<BR><B>Subject:</B> [ofw] BSOD in 
    ipoib<BR></FONT><BR></DIV>
    <DIV></DIV>
    <DIV class=Section1>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">Hi,<o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma"><o:p> </o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">We had almost simultaneous 
    crash in 7 systems running on rev 1722.<o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">It is 100% reproducible, how to 
    proceed?<o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">Crash analysis 
    follows.<o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma"><o:p> </o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">Regards,<o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">Anatoly.<o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma"><o:p> </o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma"><o:p> </o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">DRIVER_IRQL_NOT_LESS_OR_EQUAL 
    (d1)<o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">An attempt was made to access a 
    pageable (or completely invalid) address at an<o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">interrupt request level (IRQL) 
    that is too high.  This is usually<o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">caused by drivers using 
    improper addresses.<o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">If kernel debugger is available 
    get stack backtrace.<o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">Arguments:<o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">Arg1: 0000000000000008, memory 
    referenced<o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">Arg2: 0000000000000002, 
    IRQL<o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">Arg3: 0000000000000001, value 0 
    = read operation, 1 = write operation<o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">Arg4: fffffa60051df334, address 
    which referenced memory<o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma"><o:p> </o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">Debugging 
    Details:<o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">------------------<o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma"><o:p> </o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma"><o:p> </o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">WRITE_ADDRESS:  
    0000000000000008 <o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma"><o:p> </o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">CURRENT_IRQL:  
    2<o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma"><o:p> </o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">FAULTING_IP: 
    <o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">ipoib!cl_qmap_remove_item+34 
    [c:\work\winof\sources\core\complib\cl_map.c @ 
    2044]<o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">fffffa60`051df334 
    48894108        
    mov     qword ptr 
    [rcx+8],rax<o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma"><o:p> </o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">DEFAULT_BUCKET_ID:  
    VISTA_DRIVER_FAULT<o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma"><o:p> </o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">BUGCHECK_STR:  
    0xD1<o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma"><o:p> </o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">PROCESS_NAME:  
    System<o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma"><o:p> </o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">TRAP_FRAME:  
    fffffa600578a7c0 -- (.trap 0xfffffa600578a7c0)<o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">NOTE: The trap frame does not 
    contain all registers.<o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">Some register values may be 
    zeroed or incorrect.<o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">rax=0000000000000000 
    rbx=fffffa600578a8a8 rcx=0000000000000000<o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">rdx=fffffa8034943528 
    rsi=0000000000000000 rdi=0000000000000028<o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">rip=fffffa60051df334 
    rsp=fffffa600578a950 rbp=fffffa8032c88570<o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma"> </SPAN></FONT><FONT 
    face=Tahoma size=2><SPAN lang=PT-BR 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">r8=fffffa80349434f0  
    r9=fffffa8034943468 r10=fffffa8032ba0170<o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN lang=PT-BR 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">r11=fffffa8032c886d0 
    r12=0000000000000000 r13=0000000000000000<o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN lang=PT-BR 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">r14=0000000000000000 
    r15=0000000000000000<o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN lang=PT-BR 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">iopl=0         
    nv up ei pl zr na po nc<o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN lang=PT-BR 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">ipoib!cl_qmap_remove_item+0x34:<o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN lang=PT-BR 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">fffffa60`051df334 
    48894108        
    mov     qword ptr [rcx+8],rax 
    ds:00000000`00000008=????????????????<o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">Resetting default 
    scope<o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma"><o:p> </o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">LAST_CONTROL_TRANSFER:  
    from fffff8000166e12e to fffff8000166e390<o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma"><o:p> </o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">STACK_TEXT:  
    <o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">fffffa60`0578a678 
    fffff800`0166e12e : 00000000`0000000a 00000000`00000008 00000000`00000002 
    00000000`00000001 : nt!KeBugCheckEx<o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">fffffa60`0578a680 
    fffff800`0166d00b : 00000000`00000001 fffffa60`009751e1 00000000`40010000 
    fffffa80`32c886d0 : nt!KiBugCheckDispatch+0x6e<o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">fffffa60`0578a7c0 
    fffffa60`051df334 : fffffa80`32cb5520 00000000`00000000 00000000`00000000 
    fffffa60`051e3110 : nt!KiPageFault+0x20b<o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">fffffa60`0578a950 
    fffffa60`051d9296 : ffff0000`00638072 fffff800`01666444 fffffa60`0578aa10 
    00000000`00000000 : ipoib!cl_qmap_remove_item+0x34 
    [c:\work\winof\sources\core\complib\cl_map.c @ 
    2044]<o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">fffffa60`0578a980 
    fffffa60`051db48e : fffffa60`051bd780 fffffa60`051e3110 00000000`00000000 
    fffffa80`34943010 : ipoib!__endpt_mgr_reset_all+0x256 
    [c:\work\winof\sources\ulp\ipoib\kernel\ipoib_port.c @ 
    4600]<o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">fffffa60`0578a9e0 
    fffffa60`051d03cd : ffffffff`00000000 fffffa60`051bd780 00000000`00000000 
    fffffa80`34940af0 : ipoib!ipoib_port_down+0x222 
    [c:\work\winof\sources\ulp\ipoib\kernel\ipoib_port.c @ 
    5625]<o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">fffffa60`0578aae0 
    fffffa60`0518b1cb : fffffa60`051bd780 fffffa60`051bd780 fffffa80`32ca6120 
    fffff880`055c59b0 : ipoib!__ipoib_pnp_cb+0x6f5 
    [c:\work\winof\sources\ulp\ipoib\kernel\ipoib_adapter.c @ 
    797]<o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">fffffa60`0578ab40 
    fffffa60`0518c676 : fffffa80`32ca6230 fffffa60`051bd110 fffffa80`354a10f8 
    fffffa60`0578ac20 : ibbus!__pnp_notify_user+0x17b 
    [c:\work\winof\sources\core\al\kernel\al_pnp.c @ 
    557]<o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">fffffa60`0578abd0 
    fffffa60`0518ca81 : 00000000`00000000 fffffa80`34582bb0 fffffa80`354a10f8 
    fffffa60`05196adc : ibbus!__pnp_process_port_forward+0xa6 
    [c:\work\winof\sources\core\al\kernel\al_pnp.c @ 
    1279]<o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">fffffa60`0578ac00 
    fffffa60`0518cc4d : fffffa80`34582bb0 00000000`00000002 fffffa80`3457df00 
    00000000`00000000 : ibbus!__pnp_check_ports+0x2a9 
    [c:\work\winof\sources\core\al\kernel\al_pnp.c @ 
    1478]<o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">fffffa60`0578ac60 
    fffffa60`0516be9d : fffffa80`3457cb98 fffffa80`00001490 fffffa80`35022000 
    00000000`00000018 : ibbus!__pnp_check_events+0x171 
    [c:\work\winof\sources\core\al\kernel\al_pnp.c @ 
    1566]<o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">fffffa60`0578acc0 
    fffffa60`0516d0d9 : fffffa80`3457ca60 fffffa80`32883360 00000000`00000000 
    fffffa60`0516d43c : ibbus!__cl_async_proc_worker+0x61 
    [c:\work\winof\sources\core\complib\cl_async_proc.c @ 
    153]<o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">fffffa60`0578acf0 
    fffffa60`0516d464 : fffffa80`32883360 00000000`00000080 fffffa80`32883360 
    ffb533e8`00000408 : ibbus!__cl_thread_pool_routine+0x41 
    [c:\work\winof\sources\core\complib\cl_threadpool.c @ 
    66]<o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">fffffa60`0578ad20 
    fffff800`01891de3 : 72052979`801a7402 058d4c18`498b4814 0062ba66`00048024 
    9c8d4cff`ffbc2b01 : ibbus!__thread_callback+0x28 
    [c:\work\winof\sources\core\complib\kernel\cl_thread.c @ 
    49]<o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">fffffa60`0578ad50 
    fffff800`016a8536 : fffff800`0178d680 fffffa80`34578720 fffff800`01792b80 
    00000000`00000001 : 
    nt!PspSystemThreadStartup+0x57<o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">fffffa60`0578ad80 
    00000000`00000000 : 00000000`00000000 00000000`00000000 00000000`00000000 
    00000000`00000000 : nt!KiStartSystemThread+0x16<o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma"><o:p> </o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma"><o:p> </o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">STACK_COMMAND:  
    kb<o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma"><o:p> </o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">FOLLOWUP_IP: 
    <o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">ipoib!cl_qmap_remove_item+34 
    [c:\work\winof\sources\core\complib\cl_map.c @ 
    2044]<o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">fffffa60`051df334 
    48894108        
    mov     qword ptr 
    [rcx+8],rax<o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma"><o:p> </o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">SYMBOL_STACK_INDEX:  
    3<o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma"><o:p> </o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">SYMBOL_NAME:  
    ipoib!cl_qmap_remove_item+34<o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma"><o:p> </o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">FOLLOWUP_NAME:  
    MachineOwner<o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma"><o:p> </o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">MODULE_NAME: 
    ipoib<o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma"><o:p> </o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">IMAGE_NAME:  
    ipoib.sys<o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma"><o:p> </o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">DEBUG_FLR_IMAGE_TIMESTAMP:  
    490dcba5<o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma"><o:p> </o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">FAILURE_BUCKET_ID:  
    X64_0xD1_W_ipoib!cl_qmap_remove_item+34<o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma"><o:p> </o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">BUCKET_ID:  
    X64_0xD1_W_ipoib!cl_qmap_remove_item+34<o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma"><o:p> </o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">Followup: 
    MachineOwner<o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">---------<o:p></o:p></SPAN></FONT></P>
    <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
    style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma"><o:p> </o:p></SPAN></FONT></P></DIV></BLOCKQUOTE></BLOCKQUOTE></BODY></HTML>