<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN">
<HTML xmlns="http://www.w3.org/TR/REC-html40" xmlns:w = 
"urn:schemas-microsoft-com:office:word" xmlns:o = 
"urn:schemas-microsoft-com:office:office"><HEAD>
<META http-equiv=Content-Type content="text/html; charset=us-ascii">
<STYLE>@font-face {
        font-family: Tahoma;
}
@page Section1 {size: 8.5in 11.0in; margin: 1.0in 1.25in 1.0in 1.25in; }
P.MsoNormal {
        FONT-SIZE: 12pt; MARGIN: 0in 0in 0pt; FONT-FAMILY: "Times New Roman"
}
LI.MsoNormal {
        FONT-SIZE: 12pt; MARGIN: 0in 0in 0pt; FONT-FAMILY: "Times New Roman"
}
DIV.MsoNormal {
        FONT-SIZE: 12pt; MARGIN: 0in 0in 0pt; FONT-FAMILY: "Times New Roman"
}
A:link {
        COLOR: blue; TEXT-DECORATION: underline
}
SPAN.MsoHyperlink {
        COLOR: blue; TEXT-DECORATION: underline
}
A:visited {
        COLOR: purple; TEXT-DECORATION: underline
}
SPAN.MsoHyperlinkFollowed {
        COLOR: purple; TEXT-DECORATION: underline
}
SPAN.EmailStyle17 {
        FONT-WEIGHT: normal; COLOR: windowtext; FONT-STYLE: normal; FONT-FAMILY: Tahoma; TEXT-DECORATION: none; mso-style-type: personal-compose
}
DIV.Section1 {
        page: Section1
}
</STYLE>

<META content="MSHTML 6.00.6000.16587" name=GENERATOR></HEAD>
<BODY lang=EN-US vLink=purple link=blue>
<DIV><SPAN class=167140813-04112008><FONT face=Arial color=#0000ff size=2>How do 
you repro this issue? How long does it take to reach the 
crash.</FONT></SPAN></DIV>
<DIV><SPAN class=167140813-04112008><FONT face=Arial color=#0000ff 
size=2></FONT></SPAN> </DIV>
<DIV><SPAN class=167140813-04112008><FONT face=Arial color=#0000ff size=2>Next 
step is to understand what is the end point that was causing this 
issue:</FONT></SPAN></DIV>
<DIV><SPAN class=167140813-04112008><FONT face=Arial color=#0000ff 
size=2></FONT></SPAN> </DIV>
<DIV><SPAN class=167140813-04112008><FONT face=Arial color=#0000ff size=2>What 
was the dlid of it? Is it the same dlid for all of them?</FONT></SPAN></DIV>
<DIV><SPAN class=167140813-04112008><FONT face=Arial color=#0000ff 
size=2></FONT></SPAN> </DIV>
<DIV><SPAN class=167140813-04112008><FONT face=Arial color=#0000ff size=2>Are we 
trying to take out an endpoint that is not in the list, or was the list 
corrupted before we started?</FONT></SPAN></DIV>
<DIV><SPAN class=167140813-04112008><FONT face=Arial color=#0000ff 
size=2></FONT></SPAN> </DIV>
<DIV><SPAN class=167140813-04112008><FONT face=Arial color=#0000ff size=2>Can 
you please add a print of every time that we add an endpoint to the list and 
every time that we remove it and send me the log.</FONT></SPAN></DIV>
<DIV><SPAN class=167140813-04112008><FONT face=Arial color=#0000ff 
size=2></FONT></SPAN> </DIV>
<DIV><SPAN class=167140813-04112008><FONT face=Arial color=#0000ff 
size=2>Thanks</FONT></SPAN></DIV>
<DIV><SPAN class=167140813-04112008><FONT face=Arial color=#0000ff 
size=2>Tzachi</FONT></SPAN></DIV>
<DIV><SPAN class=167140813-04112008><FONT face=Arial color=#0000ff 
size=2></FONT></SPAN> </DIV>
<DIV><SPAN class=167140813-04112008><FONT face=Arial color=#0000ff 
size=2></FONT></SPAN> </DIV><BR>
<BLOCKQUOTE dir=ltr 
style="PADDING-LEFT: 5px; MARGIN-LEFT: 5px; BORDER-LEFT: #0000ff 2px solid; MARGIN-RIGHT: 0px">
  <DIV class=OutlookMessageHeader lang=en-us dir=ltr align=left>
  <HR tabIndex=-1>
  <FONT face=Tahoma size=2><B>From:</B> ofw-bounces@lists.openfabrics.org 
  [mailto:ofw-bounces@lists.openfabrics.org] <B>On Behalf Of </B>Anatoly 
  Greenblatt<BR><B>Sent:</B> Tuesday, November 04, 2008 2:55 PM<BR><B>To:</B> 
  ofw@lists.openfabrics.org<BR><B>Subject:</B> [ofw] BSOD in 
  ipoib<BR></FONT><BR></DIV>
  <DIV></DIV>
  <DIV class=Section1>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">Hi,<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma"><o:p> </o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">We had almost simultaneous crash 
  in 7 systems running on rev 1722.<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">It is 100% reproducible, how to 
  proceed?<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">Crash analysis 
  follows.<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma"><o:p> </o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">Regards,<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">Anatoly.<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma"><o:p> </o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma"><o:p> </o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">DRIVER_IRQL_NOT_LESS_OR_EQUAL 
  (d1)<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">An attempt was made to access a 
  pageable (or completely invalid) address at an<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">interrupt request level (IRQL) 
  that is too high.  This is usually<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">caused by drivers using improper 
  addresses.<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">If kernel debugger is available 
  get stack backtrace.<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">Arguments:<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">Arg1: 0000000000000008, memory 
  referenced<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">Arg2: 0000000000000002, 
  IRQL<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">Arg3: 0000000000000001, value 0 = 
  read operation, 1 = write operation<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">Arg4: fffffa60051df334, address 
  which referenced memory<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma"><o:p> </o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">Debugging 
  Details:<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">------------------<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma"><o:p> </o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma"><o:p> </o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">WRITE_ADDRESS:  
  0000000000000008 <o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma"><o:p> </o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">CURRENT_IRQL:  
  2<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma"><o:p> </o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">FAULTING_IP: 
  <o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">ipoib!cl_qmap_remove_item+34 
  [c:\work\winof\sources\core\complib\cl_map.c @ 
  2044]<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">fffffa60`051df334 
  48894108        mov     
  qword ptr [rcx+8],rax<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma"><o:p> </o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">DEFAULT_BUCKET_ID:  
  VISTA_DRIVER_FAULT<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma"><o:p> </o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">BUGCHECK_STR:  
  0xD1<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma"><o:p> </o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">PROCESS_NAME:  
  System<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma"><o:p> </o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">TRAP_FRAME:  
  fffffa600578a7c0 -- (.trap 0xfffffa600578a7c0)<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">NOTE: The trap frame does not 
  contain all registers.<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">Some register values may be 
  zeroed or incorrect.<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">rax=0000000000000000 
  rbx=fffffa600578a8a8 rcx=0000000000000000<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">rdx=fffffa8034943528 
  rsi=0000000000000000 rdi=0000000000000028<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">rip=fffffa60051df334 
  rsp=fffffa600578a950 rbp=fffffa8032c88570<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma"> </SPAN></FONT><FONT 
  face=Tahoma size=2><SPAN lang=PT-BR 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">r8=fffffa80349434f0  
  r9=fffffa8034943468 r10=fffffa8032ba0170<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN lang=PT-BR 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">r11=fffffa8032c886d0 
  r12=0000000000000000 r13=0000000000000000<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN lang=PT-BR 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">r14=0000000000000000 
  r15=0000000000000000<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN lang=PT-BR 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">iopl=0         
  nv up ei pl zr na po nc<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN lang=PT-BR 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">ipoib!cl_qmap_remove_item+0x34:<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN lang=PT-BR 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">fffffa60`051df334 
  48894108        mov     
  qword ptr [rcx+8],rax 
  ds:00000000`00000008=????????????????<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">Resetting default 
  scope<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma"><o:p> </o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">LAST_CONTROL_TRANSFER:  from 
  fffff8000166e12e to fffff8000166e390<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma"><o:p> </o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">STACK_TEXT:  
  <o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">fffffa60`0578a678 
  fffff800`0166e12e : 00000000`0000000a 00000000`00000008 00000000`00000002 
  00000000`00000001 : nt!KeBugCheckEx<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">fffffa60`0578a680 
  fffff800`0166d00b : 00000000`00000001 fffffa60`009751e1 00000000`40010000 
  fffffa80`32c886d0 : nt!KiBugCheckDispatch+0x6e<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">fffffa60`0578a7c0 
  fffffa60`051df334 : fffffa80`32cb5520 00000000`00000000 00000000`00000000 
  fffffa60`051e3110 : nt!KiPageFault+0x20b<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">fffffa60`0578a950 
  fffffa60`051d9296 : ffff0000`00638072 fffff800`01666444 fffffa60`0578aa10 
  00000000`00000000 : ipoib!cl_qmap_remove_item+0x34 
  [c:\work\winof\sources\core\complib\cl_map.c @ 
  2044]<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">fffffa60`0578a980 
  fffffa60`051db48e : fffffa60`051bd780 fffffa60`051e3110 00000000`00000000 
  fffffa80`34943010 : ipoib!__endpt_mgr_reset_all+0x256 
  [c:\work\winof\sources\ulp\ipoib\kernel\ipoib_port.c @ 
  4600]<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">fffffa60`0578a9e0 
  fffffa60`051d03cd : ffffffff`00000000 fffffa60`051bd780 00000000`00000000 
  fffffa80`34940af0 : ipoib!ipoib_port_down+0x222 
  [c:\work\winof\sources\ulp\ipoib\kernel\ipoib_port.c @ 
  5625]<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">fffffa60`0578aae0 
  fffffa60`0518b1cb : fffffa60`051bd780 fffffa60`051bd780 fffffa80`32ca6120 
  fffff880`055c59b0 : ipoib!__ipoib_pnp_cb+0x6f5 
  [c:\work\winof\sources\ulp\ipoib\kernel\ipoib_adapter.c @ 
  797]<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">fffffa60`0578ab40 
  fffffa60`0518c676 : fffffa80`32ca6230 fffffa60`051bd110 fffffa80`354a10f8 
  fffffa60`0578ac20 : ibbus!__pnp_notify_user+0x17b 
  [c:\work\winof\sources\core\al\kernel\al_pnp.c @ 
  557]<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">fffffa60`0578abd0 
  fffffa60`0518ca81 : 00000000`00000000 fffffa80`34582bb0 fffffa80`354a10f8 
  fffffa60`05196adc : ibbus!__pnp_process_port_forward+0xa6 
  [c:\work\winof\sources\core\al\kernel\al_pnp.c @ 
  1279]<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">fffffa60`0578ac00 
  fffffa60`0518cc4d : fffffa80`34582bb0 00000000`00000002 fffffa80`3457df00 
  00000000`00000000 : ibbus!__pnp_check_ports+0x2a9 
  [c:\work\winof\sources\core\al\kernel\al_pnp.c @ 
  1478]<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">fffffa60`0578ac60 
  fffffa60`0516be9d : fffffa80`3457cb98 fffffa80`00001490 fffffa80`35022000 
  00000000`00000018 : ibbus!__pnp_check_events+0x171 
  [c:\work\winof\sources\core\al\kernel\al_pnp.c @ 
  1566]<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">fffffa60`0578acc0 
  fffffa60`0516d0d9 : fffffa80`3457ca60 fffffa80`32883360 00000000`00000000 
  fffffa60`0516d43c : ibbus!__cl_async_proc_worker+0x61 
  [c:\work\winof\sources\core\complib\cl_async_proc.c @ 
  153]<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">fffffa60`0578acf0 
  fffffa60`0516d464 : fffffa80`32883360 00000000`00000080 fffffa80`32883360 
  ffb533e8`00000408 : ibbus!__cl_thread_pool_routine+0x41 
  [c:\work\winof\sources\core\complib\cl_threadpool.c @ 
  66]<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">fffffa60`0578ad20 
  fffff800`01891de3 : 72052979`801a7402 058d4c18`498b4814 0062ba66`00048024 
  9c8d4cff`ffbc2b01 : ibbus!__thread_callback+0x28 
  [c:\work\winof\sources\core\complib\kernel\cl_thread.c @ 
  49]<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">fffffa60`0578ad50 
  fffff800`016a8536 : fffff800`0178d680 fffffa80`34578720 fffff800`01792b80 
  00000000`00000001 : 
nt!PspSystemThreadStartup+0x57<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">fffffa60`0578ad80 
  00000000`00000000 : 00000000`00000000 00000000`00000000 00000000`00000000 
  00000000`00000000 : nt!KiStartSystemThread+0x16<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma"><o:p> </o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma"><o:p> </o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">STACK_COMMAND:  
  kb<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma"><o:p> </o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">FOLLOWUP_IP: 
  <o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">ipoib!cl_qmap_remove_item+34 
  [c:\work\winof\sources\core\complib\cl_map.c @ 
  2044]<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">fffffa60`051df334 
  48894108        mov     
  qword ptr [rcx+8],rax<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma"><o:p> </o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">SYMBOL_STACK_INDEX:  
  3<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma"><o:p> </o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">SYMBOL_NAME:  
  ipoib!cl_qmap_remove_item+34<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma"><o:p> </o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">FOLLOWUP_NAME:  
  MachineOwner<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma"><o:p> </o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">MODULE_NAME: 
  ipoib<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma"><o:p> </o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">IMAGE_NAME:  
  ipoib.sys<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma"><o:p> </o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">DEBUG_FLR_IMAGE_TIMESTAMP:  
  490dcba5<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma"><o:p> </o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">FAILURE_BUCKET_ID:  
  X64_0xD1_W_ipoib!cl_qmap_remove_item+34<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma"><o:p> </o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">BUCKET_ID:  
  X64_0xD1_W_ipoib!cl_qmap_remove_item+34<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma"><o:p> </o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">Followup: 
  MachineOwner<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma">---------<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 11pt; FONT-FAMILY: Tahoma"><o:p> </o:p></SPAN></FONT></P></DIV></BLOCKQUOTE></BODY></HTML>