<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN">
<HTML><HEAD>
<META http-equiv=Content-Type content="text/html; charset=iso-8859-1">
<STYLE></STYLE>

<META content="MSHTML 6.00.2900.3199" name=GENERATOR></HEAD>
<BODY bgColor=#ffffff>
<DIV><FONT face=Arial size=2>Hi Tzachi,</FONT></DIV>
<DIV><FONT face=Arial size=2></FONT> </DIV>
<DIV><FONT face=Arial size=2>The error is on the "daemon" side 
(sender) at the polling of the cq, I get a completion work, but the status 
is not success.</FONT></DIV>
<DIV><FONT face=Arial size=2>The "client" (receiver) don't sees nothing, in the 
recv case none of the recv wr are used. In the rdma case, it is normal that 
the recv wr isn't used.</FONT></DIV>
<DIV><FONT face=Arial size=2></FONT> </DIV>
<DIV><FONT face=Arial size=2>I am using either send/recv and rdma operations but 
the results are the same.</FONT></DIV>
<DIV><FONT face=Arial size=2>I am doing only one operation, the code is the 
example in WinIB 1.3, under Mellanox\WinIB\SDK\examples\hello_world</FONT></DIV>
<DIV><FONT face=Arial size=2>with some slight modifications on Windows to get 
RDMA working, and heavy modifications on Linux to use the Verbs interface 
instead of ib_al.</FONT></DIV>
<DIV><FONT face=Arial size=2></FONT> </DIV>
<DIV><FONT face=Arial size=2>I can send you the sources if you 
want.</FONT></DIV>
<DIV><FONT face=Arial size=2></FONT> </DIV>
<DIV><FONT face=Arial size=2></FONT> </DIV>
<DIV><FONT face=Arial size=2>The same program works OK on Windows using the 
same machine as client/daemon. (I don't have 2 windows machines with Infiniband 
here)</FONT></DIV>
<DIV><FONT face=Arial size=2></FONT> </DIV>
<DIV><FONT face=Arial size=2></FONT> </DIV>
<DIV><FONT face=Arial size=2></FONT> </DIV>
<BLOCKQUOTE dir=ltr 
style="PADDING-RIGHT: 0px; PADDING-LEFT: 5px; MARGIN-LEFT: 5px; BORDER-LEFT: #000000 2px solid; MARGIN-RIGHT: 0px">
  <DIV style="FONT: 10pt arial">----- Original Message ----- </DIV>
  <DIV 
  style="BACKGROUND: #e4e4e4; FONT: 10pt arial; font-color: black"><B>From:</B> 
  <A title=tzachid@mellanox.co.il href="mailto:tzachid@mellanox.co.il">Tzachi 
  Dar</A> </DIV>
  <DIV style="FONT: 10pt arial"><B>To:</B> <A title=diego.guella@sircomtech.com 
  href="mailto:diego.guella@sircomtech.com">Diego Guella</A> ; <A 
  title=ftillier@windows.microsoft.com 
  href="mailto:ftillier@windows.microsoft.com">Fab Tillier</A> </DIV>
  <DIV style="FONT: 10pt arial"><B>Cc:</B> <A title=ofw@lists.openfabrics.org 
  href="mailto:ofw@lists.openfabrics.org">ofw@lists.openfabrics.org</A> </DIV>
  <DIV style="FONT: 10pt arial"><B>Sent:</B> Tuesday, November 13, 2007 12:59 
  PM</DIV>
  <DIV style="FONT: 10pt arial"><B>Subject:</B> RE: Completion with bad status: 
  IBV_WC_RETRY_EXC_ERROR</DIV>
  <DIV><BR></DIV>
  <DIV><FONT face=Arial color=#0000ff size=2><SPAN class=203305711-13112007>Hi 
  Diego,</SPAN></FONT></DIV>
  <DIV><FONT face=Arial color=#0000ff size=2><SPAN 
  class=203305711-13112007></SPAN></FONT> </DIV>
  <DIV><FONT face=Arial color=#0000ff size=2><SPAN class=203305711-13112007>Can 
  you give us more information on where the error is?</SPAN></FONT></DIV>
  <DIV><FONT face=Arial color=#0000ff size=2><SPAN 
  class=203305711-13112007></SPAN></FONT> </DIV>
  <DIV><FONT face=Arial color=#0000ff size=2><SPAN class=203305711-13112007>Does 
  your problem happen on the first packet that you send or only after some 
  time?</SPAN></FONT></DIV>
  <DIV><FONT face=Arial color=#0000ff size=2><SPAN class=203305711-13112007>Are 
  you using send/recv or RDMA operations?</SPAN></FONT></DIV>
  <DIV><FONT face=Arial color=#0000ff size=2><SPAN 
  class=203305711-13112007></SPAN></FONT> </DIV>
  <DIV><FONT face=Arial color=#0000ff size=2><SPAN 
  class=203305711-13112007>Thanks</SPAN></FONT></DIV>
  <DIV><FONT face=Arial color=#0000ff size=2><SPAN 
  class=203305711-13112007>Tzachi</SPAN></FONT></DIV><BR>
  <BLOCKQUOTE dir=ltr 
  style="PADDING-LEFT: 5px; MARGIN-LEFT: 5px; BORDER-LEFT: #0000ff 2px solid; MARGIN-RIGHT: 0px">
    <DIV class=OutlookMessageHeader lang=en-us dir=ltr align=left>
    <HR tabIndex=-1>
    <FONT face=Tahoma size=2><B>From:</B> Diego Guella 
    [mailto:diego.guella@sircomtech.com] <BR><B>Sent:</B> Tuesday, November 13, 
    2007 11:29 AM<BR><B>To:</B> Diego Guella; Tzachi Dar; Fab 
    Tillier<BR><B>Cc:</B> <A 
    href="mailto:ofw@lists.openfabrics.org">ofw@lists.openfabrics.org</A><BR><B>Subject:</B> 
    Completion with bad status: IBV_WC_RETRY_EXC_ERROR<BR></FONT><BR></DIV>
    <DIV></DIV>
    <DIV><FONT face=Arial size=2>Hi</FONT></DIV>
    <DIV><FONT face=Arial size=2></FONT> </DIV>
    <DIV><FONT face=Arial size=2>I'm trying to port the source example in 
    Mellanox\WinIB\SDK\examples\hello_world to Linux.</FONT></DIV>
    <DIV><FONT face=Arial size=2></FONT> </DIV>
    <DIV><FONT face=Arial size=2>The problem I have is this: after I post the 
    WR, I get completion with error:</FONT></DIV>
    <DIV><FONT face=Arial size=2>status = 12 (IBV_WC_RETRY_EXC_ERROR) on 
    Linux;</FONT></DIV>
    <DIV><FONT face=Arial size=2>status = IB_WCS_TIMEOUT_RETRY_ERR on 
    Windows.</FONT></DIV>
    <DIV><FONT face=Arial size=2></FONT> </DIV>
    <DIV><FONT face=Arial size=2></FONT> </DIV>
    <DIV><FONT face=Arial size=2>What does this error means? I'm not sure about 
    it.</FONT></DIV>
    <DIV><FONT face=Arial size=2>Perhaps am I sending to the wrong LID? to the 
    wrong QPN??</FONT></DIV>
    <DIV><FONT face=Arial size=2></FONT> </DIV>
    <DIV><FONT face=Arial size=2>Any help is appreciated.</FONT></DIV>
    <DIV><FONT face=Arial size=2></FONT> </DIV>
    <DIV><FONT face=Arial size=2></FONT> </DIV>
    <DIV><FONT face=Arial size=2>Thanks,</FONT></DIV>
    <DIV><FONT face=Arial size=2>Diego</FONT></DIV>
    <DIV><FONT face=Arial 
size=2></FONT> </DIV></BLOCKQUOTE></BLOCKQUOTE></BODY></HTML>