<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN">
<HTML><HEAD><TITLE>Re: [openfabrics-ewg] We are planning to test this stack - what is itsstatus ?</TITLE>
<META http-equiv=Content-Type content="text/html; charset=us-ascii">
<STYLE>@font-face {
        font-family: Tahoma;
}
@page Section1 {size: 8.5in 11.0in; margin: 1.0in 1.25in 1.0in 1.25in; }
P.MsoNormal {
        FONT-SIZE: 12pt; MARGIN: 0in 0in 0pt; FONT-FAMILY: "Times New Roman"
}
LI.MsoNormal {
        FONT-SIZE: 12pt; MARGIN: 0in 0in 0pt; FONT-FAMILY: "Times New Roman"
}
DIV.MsoNormal {
        FONT-SIZE: 12pt; MARGIN: 0in 0in 0pt; FONT-FAMILY: "Times New Roman"
}
A:link {
        COLOR: blue; TEXT-DECORATION: underline
}
SPAN.MsoHyperlink {
        COLOR: blue; TEXT-DECORATION: underline
}
A:visited {
        COLOR: blue; TEXT-DECORATION: underline
}
SPAN.MsoHyperlinkFollowed {
        COLOR: blue; TEXT-DECORATION: underline
}
SPAN.emailstyle17 {
        COLOR: navy; FONT-FAMILY: Arial
}
SPAN.EmailStyle18 {
        COLOR: navy; FONT-FAMILY: Arial
}
DIV.Section1 {
        page: Section1
}
</STYLE>

<META content="MSHTML 6.00.2900.2180" name=GENERATOR></HEAD>
<BODY lang=EN-US vLink=blue link=blue>
<DIV dir=ltr align=left><SPAN class=177054223-29042006><FONT face=Arial 
size=2>Intel MPI 2.0 does work with OFED 1.0 rc3 on RHEL4 U3 despite the lack of 
uCMA, here's example output on x86_64 w/PCI-E:</FONT></SPAN></DIV>
<DIV dir=ltr align=left><SPAN class=177054223-29042006><FONT face=Arial 
size=2></FONT></SPAN> </DIV>
<DIV dir=ltr align=left><SPAN class=177054223-29042006><FONT face=Arial 
size=2>.../osu_latency.x<BR>CMA: unable to open /dev/infiniband/rdma_cm<BR>CMA: 
unable to open /dev/infiniband/rdma_cm<BR>CMA: unable to open 
/dev/infiniband/rdma_cm<BR>CMA: unable to open /dev/infiniband/rdma_cm<BR>I_MPI: 
[0] set_up_devices(): will use device: libmpi.rdma.so<BR>I_MPI: [0] 
set_up_devices(): will use DAPL provider: OpenIB-scm1<BR>CMA: unable to open 
/dev/infiniband/rdma_cm<BR>CMA: unable to open /dev/infiniband/rdma_cm<BR>CMA: 
unable to open /dev/infiniband/rdma_cm<BR>CMA: unable to open 
/dev/infiniband/rdma_cm<BR>I_MPI: [0] set_up_devices(): will use device: 
libmpi.rdma.so<BR>I_MPI: [0] set_up_devices(): will use DAPL provider: 
OpenIB-scm1<BR># OSU MPI Latency Test (Version 2.1)<BR># 
Size          Latency (us) 
<BR>0               
7.86<BR>1               
7.53<BR>2               
7.37<BR>4               
7.43<BR>8               
7.92<BR>16              
7.29<BR>32              
7.36<BR>64              
7.50<BR></FONT></SPAN></DIV>
<DIV><FONT face=Arial color=#0000ff size=2></FONT> </DIV>
<DIV align=left><FONT face=Arial size=2>Scott Weitzenkamp</FONT></DIV>
<DIV align=left><FONT face=Arial size=2>SQA and Release Manager</FONT></DIV>
<DIV align=left><FONT face=Arial size=2>Server Virtualization Business 
Unit</FONT></DIV>
<DIV align=left><FONT face=Arial size=2>Cisco Systems</FONT></DIV>
<DIV> </DIV><BR>
<BLOCKQUOTE dir=ltr 
style="PADDING-LEFT: 5px; MARGIN-LEFT: 5px; BORDER-LEFT: #0000ff 2px solid; MARGIN-RIGHT: 0px">
  <DIV class=OutlookMessageHeader lang=en-us dir=ltr align=left>
  <HR tabIndex=-1>
  <FONT face=Tahoma size=2><B>From:</B> openfabrics-ewg-bounces@openib.org 
  [mailto:openfabrics-ewg-bounces@openib.org] <B>On Behalf Of </B>Woodruff, 
  Robert J<BR><B>Sent:</B> Tuesday, April 25, 2006 9:16 AM<BR><B>To:</B> Aviram 
  Gutman; Tziporet Koren; Amit Mehrotra (amehrotr); 
  openfabrics-ewg@openib.org<BR><B>Cc:</B> Alexander Smirnov; Davis, Arlin 
  R<BR><B>Subject:</B> RE: [openfabrics-ewg] rc3 installation 
  issues.<BR></FONT><BR></DIV>
  <DIV></DIV>
  <DIV dir=ltr align=left><SPAN class=603471216-25042006><FONT face=Arial 
  color=#0000ff size=2>Intel MPI needs a stable uDAPL and supporting usermode 
  verbs/uCMA and such.</FONT></SPAN></DIV>
  <DIV dir=ltr align=left><SPAN class=603471216-25042006><FONT face=Arial 
  color=#0000ff size=2>If you have that, then Intel MPI should work. If you want 
  to get a copy of Intel MPI</FONT></SPAN></DIV>
  <DIV dir=ltr align=left><SPAN class=603471216-25042006><FONT face=Arial 
  color=#0000ff size=2>to use in your testing of OFED, I can put you in contact 
  with our Intel MPI lead and he can</FONT></SPAN></DIV>
  <DIV dir=ltr align=left><SPAN class=603471216-25042006><FONT face=Arial 
  color=#0000ff size=2>provide you with the code and a license. 
  </FONT></SPAN></DIV><BR>
  <DIV class=OutlookMessageHeader lang=en-us dir=ltr align=left>
  <HR tabIndex=-1>
  <FONT face=Tahoma size=2><B>From:</B> Aviram Gutman 
  [mailto:aviram@mellanox.co.il] <BR><B>Sent:</B> Tuesday, April 25, 2006 9:09 
  AM<BR><B>To:</B> Woodruff, Robert J; Tziporet Koren; Amit Mehrotra (amehrotr); 
  openfabrics-ewg@openib.org<BR><B>Cc:</B> Alexander Smirnov; Davis, Arlin 
  R<BR><B>Subject:</B> RE: [openfabrics-ewg] rc3 installation 
  issues.<BR></FONT><BR></DIV>
  <DIV></DIV>
  <DIV><SPAN class=801170816-25042006><FONT face=Tahoma color=#800000 
  size=2>Please work with Vlad to make sure you have what you need in 
  rc4.</FONT></SPAN></DIV>
  <DIV> </DIV>
  <DIV dir=ltr align=left><FONT face=Arial size=2>Regards,</FONT></DIV>
  <DIV dir=ltr align=left><FONT face=Arial size=2>   
  Aviram</FONT></DIV>
  <DIV> </DIV><BR>
  <DIV class=OutlookMessageHeader lang=en-us dir=ltr align=left>
  <HR tabIndex=-1>
  <FONT face=Tahoma size=2><B>From:</B> Woodruff, Robert J 
  [mailto:robert.j.woodruff@intel.com] <BR><B>Sent:</B> Tuesday, April 25, 2006 
  6:56 PM<BR><B>To:</B> Aviram Gutman; Tziporet Koren; Amit Mehrotra (amehrotr); 
  openfabrics-ewg@openib.org<BR><B>Cc:</B> Alexander Smirnov; Davis, Arlin 
  R<BR><B>Subject:</B> RE: [openfabrics-ewg] rc3 installation 
  issues.<BR></FONT><BR></DIV>
  <DIV></DIV>
  <DIV dir=ltr align=left><SPAN class=952205315-25042006><FONT face=Arial 
  color=#0000ff size=2>Not yet. Last I heard, there was no uDAPL in OFED that is 
  neeed by Intel MPI. Maybe RC4. </FONT></SPAN></DIV>
  <DIV> </DIV>
  <DIV><FONT face=Arial color=#0000ff size=2></FONT> </DIV>
  <DIV>
  <P class=MsoNormal style="MARGIN-LEFT: 0.5in"><FONT face=Arial color=blue 
  size=2><SPAN 
  style="FONT-SIZE: 10pt; COLOR: blue; FONT-FAMILY: Arial"> Tziporet 
  wrote,</SPAN></FONT></P>
  <P class=MsoNormal style="MARGIN-LEFT: 0.5in"><FONT face=Arial color=blue 
  size=2><SPAN 
  style="FONT-SIZE: 10pt; COLOR: blue; FONT-FAMILY: Arial">> </SPAN></FONT><FONT 
  face=Arial color=navy size=2><SPAN 
  style="FONT-SIZE: 10pt; COLOR: navy; FONT-FAMILY: Arial">Regarding uDAPL and 
  RHEL4 (up2 & 3): Since we have not completed the uCMA backport for kernel 
  2.6.9 we eliminated uDAPL </SPAN></FONT><FONT face=Arial color=blue 
  size=2><SPAN 
  style="FONT-SIZE: 10pt; COLOR: blue; FONT-FAMILY: Arial"> </SPAN></FONT></P></DIV>
  <DIV><BR></DIV>
  <DIV class=OutlookMessageHeader lang=en-us dir=ltr align=left>
  <HR tabIndex=-1>
  <FONT face=Tahoma size=2><B>From:</B> Aviram Gutman 
  [mailto:aviram@mellanox.co.il] <BR><B>Sent:</B> Tuesday, April 25, 2006 8:48 
  AM<BR><B>To:</B> Woodruff, Robert J; Tziporet Koren; Amit Mehrotra (amehrotr); 
  openfabrics-ewg@openib.org<BR><B>Cc:</B> Alexander Smirnov; Davis, Arlin 
  R<BR><B>Subject:</B> RE: [openfabrics-ewg] rc3 installation 
  issues.<BR></FONT><BR></DIV>
  <DIV></DIV>
  <DIV><SPAN class=350554515-25042006><FONT face=Tahoma color=#800000 
  size=2>Woody,</FONT></SPAN></DIV>
  <DIV><SPAN class=350554515-25042006><FONT face=Tahoma color=#800000 
  size=2></FONT></SPAN> </DIV>
  <DIV><SPAN class=350554515-25042006><FONT face=Tahoma color=#800000 size=2>Are 
  you testing Intel MPI on top of OFED?</FONT></SPAN></DIV>
  <DIV> </DIV>
  <DIV dir=ltr align=left><FONT face=Arial size=2>Regards,</FONT></DIV>
  <DIV dir=ltr align=left><FONT face=Arial size=2>   
  Aviram</FONT></DIV>
  <DIV> </DIV><BR>
  <DIV class=OutlookMessageHeader lang=en-us dir=ltr align=left>
  <HR tabIndex=-1>
  <FONT face=Tahoma size=2><B>From:</B> openfabrics-ewg-bounces@openib.org 
  [mailto:openfabrics-ewg-bounces@openib.org] <B>On Behalf Of </B>Woodruff, 
  Robert J<BR><B>Sent:</B> Monday, April 24, 2006 11:33 PM<BR><B>To:</B> 
  Tziporet Koren; Amit Mehrotra (amehrotr); 
  openfabrics-ewg@openib.org<BR><B>Cc:</B> Alexander Smirnov; Davis, Arlin 
  R<BR><B>Subject:</B> RE: [openfabrics-ewg] rc3 installation 
  issues.<BR></FONT><BR></DIV>
  <DIV></DIV>
  <DIV dir=ltr align=left><FONT face=Arial color=#0000ff 
  size=2></FONT> </DIV>
  <DIV dir=ltr align=left><SPAN class=009262620-24042006><FONT face=Arial 
  color=#0000ff size=2>The latest patches I have is for SVN 6509 on the trunk. 
  </FONT></SPAN></DIV>
  <DIV dir=ltr align=left><SPAN class=009262620-24042006><FONT face=Arial 
  color=#0000ff size=2><A 
  href="https://openib.org/svn/gen2/branches/backport-to-2.6.9/">https://openib.org/svn/gen2/branches/backport-to-2.6.9/</A></FONT></SPAN></DIV>
  <DIV dir=ltr align=left><SPAN class=009262620-24042006><FONT face=Arial 
  color=#0000ff 
  size=2>infiniband-backport-svn6509-to-2.6.9-34.EL-kernel-fixups-00.diff<BR>infiniband-backport-svn6509-to-2.6.9-34.EL-kernel-fixups-01.diff<BR>infiniband-backport-svn6509-to-2.6.9-openib-drivers-02.diff<BR>infiniband-backport-svn6509-to-2.6.9-openib-fixups-03.diff<BR></FONT></SPAN></DIV>
  <DIV dir=ltr align=left><SPAN class=009262620-24042006><FONT face=Arial 
  color=#0000ff size=2>I don't split the patches by component, but rather have 
  one to strip out the old IB</FONT></SPAN></DIV>
  <DIV dir=ltr align=left><SPAN class=009262620-24042006><FONT face=Arial 
  color=#0000ff size=2>code in RedHat EL4.0, one to apply needed kernel changes 
  to the RedHat kernel,</FONT></SPAN></DIV>
  <DIV dir=ltr align=left><SPAN class=009262620-24042006><FONT face=Arial 
  color=#0000ff size=2>one for the openib drivers, and one for openib fixups 
  that are needed.</FONT></SPAN></DIV>
  <DIV dir=ltr align=left><SPAN class=009262620-24042006><FONT face=Arial 
  color=#0000ff size=2></FONT></SPAN> </DIV>
  <DIV dir=ltr align=left><SPAN class=009262620-24042006><FONT face=Arial 
  color=#0000ff size=2></FONT></SPAN> </DIV>
  <DIV dir=ltr align=left><SPAN class=009262620-24042006><FONT face=Arial 
  color=#0000ff size=2></FONT></SPAN> </DIV>
  <DIV dir=ltr align=left><SPAN class=009262620-24042006><FONT face=Arial 
  color=#0000ff size=2></FONT></SPAN> </DIV><BR>
  <DIV class=OutlookMessageHeader lang=en-us dir=ltr align=left>
  <HR tabIndex=-1>
  <FONT face=Tahoma size=2><B>From:</B> Tziporet Koren 
  [mailto:tziporet@mellanox.co.il] <BR><B>Sent:</B> Monday, April 24, 2006 11:43 
  AM<BR><B>To:</B> Woodruff, Robert J; Amit Mehrotra (amehrotr); 
  openfabrics-ewg@openib.org<BR><B>Cc:</B> Alexander Smirnov; Davis, Arlin 
  R<BR><B>Subject:</B> RE: [openfabrics-ewg] rc3 installation 
  issues.<BR></FONT><BR></DIV>
  <DIV></DIV>
  <DIV class=Section1>
  <P class=MsoNormal><FONT face=Arial color=navy size=2><SPAN 
  style="FONT-SIZE: 10pt; COLOR: navy; FONT-FAMILY: Arial">We plan to do a 
  backport of uCMA for RC4.</SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial color=navy size=2><SPAN 
  style="FONT-SIZE: 10pt; COLOR: navy; FONT-FAMILY: Arial">Can you point me to 
  your backport of uCMA for 2.6.9-34EL</SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial color=navy size=2><SPAN 
  style="FONT-SIZE: 10pt; COLOR: navy; FONT-FAMILY: Arial"></SPAN></FONT> </P>
  <P class=MsoNormal><FONT face=Arial color=navy size=2><SPAN 
  style="FONT-SIZE: 10pt; COLOR: navy; FONT-FAMILY: Arial">Thanks,</SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial color=navy size=2><SPAN 
  style="FONT-SIZE: 10pt; COLOR: navy; FONT-FAMILY: Arial">Tziporet</SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial color=navy size=2><SPAN 
  style="FONT-SIZE: 10pt; COLOR: navy; FONT-FAMILY: Arial"></SPAN></FONT> </P>
  <P class=MsoNormal style="MARGIN-LEFT: 0.5in"><FONT face=Tahoma size=2><SPAN 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Tahoma">-----Original 
  Message-----<BR><B><SPAN style="FONT-WEIGHT: bold">From:</SPAN></B> Bob 
  Woodruff [mailto:robert.j.woodruff@intel.com] <BR><B><SPAN 
  style="FONT-WEIGHT: bold">Sent:</SPAN></B> Monday, April 24, 2006 6:56 
  PM<BR><B><SPAN style="FONT-WEIGHT: bold">To:</SPAN></B> Tziporet Koren; Amit 
  Mehrotra (amehrotr); openfabrics-ewg@openib.org<BR><B><SPAN 
  style="FONT-WEIGHT: bold">Cc:</SPAN></B> Alexander Smirnov; Davis, Arlin 
  R<BR><B><SPAN style="FONT-WEIGHT: bold">Subject:</SPAN></B> RE: 
  [openfabrics-ewg] rc3 installation issues.</SPAN></FONT></P>
  <P class=MsoNormal style="MARGIN-LEFT: 0.5in"><FONT face="Times New Roman" 
  size=3><SPAN style="FONT-SIZE: 12pt"></SPAN></FONT> </P>
  <P class=MsoNormal style="MARGIN-LEFT: 0.5in"><FONT face=Arial color=blue 
  size=2><SPAN 
  style="FONT-SIZE: 10pt; COLOR: blue; FONT-FAMILY: Arial"> Tziporet 
  wrote,</SPAN></FONT></P>
  <P class=MsoNormal style="MARGIN-LEFT: 0.5in"><FONT face=Arial color=blue 
  size=2><SPAN 
  style="FONT-SIZE: 10pt; COLOR: blue; FONT-FAMILY: Arial">> </SPAN></FONT><FONT 
  face=Arial color=navy size=2><SPAN 
  style="FONT-SIZE: 10pt; COLOR: navy; FONT-FAMILY: Arial">Regarding uDAPL and 
  RHEL4 (up2 & 3): Since we have not completed the uCMA backport for kernel 
  2.6.9 we eliminated uDAPL </SPAN></FONT><FONT face=Arial color=blue 
  size=2><SPAN 
  style="FONT-SIZE: 10pt; COLOR: blue; FONT-FAMILY: Arial"> </SPAN></FONT></P>
  <P class=MsoNormal style="MARGIN-LEFT: 0.5in"><FONT face=Arial color=blue 
  size=2><SPAN style="FONT-SIZE: 10pt; COLOR: blue; FONT-FAMILY: Arial">> 
  </SPAN></FONT><FONT face=Arial color=navy size=2><SPAN 
  style="FONT-SIZE: 10pt; COLOR: navy; FONT-FAMILY: Arial"> installation in 
  case of this kernel. We also indicated this in the package limitation 
  mail.</SPAN></FONT><FONT face=Arial color=blue size=2><SPAN 
  style="FONT-SIZE: 10pt; COLOR: blue; FONT-FAMILY: Arial"> </SPAN></FONT></P>
  <P class=MsoNormal style="MARGIN-LEFT: 0.5in"><FONT face="Times New Roman" 
  size=3><SPAN style="FONT-SIZE: 12pt"></SPAN></FONT> </P>
  <P class=MsoNormal style="MARGIN-LEFT: 0.5in"><FONT face=Arial color=blue 
  size=2><SPAN style="FONT-SIZE: 10pt; COLOR: blue; FONT-FAMILY: Arial">Note 
  that there are two uDAPL providers for OpenIB. One uses standard 
  sockets for connections (socket CM)</SPAN></FONT></P>
  <P class=MsoNormal style="MARGIN-LEFT: 0.5in"><FONT face=Arial color=blue 
  size=2><SPAN style="FONT-SIZE: 10pt; COLOR: blue; FONT-FAMILY: Arial">and the 
  other uses CMA. I would suggest that you should include the socket CM 
  uDAPL provider even</SPAN></FONT></P>
  <P class=MsoNormal style="MARGIN-LEFT: 0.5in"><FONT face=Arial color=blue 
  size=2><SPAN style="FONT-SIZE: 10pt; COLOR: blue; FONT-FAMILY: Arial">if you 
  do not have a backport for uCMA.</SPAN></FONT></P>
  <P class=MsoNormal style="MARGIN-LEFT: 0.5in"><FONT face=Arial color=blue 
  size=2><SPAN style="FONT-SIZE: 10pt; COLOR: blue; FONT-FAMILY: Arial">BTW. - 
  My backport patches contain backport for uCMA for 2.6.9-34-EL if you need 
  an example.</SPAN></FONT></P>
  <P class=MsoNormal style="MARGIN-LEFT: 0.5in"><FONT face="Times New Roman" 
  size=3><SPAN style="FONT-SIZE: 12pt"></SPAN></FONT> </P>
  <P class=MsoNormal style="MARGIN-LEFT: 0.5in"><FONT face=Arial color=blue 
  size=2><SPAN 
  style="FONT-SIZE: 10pt; COLOR: blue; FONT-FAMILY: Arial">woody</SPAN></FONT></P>
  <P class=MsoNormal style="MARGIN-LEFT: 0.5in"><FONT face=Arial color=navy 
  size=2><SPAN 
  style="FONT-SIZE: 10pt; COLOR: navy; FONT-FAMILY: Arial"></SPAN></FONT> </P>
  <P class=MsoNormal style="MARGIN-LEFT: 0.5in"><FONT face="Times New Roman" 
  size=3><SPAN 
style="FONT-SIZE: 12pt"></SPAN></FONT> </P></DIV></BLOCKQUOTE></BODY></HTML>