<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN">
<HTML xmlns="http://www.w3.org/TR/REC-html40" xmlns:w = 
"urn:schemas-microsoft-com:office:word" xmlns:o = 
"urn:schemas-microsoft-com:office:office"><HEAD>
<META content="text/html; charset=us-ascii" http-equiv=Content-Type>
<STYLE>@page Section1 {size: 8.5in 11.0in; margin: 1.0in 1.25in 1.0in 1.25in; }
P.MsoNormal {
        MARGIN: 0in 0in 0pt; FONT-FAMILY: "Times New Roman"; FONT-SIZE: 12pt
}
LI.MsoNormal {
        MARGIN: 0in 0in 0pt; FONT-FAMILY: "Times New Roman"; FONT-SIZE: 12pt
}
DIV.MsoNormal {
        MARGIN: 0in 0in 0pt; FONT-FAMILY: "Times New Roman"; FONT-SIZE: 12pt
}
A:link {
        COLOR: blue; TEXT-DECORATION: underline
}
SPAN.MsoHyperlink {
        COLOR: blue; TEXT-DECORATION: underline
}
A:visited {
        COLOR: purple; TEXT-DECORATION: underline
}
SPAN.MsoHyperlinkFollowed {
        COLOR: purple; TEXT-DECORATION: underline
}
SPAN.EmailStyle17 {
        FONT-FAMILY: Arial; COLOR: windowtext; mso-style-type: personal-compose
}
DIV.Section1 {
        page: Section1
}
</STYLE>

<META name=GENERATOR content="MSHTML 8.00.6001.18702"></HEAD>
<BODY lang=EN-US link=blue vLink=purple>
<DIV><SPAN class=553151710-12112009><FONT color=#0000ff size=2 face=Arial>IMHO, 
if vstat shows the links as up, this is not an installation problem but rather 
an ipoib problem.</FONT></SPAN></DIV>
<DIV><SPAN class=553151710-12112009><FONT color=#0000ff size=2 
face=Arial></FONT></SPAN> </DIV>
<DIV><SPAN class=553151710-12112009><FONT color=#0000ff size=2 face=Arial>Can 
you please run ipoib with trace and send us the logs (also, do you have anything 
in the event viewer)?</FONT></SPAN></DIV>
<DIV><SPAN class=553151710-12112009><FONT color=#0000ff size=2 
face=Arial></FONT></SPAN> </DIV>
<DIV><SPAN class=553151710-12112009><FONT color=#0000ff size=2 
face=Arial>Thanks</FONT></SPAN></DIV>
<DIV><SPAN class=553151710-12112009><FONT color=#0000ff size=2 
face=Arial>Tzachi</FONT></SPAN></DIV><BR>
<BLOCKQUOTE 
style="BORDER-LEFT: #0000ff 2px solid; PADDING-LEFT: 5px; MARGIN-LEFT: 5px; MARGIN-RIGHT: 0px" 
dir=ltr>
  <DIV dir=ltr lang=en-us class=OutlookMessageHeader align=left>
  <HR tabIndex=-1>
  <FONT size=2 face=Tahoma><B>From:</B> ofw-bounces@lists.openfabrics.org 
  [mailto:ofw-bounces@lists.openfabrics.org] <B>On Behalf Of </B>Smith, 
  Stan<BR><B>Sent:</B> Thursday, November 12, 2009 12:35 AM<BR><B>To:</B> 
  Anatoly Greenblatt; ofw@lists.openfabrics.org<BR><B>Subject:</B> [ofw] RE: 
  installation/connectivity problems on hpc server<BR></FONT><BR></DIV>
  <DIV></DIV>
  <DIV dir=ltr align=left><FONT color=#0000ff size=2 face=Arial><SPAN 
  class=690345621-11112009>Hello,</SPAN></FONT></DIV>
  <DIV dir=ltr align=left><FONT color=#0000ff size=2 face=Arial><SPAN 
  class=690345621-11112009>  Please see inline 
  comments.</SPAN></FONT></DIV><BR>
  <DIV dir=ltr lang=en-us class=OutlookMessageHeader align=left>
  <HR tabIndex=-1>
  <FONT size=2 face=Tahoma><B>From:</B> ofw-bounces@lists.openfabrics.org 
  [mailto:ofw-bounces@lists.openfabrics.org] <B>On Behalf Of </B>Anatoly 
  Greenblatt<BR><B>Sent:</B> Wednesday, November 11, 2009 1:05 PM<BR><B>To:</B> 
  ofw@lists.openfabrics.org<BR><B>Subject:</B> [ofw] installation/connectivity 
  problems on hpc server<BR></FONT><BR></DIV>
  <DIV></DIV>
  <DIV class=Section1>
  <P class=MsoNormal><FONT size=2 face=Arial><SPAN 
  style="FONT-FAMILY: Arial; FONT-SIZE: 10pt">Hi,<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT size=2 face=Arial><SPAN 
  style="FONT-FAMILY: Arial; FONT-SIZE: 10pt"><o:p> </o:p></SPAN></FONT></P>
  <P class=MsoNormal><SPAN style="FONT-FAMILY: Arial; FONT-SIZE: 10pt">Should we 
  have any problems installing Winof 2.1 on server 2008 hpc edition sp2? Or am I 
  missing something.<FONT color=#0000ff><SPAN 
  class=690345621-11112009> </SPAN></FONT></SPAN></P>
  <P class=MsoNormal><SPAN style="FONT-FAMILY: Arial; FONT-SIZE: 10pt"><FONT 
  color=#0000ff><SPAN class=690345621-11112009></SPAN></FONT></SPAN> </P>
  <P class=MsoNormal><SPAN style="FONT-FAMILY: Arial; FONT-SIZE: 10pt"><FONT 
  color=#0000ff><SPAN class=690345621-11112009>Have not attempted a WinOF 
  install on Svr 2008 HPC sp2, although I would not anticipate any 
  problems.</SPAN></FONT></SPAN></P>
  <P class=MsoNormal><SPAN style="FONT-FAMILY: Arial; FONT-SIZE: 10pt"><FONT 
  color=#0000ff><SPAN class=690345621-11112009>Try installing via 'start/wait 
  msiexec /I WinOF_2-1_wlh_x64.msi /Lv msi.log'. Grep log file for 
  error.</SPAN></FONT></SPAN></P>
  <P class=MsoNormal><FONT size=2 face=Arial><SPAN 
  style="FONT-FAMILY: Arial; FONT-SIZE: 10pt"><o:p> </o:p></SPAN></FONT></P>
  <P class=MsoNormal><SPAN style="FONT-FAMILY: Arial; FONT-SIZE: 10pt">The 
  installation ends prematurely claiming that previous installation was 
  detected.<FONT color=#0000ff><SPAN 
  class=690345621-11112009> </SPAN></FONT></SPAN></P>
  <P class=MsoNormal><SPAN style="FONT-FAMILY: Arial; FONT-SIZE: 10pt"><FONT 
  color=#0000ff><SPAN class=690345621-11112009>Is this a MSFT installer error 
  message or a WinOF installer error message?</SPAN></FONT></SPAN></P>
  <P class=MsoNormal><SPAN style="FONT-FAMILY: Arial; FONT-SIZE: 10pt"><FONT 
  color=#0000ff><SPAN class=690345621-11112009></SPAN></FONT></SPAN> </P>
  <P class=MsoNormal><SPAN style="FONT-FAMILY: Arial; FONT-SIZE: 10pt">I’ve 
  exctracted the drivers from winof hpc x64 msi and installed manually.<FONT 
  color=#0000ff><SPAN class=690345621-11112009> </SPAN></FONT></SPAN></P>
  <P class=MsoNormal><SPAN style="FONT-FAMILY: Arial; FONT-SIZE: 10pt"><FONT 
  color=#0000ff><SPAN 
  class=690345621-11112009></SPAN></FONT></SPAN> </P><SPAN 
  style="FONT-FAMILY: Arial; FONT-SIZE: 10pt"><FONT color=#0000ff><SPAN 
  class=690345621-11112009>
  <P class=MsoNormal><SPAN style="FONT-FAMILY: Arial; FONT-SIZE: 10pt"><FONT 
  color=#0000ff><SPAN class=690345621-11112009>Since you have already installed 
  HCA drivers by hand, you want to install WinOF with NO devices installed 
  </SPAN></FONT></SPAN></P>
  <P class=MsoNormal><SPAN style="FONT-FAMILY: Arial; FONT-SIZE: 10pt"><FONT 
  color=#0000ff><SPAN class=690345621-11112009>  'start/wait msiexec /I 
  WinOF_2-1_wlh_x64.msi NODEV=1'   # just take the default install, no 
  devices will be 
  installed.</SPAN></FONT></SPAN> </SPAN><o:p></o:p></FONT></SPAN></P>
  <P class=MsoNormal><FONT size=2 face=Arial><SPAN 
  style="FONT-FAMILY: Arial; FONT-SIZE: 10pt"><o:p> </o:p></SPAN></FONT></P>
  <P class=MsoNormal><SPAN style="FONT-FAMILY: Arial; FONT-SIZE: 10pt">The 
  bus/hca/ipoib drivers were installed successfully, however the ipoib network 
  adapter shows status “disconnected”<FONT color=#0000ff><SPAN 
  class=690345621-11112009> </SPAN></FONT></SPAN></P>
  <P class=MsoNormal><SPAN style="FONT-FAMILY: Arial; FONT-SIZE: 10pt"><FONT 
  color=#0000ff><SPAN class=690345621-11112009>State of cable disconnected 
  indicates the SM has not seen/configured --> Active port 
  state. </SPAN><o:p></o:p></FONT></SPAN></P>
  <P class=MsoNormal><FONT size=2 face=Arial><SPAN 
  style="FONT-FAMILY: Arial; FONT-SIZE: 10pt"><o:p> </o:p></SPAN></FONT></P>
  <P class=MsoNormal><SPAN style="FONT-FAMILY: Arial; FONT-SIZE: 10pt">Opsnsm is 
  running on linux node and shows all ports/nodes as connected. Vstat on the 
  nodes shows that ports that are physically connected are up.<FONT 
  color=#0000ff><SPAN class=690345621-11112009>   
  </SPAN></FONT></SPAN><SPAN style="FONT-FAMILY: Arial; FONT-SIZE: 10pt"><FONT 
  color=#0000ff><SPAN class=690345621-11112009>UP == Active port 
  state? </SPAN><o:p></o:p></FONT></SPAN></P>
  <P class=MsoNormal><FONT size=2 face=Arial><SPAN 
  style="FONT-FAMILY: Arial; FONT-SIZE: 10pt"><o:p> </o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT size=2 face=Arial><SPAN 
  style="FONT-FAMILY: Arial; FONT-SIZE: 10pt">It is c-class hp blade with 
  connectx gen2. firmware 2.6.1.<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT size=2 face=Arial><SPAN 
  style="FONT-FAMILY: Arial; FONT-SIZE: 10pt"><o:p> </o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT size=2 face=Arial><SPAN 
  style="FONT-FAMILY: Arial; FONT-SIZE: 10pt">Any ideas how to fix ipoib 
  connection?<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT size=2 face=Arial><SPAN 
  style="FONT-FAMILY: Arial; FONT-SIZE: 10pt"><o:p> </o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT size=2 face=Arial><SPAN 
  style="FONT-FAMILY: Arial; FONT-SIZE: 10pt">Thanks,<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT size=2 face=Arial><SPAN 
  style="FONT-FAMILY: Arial; FONT-SIZE: 10pt">Anatoly.<o:p></o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT size=2 face=Arial><SPAN 
  style="FONT-FAMILY: Arial; FONT-SIZE: 10pt"><o:p> </o:p></SPAN></FONT></P>
  <P class=MsoNormal><FONT size=2 face=Arial><SPAN 
  style="FONT-FAMILY: Arial; FONT-SIZE: 10pt"><o:p> </o:p></SPAN></FONT></P></DIV></BLOCKQUOTE></BODY></HTML>