
<html><body>


<p>OK, Doug:<br>


<br>


Thanks a lot for your detailed explanation! So if I donot want to reboot the machine, I need run "chkconfig", "kudzu" and "openibd start".<br>


<br>


Wen Hao Wang<br>


Email: wangwhao@cn.ibm.com<br>


<br>


<br>


<tt>Doug Ledford <dledford@redhat.com> wrote on 2009-02-17 01:49:33:<br>


<br>


> On Mon, 2009-02-16 at 09:29 +0800, Wen Hao Wang wrote:<br>


> > <br>


> > </tt>Wen Hao Wang<tt><br>


> > <br>


> > Software Engineer<br>


> > IBM China Software Development Laboratory<br>


> > Email: wangwhao@cn.ibm.com<br>


> > Tel: 86-10-82451055<br>


> > Fax: 86-10-82782244 ext. 2312<br>


> > Address: 1/F, IBM ZGC Campus. Ring Building 28,ZhongGuanCun Software<br>


> > Park,No.8 Dong Bei Wang West Road, Haidian District Beijing, 100193,<br>


> > P.R.China<br>


> > <br>


> > <br>


> > Doug Ledford <dledford@redhat.com> Π΄ΣΪ 2009-02-14 00:13:32:<br>


> > <br>


> > > On Fri, 2009-02-13 at 08:05 +0800, Wen Hao Wang wrote:<br>


> > > > Doug Ledford <dledford@redhat.com> Π΄ΣΪ 2009-02-12 21:20:30:<br>


> > > > <br>


> > > > > On Thu, 2009-02-12 at 13:20 +0200, Tziporet Koren wrote:<br>


> > > > > > Wen Hao Wang wrote:<br>


> > > > > > ><br>


> > > > > > > Hi all:<br>


> > > > > > ><br>


> > > > > > > I changed my blade OS to RHEL5.3 yesterday and installed<br>


> > OFED<br>


> > > > (shipped <br>


> > > > > > > in RHEL5.3 image) by "yum groupisntall". Then I load some<br>


> > > > drivers and <br>


> > > > > > > wrote network interface configuration file ifcfg-ib0. ifup<br>


> > ib0<br>


> > > > also <br>


> > > > > > > succeeded. But IB utilites report Connetion timed out.<br>


> > > > > > ><br>


> > > > > > ><br>


> > > > > > > [root@xblade06 network-scripts]# sminfo<br>


> > > > > > > ibwarn: [32593] _do_madrpc: recv failed: Connection timed<br>


> > out<br>


> > > > > > > ibwarn: [32593] mad_rpc: _do_madrpc failed; dport (Lid 9)<br>


> > > > > > > sminfo: iberror: failed: query<br>


> > > > > > ><br>


> > > > > > > I had to reboot the blade and rerun "openibd start". Then<br>


> > > > sminfo <br>


> > > > > > > reported correct contents. I do not suppose this reboot is<br>


> > > > required. <br>


> > > > > > > Did I miss any configuration step?<br>


> > > > > <br>


> > > > > There was an unintentional bug in the rhel5.2 openibd init<br>


> > script in<br>


> > > > > that it automatically turned itself on during install<br>


> > (generally,<br>


> > > > most<br>


> > > > > init scripts should default to *not* turning themselves on<br>


> > during<br>


> > > > > install of the package, nor should they start themselves during<br>


> > > > install<br>


> > > > > of the package...this is for security reasons, imagine if you<br>


> > > > installed<br>


> > > > > the bind name server on your box and it automatically started up<br>


> > > > before<br>


> > > > > you had a chance to configure it).  In rhel5.3 we fixed that<br>


> > bug.<br>


> > > >  So,<br>


> > > > <br>


> > > > Yeah. I heard of this bug.<br>


> > > > <br>


> > > > > you may need to 'chkconfig --level 2345 openibd on' to make sure<br>


> > > > openibd<br>


> > > > > starts up each time.  The error you list above is consistent<br>


> > with<br>


> > > > not<br>


> > > > > all of the kernel modules being loaded when you tried to use the<br>


> > > > sminfo<br>


> > > > > program.<br>


> > > > <br>


> > > > Even after reboot, service openibd is not started automatically.<br>


> > > > [root@xblade06 ~]# chkconfig --list openibd<br>


> > > > openibd         0:off   1:off   2:off   3:off   4:off   5:off<br>


> > 6:off<br>


> > > <br>


> > > That's because you have to run the command I listed in my first<br>


> > email to<br>


> > > turn it on.<br>


> > ><br>


> > <br>


> > I totally agree with this. But I am still confused why sminfo gave<br>


> > errors<br>


> > before reboot, or which steps I should take for the first OFED usage<br>


> > before<br>


> > reboot. As far as I can see, whether the service is added into system<br>


> > runlevel DB is not related to the sminfo error. Please correct me if<br>


> > that<br>


> > is not the case.<br>


> <br>


> It is related.  The runlevel db is only consulted on boot up.  If the<br>


> openibd service was not enabled at startup, then adding it to the<br>


> runlevel startup does *not* start it at that time.  You have to both add<br>


> it to the runlevel startup and also start it manually if you want things<br>


> to work properly prior to reboot.  The sminfo errors you first posted<br>


> are consistent with some of the modules not being loaded, and it went<br>


> away after you started the openibd service, which is also consistent<br>


> with the problem.<br>


> <br>


> > > > I agree with you that maybe some modules were not loaded. But<br>


> > what's<br>


> > > > that?<br>


> > > > Before reboot, I run "/etc/init.d/openibd start" and<br>


> > > > "/etc/init.d/network<br>


> > > > restart". No error was reported. "openibd status" also looked<br>


> > good.<br>


> > > <br>


> > > Running start on a service does not enable that service at the next<br>


> > > reboot.  You must specifically enable the service in order for it to<br>


> > > start automatically.<br>


> > > <br>


> > > > > <br>


> > > > > > > Moreover, "openibd start" report one warning message about<br>


> > > > hwconf. <br>


> > > > > > > Anyone has comments about this?<br>


> > > > > > ><br>


> > > > > > > [root@xblade07 ~]# /etc/init.d/openibd start<br>


> > > > > > > Loading OpenIB kernel modules:grep: /etc/sysconfig/hwconf:<br>


> > No<br>


> > > > such <br>


> > > > > > > file or directory<br>


> > > > > > > [ OK ]<br>


> > > > > <br>


> > > > > Can you see if the kudzu package is installed on your machine?<br>


> >  The<br>


> > > > > openib package uses this config file written by kudzu to<br>


> > determine<br>


> > > > what<br>


> > > > > hardware drivers to load.  I suppose I should put a specific<br>


> > > > requires in<br>


> > > > > the rpm for that.<br>


> > > > <br>


> > > > kudzu is installed.<br>


> > > > [root@xblade06 ~]# rpm -q kudzu<br>


> > > > kudzu-1.2.57.1.21-1<br>


> > > <br>


> > > Make sure kudzu has been run at least once then (it would appear to<br>


> > be<br>


> > > turned off on your machine or else /etc/sysconfig/hwconf would<br>


> > exist).<br>


> > > You can run it manually from the command line and that should be<br>


> > > sufficient for the openibd init script's needs.<br>


> > > <br>


> > <br>


> > Yes. After kudza created the file on my machine, openibd script had no<br>


> > error<br>


> > this time. I want to know in my scenario, is "openibd restart"<br>


> > needed/required?<br>


> <br>


> It would probably be advisable, but only if you haven't rebooted since<br>


> running kudzu for the first time.  If you've rebooted since then, then<br>


> it doesn't matter.<br>


> <br>


> > Many thanks!<br>


> > <br>


> > Wen Hao Wang<br>


> > Email: wangwhao@cn.ibm.com<br>


> > <br>


> > > -- <br>


> > > Doug Ledford <dledford@redhat.com><br>


> > >               GPG KeyID: CFBFF194<br>


> > >               <a href="http://people.redhat.com/dledford">http://people.redhat.com/dledford</a><br>


> > > <br>


> > > Infiniband specific RPMs available at<br>


> > >               <a href="http://people.redhat.com/dledford/Infiniband">http://people.redhat.com/dledford/Infiniband</a><br>


> > > <br>


> > > [Έ½Όώ "signature.asc" ±» Wen Hao Wang/China/IBM ΙΎ³ύ]<br>


> > <br>


> -- <br>


> Doug Ledford <dledford@redhat.com><br>


>               GPG KeyID: CFBFF194<br>


>               <a href="http://people.redhat.com/dledford">http://people.redhat.com/dledford</a><br>


> <br>


> Infiniband specific RPMs available at<br>


>               <a href="http://people.redhat.com/dledford/Infiniband">http://people.redhat.com/dledford/Infiniband</a><br>


> <br>


> [Έ½Όώ "signature.asc" ±» Wen Hao Wang/China/IBM ΙΎ³ύ]</tt></body></html>