<br><font size=2 face="sans-serif">Weikuan</font>
<br>
<br><font size=2 face="sans-serif">I previously reported that I was having
problems running any MPI jobs between a pair of EM64T machines with RHEL4,
Update 3 with the OpenIB modules,  (kernel versions 2.6.9-34.ELsmp)
and the "mvapich-gen2" code from the OpenIB svn tree.  
  I was having two problems:</font>
<br>
<ol>
<li value=1><font size=2 face="sans-serif">When I tried to run from user
mode,  I would get segmentation faults<br>
</font>
<li value=2><font size=2 face="sans-serif">When I ran from root,  the
jobs would fail with the following message:   "cpi: pmgr_client_mpd.c:254:
mpd_exchange_info: Assertion `len_remote == len_local' failed.</font><font size=3>
</font><font size=2 face="sans-serif">".</font></ol>
<br><font size=2 face="sans-serif">The first problem turned out to be a
memory problem;  I had to increase the size of the max locked-in-memory
address space (memlock) in the user limits.</font>
<br>
<br><font size=2 face="sans-serif">The second problem seemed to be more
related to process management than to MPI itself.   I remembered that
when I modified the "make.mvapich.gen2" build script,  there
was a parameter for MPD:</font>
<br>
<br><font size=2 face="sans-serif">  # Whether to use an optimized
queue pair exchange scheme.  This is not</font>
<br><font size=2 face="sans-serif">  # checked for a setting in in
the script.  It must be set here explicitly.</font>
<br><font size=2 face="sans-serif">  # Supported: "-DUSE_MPD_RING",
"-DUSE_MPD_BASIC" and "" (to disable)</font>
<br><font size=2 face="sans-serif">  HAVE_MPD_RING=""</font>
<br>
<br><font size=2 face="sans-serif">Because I wanted to use MPD to launch
jobs,  I set   HAVE_MPD_RING="-DUSE_MPD_RING"  in
the build script.</font>
<br>
<br><font size=2 face="sans-serif">I went back and set the parameter to
HAVE_MPD_RING="" to disable it, and rebuilt, which meant that
MPD was not installed.   Using "mpirun_rsh" I am now able
to run the MPI jobs,  including "cpi", "mping"
and other benchmark tests.</font>
<br>
<br><font size=2 face="sans-serif">There seems to be a problem with "USE_MPD_RING".
   Have you seen this before?   Should I try with "USE_MPD_BASIC"
instead?</font>
<br>
<br><font size=2 face="sans-serif">        -Don
Albert-</font>
<br>