<br><font size=2 face="sans-serif">Bob,</font>
<br>
<br><font size=2 face="sans-serif">> I have tested what is on the RedHat
EL4.0 U3 with Intel MPI and it<br>
> worked ok, so RedHat EL4.0 U3 has all of the userspace libraries needed<br>
> to run MVAPICH, although I have not tried it, but I suspect it will
work.<br>
> There is one issue that I ran into with the stock RedHat EL4 U3 release<br>
> and that is with the new Mellenox DDR card I had some problems with
rdma,<br>
> using uDAPL and suspect you would see the same issues with MVAPICH
with<br>
> those cards.<br>
> The SDR cards seem to work fine with the code that is on the RedHat
CD.<br>
</font>
<br><font size=2 face="sans-serif">We are running RHEL4 U3 and the MVAPICH
version from the OpenIB gen2 trunk.  We were able to run the OSU benchmark
tests (osu_bw, osu_bibw, and osu_latency) with the Mellanox SDR cards successfully,
but when we swapped out the cards for DDR cards, we ran into some problems.
We can run some MPI jobs like the simple "calculate pi" job (cpi.c),
 and we can run an MPING application, but when we try to run the benchmark
tests, we get the following:</font>
<br>
<br><font size=2><tt>[koa] (ib) ib> mpirun_rsh -np 2 koa jatoba /home/ib/mpi/tests/osu/osu_bw</tt></font>
<br><font size=2><tt># OSU MPI Bandwidth Test (Version 2.1)</tt></font>
<br><font size=2><tt># Size          Bandwidth
(MB/s)</tt></font>
<br><font size=2><tt>[0] Abort: [koa.az05.bull.com:0] Got completion with
error, code=1</tt></font>
<br><font size=2><tt> at line 2148 in file viacheck.c</tt></font>
<br><font size=2><tt>mpirun_rsh: Abort signaled from [0]</tt></font>
<br><font size=2><tt>done.</tt></font>
<br>
<br><font size=2 face="sans-serif">Looking at the viacheck.c file,  it
seems that this error is generated when a bad status is found in the status
of a completion queue entry.   From the "code=1" ,  it
may be some sort of "length error".    This could be
coming from the driver or the card, I suppose?   That's as far as
I have gotten so far.</font>
<br>
<br><font size=2 face="sans-serif">Does this sound like any of the "issues"
you referred to above relative to RHEL4 U3 and the DDR cards?   If
so, is there a fix?</font>
<br>
<br><font size=2 face="sans-serif">-Don Albert-</font>
<br><font size=2 face="sans-serif">Bull HN Info Systems</font>
<br>