<br><font size=2 face="sans-serif">Weikuan,</font>
<br><font size=2><tt><br>
> Just a couple of questions to check with you on these systems?<br>
> <br>
> a) Did you have to build the mvapich libraries separately on these
 <br>
> machines? Related to this, are the directories: /usr/local,  <br>
> /tmp/mvapich, nfs exported for sharing across different machines?
If  <br>
> you had to build the libraries separately, please provide the other
set  <br>
> of info from `jatoba'.</tt></font>
<br>
<br><font size=2><tt>Both the kernel and the openib software was compiled
separately on each machine.  The corresponding logs from 'jatoba'
are attached below.  None of the directories are shared.  For
compiling the "cpi.c" program, I compile it on each machine,
but the directory structure is the same:  i.e. the "cpi"
executable is under /home/ib/test/mpi/cpi/cpi on each machine.</tt></font>
<br><font size=2><tt><br>
> b) Could you provide some additional specifications of these two  <br>
> machines? Kernel versions, linux distribution, HCA firmware and  <br>
> versions, gen2 kernel and userspace versions? We could have asked
you  <br>
> earlier. But just came to think these might be relevant...</tt></font>
<br>
<br><font size=2><tt>The machines are both EM64T (Intel(R) Xeon(TM) CPU
3.00GHz).  They are similar, but not identical (e.g. one has an E1000
ethernet card, the other an Alteon AceNic).  Both have Mellanox HCAs
(MT25208 InfiniHost III Ex (Tavor compatibility mode) (rev a0)).  Firmware
in the HCAs is v4.7.400.</tt></font>
<br>
<br><font size=2><tt>The machines were originally installed with RHEL4,
with 2.6.9-11.EL kernel.  The current kernel is 2.6.15.6, which I
built with the openib modules and the MVAPICH code (svn revision 5685).<br>
> <br>
> Looking ahead. We may need access into your systems to give it a shot,
 <br>
> if it is ever possible...<br>
> </tt></font>
<br><font size=2><tt>Unfortunately, I doubt that will be possible. But
I will be glad to run anything you need.</tt></font>
<br>
<br><font size=2><tt>        -Don Albert-</tt></font>
<br>
<br><font size=2><tt>Information from jatoba:</tt></font>
<br>
<br><font size=2><tt>[root@jatoba mvapich-gen2]# mpicc -show -o cpi examples/basic/cpi.c</tt></font>
<br><font size=2><tt>gcc -DUSE_STDARG -DHAVE_STDLIB_H=1 -DHAVE_STRING_H=1
-DHAVE_UNISTD_H=1 -DHAVE_STDARG_H=1 -DUSE_STDARG=1 -DMALLOC_RET_VOID=1
-c examples/basic/cpi.c -I/usr/local/mvapich/include</tt></font>
<br><font size=2><tt>gcc -DUSE_STDARG -DHAVE_STDLIB_H=1 -DHAVE_STRING_H=1
-DHAVE_UNISTD_H=1 -DHAVE_STDARG_H=1 -DUSE_STDARG=1 -DMALLOC_RET_VOID=1
-L/usr/local/mvapich/lib cpi.o -o cpi -lmpich -L/usr/local/lib -Wl,-rpath=/usr/local/lib
-libverbs -lpthread</tt></font>
<br>
<br>
<br>
<br>