<br><font size=2 face="sans-serif">$ grep MPI_CFLAGS ./opt/mpi/mvapich2/bin/mpicc</font>
<br><font size=2 face="sans-serif">#    MPI_CFLAGS    
    - Any special flags needed to compile</font>
<br><font size=2 face="sans-serif">MPI_CFLAGS="-D_IA64_ -DUSE_INLINE
-DRDMA_FAST_PATH -D_SMP_              
 </font>
<br><font size=2 face="sans-serif">-DUSE_HEADER_CACHING -DLAZY_MEM_UNREGISTER
-DONE_SIDED                 </font>
<br><font size=2 face="sans-serif">-D_MLX_PCI_EX_DDR_ -DMPID_USE_SEQUENCE_NUMBERS
               </font>
<br><font size=2 face="sans-serif">-D_MEDIUM_CLUSTER -DUSE_MPD_RING</font>
<br><font size=2 face="sans-serif">-I/usr/local/ofed/include -O2"</font>
<br><font size=2 face="sans-serif">CFLAGS="$CFLAGS $MPI_CFLAGS"</font>
<br>
<br>
<br>
<br>
<table width=100%>
<tr valign=top>
<td width=40%><font size=1 face="sans-serif"><b>Matthew Koop <koop@cse.ohio-state.edu></b>
</font>
<p><font size=1 face="sans-serif">07/21/2006 03:26 PM</font>
<td width=59%>
<table width=100%>
<tr valign=top>
<td>
<div align=right><font size=1 face="sans-serif">To</font></div>
<td><font size=1 face="sans-serif">Don.Dhondt@Bull.com</font>
<tr valign=top>
<td>
<div align=right><font size=1 face="sans-serif">cc</font></div>
<td><font size=1 face="sans-serif">openib-general@openib.org</font>
<tr valign=top>
<td>
<div align=right><font size=1 face="sans-serif">Subject</font></div>
<td><font size=1 face="sans-serif">Re: [openib-general] mvapich2 pmi scalability
problems</font></table>
<br>
<table>
<tr valign=top>
<td>
<td></table>
<br></table>
<br>
<br>
<br><font size=2><tt><br>
> Since we are compiling for ia64 our assumption is it compiled with<br>
> HAVE_MPD_RING="-DUSE_MPD_RING". Is this correct?<br>
> Also, we are not using mpd to run start the jobs. Since we are<br>
> using slurm as the resource manager the jobs are started with<br>
> srun. Does MPD_RING on apply if using MDP?<br>
<br>
It should be using the USE_MPD_RING flag in that case. Just to make sure,<br>
can you just verify by seeing the compile flags used by `grep`ing mpicc:<br>
<br>
grep MPI_CFLAGS mpicc<br>
<br>
it should print out -DUSE_MPD_RING. Even though you are using SLURM this<br>
option should still work since MPD is not actually used -- it is making<br>
use of the PMI interface only.<br>
<br>
The numbers of messages you posted earlier would be consistent with what<br>
would be expected due to IB QP information that is exchanged at startup.<br>
The preferred setup, which should show superior scalability is using<br>
-DUSE_MPD_RING. Even in the all PMI case we should be able to add some<br>
additional optimizations, but the ring startup is really what should be<br>
used.<br>
<br>
Matt<br>
<br>
<br>
</tt></font>
<br>