<br><font size=2 face="sans-serif">Matthew,</font>
<br>
<br><font size=2 face="sans-serif">We build mvapich2 using the make.mvapich2.gen2
script.</font>
<br><font size=2 face="sans-serif">Within that script file is the fillowing:</font>
<br><font size=2 face="sans-serif"># Whether to use an optimized queue
pair exchange scheme.  This is not</font>
<br><font size=2 face="sans-serif"># checked for a setting in in the script.
 It must be set here explicitly.</font>
<br><font size=2 face="sans-serif"># Supported: "-DUSE_MPD_RING"
and "" (to disable)</font>
<br><font size=2 face="sans-serif">if [ $ARCH = "_PPC64_" ];
then</font>
<br><font size=2 face="sans-serif">        HAVE_MPD_RING=""</font>
<br><font size=2 face="sans-serif">else</font>
<br><font size=2 face="sans-serif">        HAVE_MPD_RING="-DUSE_MPD_RING"</font>
<br><font size=2 face="sans-serif">fi</font>
<br>
<br><font size=2 face="sans-serif">Since we are compiling for ia64 our
assumption is it compiled with </font>
<br><font size=2 face="sans-serif">HAVE_MPD_RING="-DUSE_MPD_RING".
Is this correct?</font>
<br><font size=2 face="sans-serif">Also, we are not using mpd to run start
the jobs. Since we are</font>
<br><font size=2 face="sans-serif">using slurm as the resource manager
the jobs are started with</font>
<br><font size=2 face="sans-serif">srun. Does MPD_RING on apply if using
MDP?</font>
<br>
<br><font size=2 face="sans-serif">-Don</font>
<br>
<br>
<br>
<br>
<table width=100%>
<tr valign=top>
<td width=40%><font size=1 face="sans-serif"><b>Matthew Koop <koop@cse.ohio-state.edu></b>
</font>
<p><font size=1 face="sans-serif">07/21/2006 11:51 AM</font>
<td width=59%>
<table width=100%>
<tr valign=top>
<td>
<div align=right><font size=1 face="sans-serif">To</font></div>
<td><font size=1 face="sans-serif">Don.Dhondt@Bull.com</font>
<tr valign=top>
<td>
<div align=right><font size=1 face="sans-serif">cc</font></div>
<td><font size=1 face="sans-serif">openib-general@openib.org</font>
<tr valign=top>
<td>
<div align=right><font size=1 face="sans-serif">Subject</font></div>
<td><font size=1 face="sans-serif">Re: [openib-general] mvapich2 pmi scalability
problems</font></table>
<br>
<table>
<tr valign=top>
<td>
<td></table>
<br></table>
<br>
<br>
<br><font size=2><tt>Don,<br>
<br>
Are you using the USE_MPD_RING flag when compiling? If not, can you give<br>
that a try? It should very significantly decrease the number of PMI calls<br>
that are made.<br>
<br>
Thanks,<br>
<br>
Matthew Koop<br>
<br>
<br>
<br>
<br>
<br>
</tt></font>
<br>