<br><font size=2 face="sans-serif">Thanks for the reply Dr. Panda.</font>
<br><font size=2 face="sans-serif">I did notice the formal release on the
openib forum and we will move to that release today.</font>
<br>
<br><font size=2 face="sans-serif">We made a couple attempts at rebuilding
mvapich2 and our symptoms changed. Maybe</font>
<br><font size=2 face="sans-serif">for the better, but still not good results.
In our last attempt we disabled the compile option</font>
<br><font size=2 face="sans-serif">"USE_MPD_RING" </font><font size=2> (HAVE_MPD_RING="").
I</font><font size=2 face="sans-serif">t seemed to get further but then
failed with a </font>
<br><font size=2 face="sans-serif">"cannot create cq" error message.
We are obviously failing now in the infiniband code.</font>
<br><font size=2 face="sans-serif">The perplexing thing is that the applications
work when run with mpiexec (outside of slurm)</font>
<br><font size=2 face="sans-serif">and have the MPD deamons running.</font>
<br>
<br><font size=2 face="sans-serif">The latest suggestion from LLNL is to
make sure we have unlimited max locked</font>
<br><font size=2 face="sans-serif">memory for our MPI tasks with:<br>
<br>
 srun sh -c 'ulimit -l'</font>
<br>
<br><font size=2 face="sans-serif">Below are the latest "traces"
of the error.</font>
<br>
<br><font size=2><tt>> (2)  We tried building without USE_MPD_RING
and the test now fails in <br>
> MPI_Init:<br>
> -----------------<br>
> 1: slurmd[molson]: task_pre_launch: 3.0, task 1<br>
> 1: In: PMI_Init<br>
> 1: In: PMI_Get_rank<br>
> 1: In: PMI_Get_size<br>
> 1: In: PMI_Get_appnum<br>
> 1: In: PMI_Get_id_length_max<br>
> 1: In: PMI_Get_id<br>
> 1: In: PMI_KVS_Get_name_length_max<br>
> 1: In: PMI_KVS_Get_my_name<br>
> 1: cannot create cq<br>
> 1: Fail to init hca<br>
> 1: Fatal error in MPI_Init: Other MPI error, error stack:<br>
> 1: MPIR_Init_thread(225): Initialization failed<br>
> 1: MPID_Init(81)........: channel initialization failed<br>
> -------------<br>
> We checked the Troubleshooting section of the mvapich2 document and
<br>
> followed the suggestions for these errors, but it did not help.<br>
</tt></font>
<br>
<br>
<br>
<br>
<br>
<table width=100%>
<tr valign=top>
<td width=40%><font size=1 face="sans-serif"><b>Dhabaleswar Panda <panda@cse.ohio-state.edu></b>
</font>
<p><font size=1 face="sans-serif">05/24/2006 08:24 PM</font>
<table border>
<tr valign=top>
<td bgcolor=white>
<div align=center><font size=1 face="sans-serif">Please respond to<br>
panda@cse.ohio-state.edu</font></div></table>
<br>
<td width=59%>
<table width=100%>
<tr valign=top>
<td>
<div align=right><font size=1 face="sans-serif">To</font></div>
<td><font size=1 face="sans-serif">Don.Dhondt@Bull.com</font>
<tr valign=top>
<td>
<div align=right><font size=1 face="sans-serif">cc</font></div>
<td><font size=1 face="sans-serif">openib-general@openib.org, mvapich-discuss@cse.ohio-state.edu</font>
<tr valign=top>
<td>
<div align=right><font size=1 face="sans-serif">Subject</font></div>
<td><font size=1 face="sans-serif">Re: [openib-general] Running MVAPICH2
with SLURM Process Manager</font></table>
<br>
<table>
<tr valign=top>
<td>
<td></table>
<br></table>
<br>
<br>
<br><font size=2><tt>Hi Don, <br>
<br>
> We are running  mvapich2-0.9.3-RC0 with  OFED1.0 RC4 and
have had good <br>
> results.<br>
<br>
Thanks for doing this testing. Glad to know that it works with OFED1.0<br>
RC4. Please note that we made a formal release of MVAPICH2-0.9.3<br>
during the weekend.<br>
<br>
> We would like to use the SLURM resource manager with this combination
<br>
> rather than MPD<br>
> but it does not appear to be one of the choices avaliable. Does anyone
<br>
> have any<br>
> experience in this area?<br>
> <br>
>     ./configure  --prefix=${PREFIX} ${MULTI_THREAD}
\<br>
>     --with-device=osu_ch3:mrail --with-rdma=gen2 --with-pm=mpd
\<br>
>     --disable-romio --without-mpe 2>&1 |tee config-mine.log<br>
> <br>
>    --with-pm=mpd<br>
>    We would have liked to have seen an option for slurm.<br>
<br>
Thanks for this suggestion. We have not tested MVAPICH2 with SLURM. To<br>
the best of our knowledge, SLURM works with MPICH2/MPD.  Thus, there<br>
should not be a problem for MVAPICH2 to work with SLURM. (I believe<br>
some of the MVAPICH/MVAPICH2 users do so.) We are taking a look at it<br>
and will get back to you.<br>
<br>
Best Regards, <br>
<br>
DK<br>
<br>
> Regards,<br>
> Donald Dhondt<br>
> GCOS 8 Communications Solutions Project Manager<br>
> Bull HN Information Systems Inc.<br>
> 13430 N. Black Canyon Hwy., Phoenix, AZ  85029<br>
> Work (602) 862-5245     Fax (602) 862-4290<br>
<br>
<br>
</tt></font>
<br>