<br><font size=2 face="sans-serif">Thanks for the tips. I got past the
errors using the </font><font size=2><tt>I_MPI_RDMA_RNDV_WRITE</tt></font><font size=2 face="sans-serif">
setting. But now I get the following error </font>
<br>
<br>
<br><font size=2 face="sans-serif">unexpected DAPL event 4008 from 111:n29</font>
<br><font size=2 face="sans-serif">.</font>
<br><font size=2 face="sans-serif">.</font>
<br><font size=2 face="sans-serif">.</font>
<br>
<br><font size=2 face="sans-serif">Any ideas?</font>
<br>
<br><font size=2 face="sans-serif">I am using Cisco HCA's</font>
<br><font size=2 face="sans-serif">MT25208 Tavor Compat, DLGL revision
A0</font>
<br><font size=2 face="sans-serif">FW v4.7.6 build 3.2.0.118</font>
<br>
<br><font size=2 face="sans-serif">Mahmoud Hanafi<br>
Sr. System Administrator<br>
CSC HPC COE<br>
Bld. 676<br>
2435 Fifth Street<br>
WPAFB, Ohio 45433<br>
(937) 255-1536<br>
<br>
<br>
Computer Sciences Corporation <br>
Registered Office: 2100 East Grand Avenue, El Segundo California 90245,
USA<br>
Registered in USA No: C-489-59<br>
<br>
----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------<br>
This is a PRIVATE message. If you are not the intended recipient, please
delete without copying and kindly advise us by e-mail of the mistake in
delivery. <br>
NOTE: Regardless of content, this e-mail shall not operate to bind CSC
to any order or other contract unless pursuant to explicit written agreement
or government initiative expressly permitting the use of e-mail for such
purpose.<br>
----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------<br>
</font>
<br>
<br>
<br>
<table width=100%>
<tr valign=top>
<td width=40%><font size=1 face="sans-serif"><b>Arlin Davis <ardavis@ichips.intel.com></b>
</font>
<br><font size=1 face="sans-serif">Sent by: general-bounces@lists.openfabrics.org</font>
<p><font size=1 face="sans-serif">02/01/2008 12:58 PM</font>
<td width=59%>
<table width=100%>
<tr valign=top>
<td>
<div align=right><font size=1 face="sans-serif">To</font></div>
<td><font size=1 face="sans-serif">Mahmoud Hanafi/DEF/CSC@CSC</font>
<tr valign=top>
<td>
<div align=right><font size=1 face="sans-serif">cc</font></div>
<td><font size=1 face="sans-serif">general-bounces@lists.openfabrics.org,
general@lists.openfabrics.org</font>
<tr valign=top>
<td>
<div align=right><font size=1 face="sans-serif">Subject</font></div>
<td><font size=1 face="sans-serif">Re: [ofa-general] ofed1.2.5rc2 and intel
mpi error</font></table>
<br>
<table>
<tr valign=top>
<td>
<td></table>
<br></table>
<br>
<br>
<br><font size=2><tt>Mahmoud Hanafi wrote:<br>
> <br>
> here is my mpirun command<br>
> <br>
> mpirun -np 128 -env I_MPI_DEVICE rdma:OpenIB-cma -env I_MPI_DEBUG
2 <br>
> /home/hanafim/HPL/xhpl<br>
> <br>
<br>
What IB adapter are you using and what F/W version (ibstat)?<br>
<br>
This might be related to following bug with large RDMA reads: <br>
https://bugs.openfabrics.org//show_bug.cgi?id=736<br>
<br>
Try the following:<br>
<br>
Set "-env I_MPI_RDMA_MAX_MSG_SIZE 4194304" to workaround the
issue. If <br>
it does not help, set I_MPI_RDMA_RNDV_WRITE to enable to use RDMA Write
<br>
rendezvous protocol instead of the default RDMA Read.<br>
<br>
-arlin<br>
<br>
_______________________________________________<br>
general mailing list<br>
general@lists.openfabrics.org<br>
http://lists.openfabrics.org/cgi-bin/mailman/listinfo/general<br>
<br>
To unsubscribe, please visit http://openib.org/mailman/listinfo/openib-general<br>
</tt></font>
<br>