<br><font size=2 face="sans-serif">Pradeep,  The configuration  was
the "datagram".  Wow, that was great to know how to find
and fix it.  Thank you very much.</font>
<br>
<br><font size=2 face="sans-serif">So how does that value get set to "connected"
or "datagram"?   The opensm daemon was running on the side
which had datagram setting.<br>
</font>
<br>
<br>
<br>
<table width=100%>
<tr valign=top>
<td><font size=1 color=#5f5f5f face="sans-serif">From:</font>
<td><font size=1 face="sans-serif">Pradeep Satyanarayana <pradeeps@linux.vnet.ibm.com></font>
<tr valign=top>
<td><font size=1 color=#5f5f5f face="sans-serif">To:</font>
<td><font size=1 face="sans-serif">Mike Aho/Rochester/IBM@IBMUS</font>
<tr>
<td valign=top><font size=1 color=#5f5f5f face="sans-serif">Cc:</font>
<td><font size=1 face="sans-serif">OpenFabrics General <general@lists.openfabrics.org></font>
<tr valign=top>
<td><font size=1 color=#5f5f5f face="sans-serif">Date:</font>
<td><font size=1 face="sans-serif">06/10/2009 04:06 PM</font>
<tr valign=top>
<td><font size=1 color=#5f5f5f face="sans-serif">Subject:</font>
<td><font size=1 face="sans-serif">Re: [ofa-general] Setting mtu on an
IB port</font></table>
<br>
<hr noshade>
<br>
<br>
<br><tt><font size=2>Mike Aho wrote:<br>
> Pradeep,<br>
> <br>
> Thank you, that works well on one machine.  I was able to set
the mtu on<br>
> interface ib1 to 4096 instead of 2044.  The max_mtu from ibv_devinfo
is<br>
> still 2048 on port 2.<br>
> On the other machine, setting the ip mtu fails if I try a number higher<br>
> than 2044.  So which one is the correct behavior?  By the
way, opensmd is<br>
> running on the other machine.<br>
> <br>
> I appreciate having the capability to do ip mtu and now have another<br>
> command in my arsenal.<br>
> <br>
> I was hoping to set the IB mtu to 4096 instead of 2048 as shown in
the<br>
> ibv_devinfo.  Any ideas on that?<br>
> <br>
<br>
Mike, The issue here is likely that one of the nodes/ports may be in datagram
mode<br>
and the other one in connected mode.<br>
<br>
cat /sys/class/net/ib0/mode<br>
<br>
will reveal the mode for ib0. The datagram mode will limit the mtu to 2044
and<br>
one can typically go up to 65520 with connected mode.<br>
<br>
If you would like to switch to connected mode, you could (see caveats below)
do a <br>
<br>
echo connected > /sys/class/net/ib0/mode<br>
<br>
followed by the ip link command.<br>
<br>
Caveats<br>
-------<br>
<br>
The above (echo) command should be okay if you are trying with a mainline
kernel, ODED-1.4<br>
or OFED-1.4.1 installation, or even Sles varaints<br>
<br>
However, this will not work Rhel5.3 (if I remember correctly, should work
for Rhel5.2).<br>
<br>
For Rhel5.3, you need to edit the /etc/sysconfig/network-scripts/ifcfg-ib*<br>
<br>
and insert an entry CONNECTED_MODE=yes, followed by an /etc/init.d/openibd
restart.<br>
<br>
I think that should achieve what you want. Let me know if that doesn't
work.<br>
<br>
Pradeep<br>
<br>
<br>
</font></tt>
<br>
<br>