<font size=2 face="sans-serif">Hello All,</font>
<br>
<br><font size=2 face="sans-serif">please excuse me if i'm not posting
in the right mailing list.  If there is a more appropriate place to
post this kind of question i would be happy to know.</font>
<br>
<br><font size=2 face="sans-serif">I've been looking around IB bonding
support on linux for a couple of days without seeing something relevant
to RHEL 6.1</font>
<br>
<br><font size=2 face="sans-serif">I'm just looking to build some IB bonding
over ethernet on my linux cluster.  Both links work on their own without
bonding.</font>
<br>
<br><font size=2 face="sans-serif">IB0 and IB1</font>
<br>
<br><font size=2 face="sans-serif">Ethernet bonding is already working
(bond0)</font>
<br>
<br><font size=2 face="sans-serif">ETH0 and ETH1</font>
<br>
<br><font size=2 face="sans-serif">IB Bonding looks good in dmesg:</font>
<br>
<br><font size=2 face="sans-serif">Loading kernel module for a network
device with CAP_SYS_MODULE (deprecated).  Use CAP_NET_ADMIN and alias
netdev-bond1 instead</font>
<br><font size=2 face="sans-serif">bonding: bond1 is being created...</font>
<br><font size=2 face="sans-serif">ADDRCONF(NETDEV_UP): bond1: link is
not ready</font>
<br><font size=2 face="sans-serif">bonding: bond1: Adding slave ib0.</font>
<br><font size=2 face="sans-serif">bonding: bond1: Warning: enslaved VLAN
challenged slave ib0. Adding VLANs will be blocked as long as ib0 is part
of bond bond1</font>
<br><font size=2 face="sans-serif">bonding: bond1: Warning: The first slave
device specified does not support setting the MAC address. Setting fail_over_mac
to active.</font>
<br><font size=2 face="sans-serif">bonding: bond1: enslaving ib0 as a backup
interface with a down link.</font>
<br><font size=2 face="sans-serif">bonding: bond1: Adding slave ib1.</font>
<br><font size=2 face="sans-serif">bonding: bond1: Warning: enslaved VLAN
challenged slave ib1. Adding VLANs will be blocked as long as ib1 is part
of bond bond1</font>
<br><font size=2 face="sans-serif">bonding: bond1: enslaving ib1 as a backup
interface with a down link.</font>
<br><font size=2 face="sans-serif">8021q: adding VLAN 0 to HW filter on
device bond1</font>
<br><font size=2 face="sans-serif">bonding: bond1: link status definitely
up for interface ib0.</font>
<br><font size=2 face="sans-serif">bonding: bond1: making interface ib0
the new active one.</font>
<br><font size=2 face="sans-serif">bonding: bond1: first active interface
up!</font>
<br><font size=2 face="sans-serif">ADDRCONF(NETDEV_CHANGE): bond1: link
becomes ready</font>
<br><font size=2 face="sans-serif">bond1: no IPv6 routers present</font>
<br><font size=2 face="sans-serif">bonding: bond1: link status definitely
up for interface ib1.</font>
<br>
<br><font size=2 face="sans-serif">But no bond.100 device under ifconfig
or /sys/class/net/</font>
<br>
<br><font size=2 face="sans-serif"><b>Environnement</b></font>
<br><font size=2 face="sans-serif">OS: RHEL 6.1</font>
<br>
<br><font size=2 color=#5f5f5f face="HelveticaNeueLT Std"><b>mlx4_core:
Mellanox ConnectX core driver v0.01 (May 1, 2007)</b></font>
<br><font size=2 color=#5f5f5f face="HelveticaNeueLT Std"><b>mlx4_en: Mellanox
ConnectX HCA Ethernet driver v1.5.1.6 (August 2010)</b></font>
<br><font size=2 color=#5f5f5f face="HelveticaNeueLT Std"><b>mlx4_ib: Mellanox
ConnectX InfiniBand driver v1.0 (April 4, 2008)</b></font>
<br>
<br><font size=2 color=#5f5f5f face="HelveticaNeueLT Std"><b>rpms</b></font>
<br><font size=2 color=#5f5f5f face="HelveticaNeueLT Std"><b>libibverbs-utils-1.1.4-2.el6.x86_64</b></font>
<br><font size=2 color=#5f5f5f face="HelveticaNeueLT Std"><b>infiniband-diags-1.5.5-1.el6.x86_64</b></font>
<br><font size=2 color=#5f5f5f face="HelveticaNeueLT Std"><b>rdma-1.0-9.el6.noarch</b></font>
<br><font size=2 color=#5f5f5f face="HelveticaNeueLT Std"><b>libibverbs-1.1.4-2.el6.x86_64</b></font>
<br>
<br><font size=2 color=#5f5f5f face="HelveticaNeueLT Std"><b>ifcfg-ib*</b></font>
<br><font size=2 color=#5f5f5f face="HelveticaNeueLT Std"><b>DEVICE=ib0</b></font>
<br><font size=2 color=#5f5f5f face="HelveticaNeueLT Std"><b>USERCTL=no</b></font>
<br><font size=2 color=#5f5f5f face="HelveticaNeueLT Std"><b>MASTER=bond1</b></font>
<br><font size=2 color=#5f5f5f face="HelveticaNeueLT Std"><b>SLAVE=yes</b></font>
<br><font size=2 color=#5f5f5f face="HelveticaNeueLT Std"><b>BOOTPROTO=none</b></font>
<br><font size=2 color=#5f5f5f face="HelveticaNeueLT Std"><b>ONBOOT=yes</b></font>
<br><font size=2 color=#5f5f5f face="HelveticaNeueLT Std"><b>TYPE=InfiniBand</b></font>
<br>
<br><font size=2 color=#5f5f5f face="HelveticaNeueLT Std"><b>DEVICE=ib1</b></font>
<br><font size=2 color=#5f5f5f face="HelveticaNeueLT Std"><b>USERCTL=no</b></font>
<br><font size=2 color=#5f5f5f face="HelveticaNeueLT Std"><b>MASTER=bond1</b></font>
<br><font size=2 color=#5f5f5f face="HelveticaNeueLT Std"><b>SLAVE=yes</b></font>
<br><font size=2 color=#5f5f5f face="HelveticaNeueLT Std"><b>BOOTPROTO=none</b></font>
<br><font size=2 color=#5f5f5f face="HelveticaNeueLT Std"><b>ONBOOT=yes</b></font>
<br><font size=2 color=#5f5f5f face="HelveticaNeueLT Std"><b>TYPE=InfiniBand</b></font>
<br>
<br><font size=2 color=#5f5f5f face="HelveticaNeueLT Std"><b>DEVICE=bond1</b></font>
<br><font size=2 color=#5f5f5f face="HelveticaNeueLT Std"><b>ONBOOT=yes</b></font>
<br><font size=2 color=#5f5f5f face="HelveticaNeueLT Std"><b>BOOTPROTO=none</b></font>
<br><font size=2 color=#5f5f5f face="HelveticaNeueLT Std"><b>USERCTL=no</b></font>
<br><font size=2 color=#5f5f5f face="HelveticaNeueLT Std"><b>BONDING_OPTIONS="mode=active-backup
primary=ib0 miimon=100"</b></font>
<br>
<br><font size=2 color=#5f5f5f face="HelveticaNeueLT Std"><b>DEVICE=bond1.100</b></font>
<br><font size=2 color=#5f5f5f face="HelveticaNeueLT Std"><b>BOOTPROTO=none</b></font>
<br><font size=2 color=#5f5f5f face="HelveticaNeueLT Std"><b>USERCTL=no</b></font>
<br><font size=2 color=#5f5f5f face="HelveticaNeueLT Std"><b>IPADDR=10.157.78.169</b></font>
<br><font size=2 color=#5f5f5f face="HelveticaNeueLT Std"><b>NETMASK=255.255.255.128</b></font>
<br><font size=2 color=#5f5f5f face="HelveticaNeueLT Std"><b>PREFIX=27</b></font>
<br><font size=2 color=#5f5f5f face="HelveticaNeueLT Std"><b>ONBOOT=yes</b></font>
<br><font size=2 color=#5f5f5f face="HelveticaNeueLT Std"><b>BONDING_OPTIONS="mode=active-backup
primary=ib0 miimon=5000"</b></font>
<br>
<br><font size=2 color=#5f5f5f face="HelveticaNeueLT Std"><b>kernel/drivers/net/bonding/bonding.ko</b></font>
<br><font size=2 color=#5f5f5f face="HelveticaNeueLT Std"><b>kernel/drivers/infiniband/ulp/ipoib/ib_ipoib.ko</b></font>
<br>
<br><font size=2 color=#5f5f5f face="HelveticaNeueLT Std"><b>I have used
everything out of the box without loading any extra packages apart the
ones provided with the distributor.</b></font>
<br>
<br><font size=2 color=#5f5f5f face="HelveticaNeueLT Std"><b>I did not
used any of the ib-bonding scripts.  Should i?  Or can things
work out of the box?  Anything missing kernel driver wise?</b></font>
<br>
<br><font size=2 color=#5f5f5f face="HelveticaNeueLT Std"><b>Thanks.</b></font>
<br>
<br><font size=2 color=#5f5f5f face="HelveticaNeueLT Std"><b>Eric</b></font><pre>
 
"This message, including any attachments may contain confidential
and privileged material; it is intended only for the person to whom 
it is addressed. Its contents do not constitute a commitment by Credit
Agricole Cheuvreux except where provided for in a written agreement. 
Credit Agricole Cheuvreux assumes no liability or responsibility for 
the consequences arising out of a delay and/or loss in transit of this
message, or for corruption or other error(s) arising in its 
transmission and for any misuse or fraudulent use which may be made 
thereof. If you are not the intended recipient, please contact us and 
abstain from any disclosure, use or dissemination. To the extent that 
this message contains research information and/or recommendations, these 
are provided on the same basis as Credit Agricole Cheuvreux's 
published research and the recipient must have regard to all disclosures 
and disclaimers contained therein."
</pre>