Hi Richard,<br><br>Thanks a lot for replying.<br><br>ok, so you mean that OFED doesn't support failover for SDP and one can modify or add some code in OFED for failover support over SDP, right? then, Will you please give me some initial pointers through which I can start looking at OFED source code for adding failover support to SDP? It would be of great help.<br>
<br><br>Thanks,<br>Bhavin<br><br><div class="gmail_quote">On Mon, Mar 21, 2011 at 12:55 PM, Richard Croucher <span dir="ltr"><<a href="mailto:richard@informatix-sol.com">richard@informatix-sol.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin: 0pt 0pt 0pt 0.8ex; border-left: 1px solid rgb(204, 204, 204); padding-left: 1ex;"><div link="blue" vlink="purple" lang="EN-GB"><div><p class="MsoNormal"><span style="font-size: 11pt; color: rgb(31, 73, 125);">The bonding driver only works for IPoIB.   If  you are have writing you own VERBS program then you can use Automatic Path Migration (APM) but this does require not insignificant coding.   </span></p>
<p class="MsoNormal"><span style="font-size: 11pt; color: rgb(31, 73, 125);"> </span></p><p class="MsoNormal"><span style="font-size: 11pt; color: rgb(31, 73, 125);">Currently SDP, RDS, SDR, iSER don’t include any failover.   Some, such as SDP and iSER at least, use IPoIB as a namespace; using it to identify the end-points with the familiar IPv4 naming tools.  The currently active link from the IPoIB bonded pair will therefore be used for this naming unless you specifically use the non-bonded IP addresses to identify the interface.</span></p>
<p class="MsoNormal"><span style="font-size: 11pt; color: rgb(31, 73, 125);"> </span></p><p class="MsoNormal"><span style="font-size: 11pt; color: rgb(31, 73, 125);">Failover is not such as issue for the storage protocols, since most platforms already have solutions for channel failover for block storage devices.  On Solaris, I used MPxIO successfully over SRP.  </span></p>
<p class="MsoNormal"><span style="font-size: 11pt; color: rgb(31, 73, 125);"> </span></p><p class="MsoNormal"><span style="font-size: 11pt; color: rgb(31, 73, 125);">Whilst SDP does not currently include APM support it will automatically fall back to IPoIB in the event of a problem.</span></p>
<p class="MsoNormal"><span style="font-size: 11pt; color: rgb(31, 73, 125);"> </span></p><p class="MsoNormal"><span style="font-size: 11pt; color: rgb(31, 73, 125);">APM is relatively new to OFED.   I know of a number of VERBS programs which have specifically coded it in.  </span></p>
<p class="MsoNormal"><span style="font-size: 11pt; color: rgb(31, 73, 125);">So the bottom line is that OFED provides the capability, but it is up to the ULP protocol to decide if to use it and to then add the necessary code. </span></p>
<p class="MsoNormal"><span style="font-size: 11pt; color: rgb(31, 73, 125);"> </span></p><p class="MsoNormal"><span style="font-size: 11pt; color: rgb(31, 73, 125);">Richard</span></p><p class="MsoNormal"><span style="font-size: 11pt; color: rgb(31, 73, 125);"> </span></p>
<p class="MsoNormal"><span style="font-size: 11pt; color: rgb(31, 73, 125);"> </span></p><div style="border-width: 1pt medium medium; border-style: solid none none; border-color: rgb(181, 196, 223) -moz-use-text-color -moz-use-text-color; padding: 3pt 0cm 0cm;">
<p class="MsoNormal"><b><span style="font-size: 10pt;" lang="EN-US">From:</span></b><span style="font-size: 10pt;" lang="EN-US"> <a href="mailto:ewg-bounces@lists.openfabrics.org" target="_blank">ewg-bounces@lists.openfabrics.org</a> [mailto:<a href="mailto:ewg-bounces@lists.openfabrics.org" target="_blank">ewg-bounces@lists.openfabrics.org</a>] <b>On Behalf Of </b>bhavinkumar thumar<br>
<b>Sent:</b> 18 March 2011 09:11<br><b>To:</b> <a href="mailto:ewg@lists.openfabrics.org" target="_blank">ewg@lists.openfabrics.org</a><br><b>Subject:</b> [ewg] IB HA mode bonding over SDP</span></p></div><div><div></div>
<div class="h5"><p class="MsoNormal"> </p><p class="MsoNormal">Hi All,<br><br>I am a newbie in infiniband domain. I am trying to use IB over SDP instead of IPOIB. My problem is I have got 2 Mallenox IB cards on a machine so I created a bonding using ib-bonding driver. I have installed OFED 1.5.2. But with this bonding, connection is getting disconnected whenever link failure occurs.<br>
<br>Is there any solution to this problem? I look around the web for the same and I found that the HW failure would cause the IB RC session of a native IB ULPs (SDP, RDS, iSER, Lustre, rNFS) to break, but I haven't found any solution for this. Do I need to change anything in OFED?<br>
<br>Please help.<br><br>Thanks & Regards,<br>Bhavin</p></div></div></div></div></blockquote></div><br>