
<html>

<body>

<font size=3>At 09:43 AM 2/10/2006, Grant Grundler wrote:<br>

<blockquote type=cite class=cite cite="">On Fri, Feb 10, 2006 at

11:05:34AM -0500, Hal Rosenstock wrote:<br>

> > Hi, Roland!<br>

> > One issue we have with IPoIB is that IPoIB may cache a remote

node path<br>

> > for a long time. Remote LID may get changed e.g. if the SM is

changed,<br>

> > and IPoIB might lose connectivity.<br><br>

I wonder if this is why when I reload the IB drivers on one node<br>

I sometimes have to reload them on other nodes too. Otherwise<br>

ping over IPoIB doesn't work.</font></blockquote><br>

If endnodes are not periodically refreshing their caches or are not

subscribing to event management to be informed a refresh is in order,

then endnodes will fall out of sync and would need to be restarted to

establish communication.  This is a classic problem that was

illustrated in various early router protocols and is why today's

protocols rely implement a two-prong approach in many cases - limited

cache lifetime and proactive cache event updates.<br><br>

<br>

<blockquote type=cite class=cite cite=""><font size=3>> The remote LID

may get changed for other reasons too without an SM<br>

> change (SM merge of 2 separate subnets). How can this be handled

?<br><br>

Isn't this just another case of the SM changing for one of the

subnets?</blockquote><br>

A SM merge that involves updating LIDs is a non-trivial event.  It

requires connections to be effectively restarted as one cannot ascertain

whether all packets are flushed from the fabric otherwise - that can

cause silent data corruption.  For a subsystem such as IPoverIB, a

LID update should result in an unsolicited ARP / ND exchange which will

cause all remote endnodes to receive the new information.<br><br>

Mike</font></body>

</html>