<div dir="ltr"><br><div class="gmail_extra"><br></div><div class="gmail_quote">On Thu, Jun 7, 2018 at 1:37 PM, Alexandre Malotchko <span dir="ltr"><<a href="mailto:a.malotchko@gmail.com" target="_blank">a.malotchko@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;padding-left:1ex;border-left-color:rgb(204,204,204);border-left-width:1px;border-left-style:solid"><span>>  What is the motivation<br>
> for this topology ? Why not just use a switch (all 27 hosts can be supported<br>
> on a single switch) or 2 (parallel non overlapping subnets) if you want<br>
> redundancy ?<br>
<br>
</span>CA-to-CA latency is lower than CA-IBrouter-CA. Plus lower costs<br>
(avoids using specialized IB switch/router hardware).<br>
<span><br>
> Each CA-CA link is a separate subnet and would need to run at least 1 SM.<br>
> Some care would need to be taken to configure the SMs appropriately<br>
> (different subnet prefixes, more than 1 SM on a host). OpenSM supports<br>
> static routing between the different IB subnets via prefix_routes_file<br>
> option where each line is a prefix followed by GUID separated by white<br>
> space. You can find out more in the opensm man page under PREFIX ROUTES.<br>
> Issue here is that GUID must be that of a router port and the CAs are going<br>
> to advertise themselves as CA not router nodes. The CAs in this scenario are<br>
> both CAs and routers. Some way of indicating that to SM is needed (I know<br>
> how to do this from a spec perspective but it depends on actual<br>
> implementation - are some "off the shelf" CAs being used ?) and some<br>
> relatively minor changes to support that.<br>
<br>
</span>We have tried to do a 3 (and 4) host topology with direct CA-to-CA<br>
links using dual CA IB cards.<br>
<br>
Running multiple instances of OpenSM running is an issue. From memory,<br>
the temp tables SM writes are overwritten from another SM instance.<br>
If I remember correctly, that issue was already raised but not addressed.<br></blockquote><div><br></div><div>There are a number of installations successfully doing this. Separate options files are needed as well as setting a couple of environment variables otherwise the SM instances will collide on various files. </div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;padding-left:1ex;border-left-color:rgb(204,204,204);border-left-width:1px;border-left-style:solid">
<br>
I do not recall if we did resolve the temp tables issue, but in the<br>
end were unable to get it up and running on either Linux or windows.<br>
We did use subnet_prefix etc.<br>
<br>
In fact, it would help if someone could provide a working and tested<br>
configuration for the above.<br></blockquote><div><br></div></div><div class="gmail_extra"> One example is <a href="http://lists.openfabrics.org/pipermail/ewg/2015-February/018341.html">http://lists.openfabrics.org/pipermail/ewg/2015-February/018341.html</a></div><div class="gmail_extra"><br></div></div>