<div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Jun 7, 2018 at 8:01 AM, John Evan <span dir="ltr"><<a href="mailto:evajohn.777@gmail.com" target="_blank">evajohn.777@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;padding-left:1ex;border-left-color:rgb(204,204,204);border-left-width:1px;border-left-style:solid"><span class="gmail-m_6092826570666224828im gmail-m_6092826570666224828HOEnZb"><div dir="ltr"><div>yes, all the hosts don't have direct connection with all the other hosts.</div><div> <br></div><div>Then assuming that the CA's have switch functions (forwarding the packets) in them , whether opensm can support the topology?</div></div></span></blockquote><div><br></div><div>I largely agree with what Peter wrote but I'll take my cut at explaining this:</div><div><br></div><div>Each CA-CA link is a separate subnet and would need to run at least 1 SM. Some care would need to be taken to configure the SMs appropriately (different subnet prefixes, more than 1 SM on a host). OpenSM supports static routing between the different IB subnets via prefix_routes_file option where each line is a prefix followed by GUID separated by white space. You can find out more in the opensm man page under PREFIX ROUTES. Issue here is that GUID must be that of a router port and the CAs are going to advertise themselves as CA not router nodes. The CAs in this scenario are both CAs and routers. Some way of indicating that to SM is needed (I know how to do this from a spec perspective but it depends on actual implementation - are some "off the shelf" CAs being used ?) and some relatively minor changes to support that.</div><div><br></div><div>The second issue is that a router like forwarder would need to be added for packets sent to CA but not terminated there(DGID is not one of CA GIDs but it was addressed to CA LID). I don't recall off the top of my head nor did I go through the spec to see how CAs handle such packets but AFAIR there is no DGID validation on receive as I recall from adding in the SA well known GID support but there maybe something I'm forgetting here. So assuming that's the case (more diligence should be spent on proving this), such packets can be sent and received in user space and a (software) forwarder could be implemented for these but is there a performance requirement ? The forwarder would need a routing table and I suppose that would also be configured somehow.</div><div><br></div><div>All of the above (assuming the performance of a software based forwarder is acceptable) seems like a lot of development to me. What is the motivation for this topology ? Why not just use a switch (all 27 hosts can be supported on a single switch) or 2 (parallel non overlapping subnets) if you want redundancy ?</div><div><br></div><div>-- Hal<br></div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;padding-left:1ex;border-left-color:rgb(204,204,204);border-left-width:1px;border-left-style:solid"><span class="gmail-m_6092826570666224828im gmail-m_6092826570666224828HOEnZb"><div dir="ltr"><div><br></div><div>--Jon E</div><br></div></span><div class="gmail-m_6092826570666224828HOEnZb"><div class="gmail-m_6092826570666224828h5"><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Jun 7, 2018 at 5:28 PM, John Evan <span dir="ltr"><<a href="mailto:evajohn.777@gmail.com" target="_blank">evajohn.777@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;padding-left:1ex;border-left-color:rgb(204,204,204);border-left-width:1px;border-left-style:solid"><div dir="ltr"><div>yes, all the hosts don't have direct connection with all the other hosts.</div><div> <br></div><div>Then assuming that the CA's have switch functions (forwarding the packets) in them , whether opensm can support the topology?</div><div><br></div><div>--Jon E<br></div></div>
</blockquote></div><br></div>
</div></div></blockquote></div><br></div></div>