<br><font size=2 face="sans-serif">Unfortunately I have 9 nodes.</font>
<br>
<br><font size=2 face="sans-serif">Thanks!</font>
<br><font size=2 face="sans-serif">Yicheng</font>
<br>
<br>
<br>
<br>
<table width=100%>
<tr valign=top>
<td width=40%><font size=1 face="sans-serif"><b>"Timothy A. Meier"
<meier3@llnl.gov></b> </font>
<p><font size=1 face="sans-serif">02/01/2008 05:39 PM</font>
<td width=59%>
<table width=100%>
<tr valign=top>
<td>
<div align=right><font size=1 face="sans-serif">To</font></div>
<td><font size=1 face="sans-serif">Yicheng Jia <YJia@tmriusa.com></font>
<tr valign=top>
<td>
<div align=right><font size=1 face="sans-serif">cc</font></div>
<td><font size=1 face="sans-serif">general@lists.openfabrics.org</font>
<tr valign=top>
<td>
<div align=right><font size=1 face="sans-serif">Subject</font></div>
<td><font size=1 face="sans-serif">Re: [ofa-general] SA code?</font></table>
<br>
<table>
<tr valign=top>
<td>
<td></table>
<br></table>
<br>
<br>
<br><tt><font size=2>Yicheng Jia wrote:<br>
> <br>
>  > Are you saying all messages are between adjacent neighbors
on the ring ?<br>
> Yes. Say I have 6 nodes: A, B, C, D, E, F, then the ring topo will
be <br>
> A<->B, B<->C, C<->D, D<->E, E<->F, F<->A,
and there are totally 6 subnets.<br>
<br>
If you only plan on 6 nodes, you can get an 8 port switch for ~ $750<br>
http://www.colfaxdirect.com/store/pc/viewCategories.asp?pageStyle=m&idCategory=7<br>
<br>
> <br>
>  > If it is just A->B, B->C, ..., and never across the
ring, then this can<br>
>  > work but you need an SM instance per subnet.<br>
> Do I need a router per subnet as well?<br>
> <br>
>  > If you need some router mode, then this is still a work
in progress for<br>
>  > InfiniBand although you might be able to get to a proprietary
solution<br>
>  > in the short term.<br>
> What version of OFED will have router mode available?<br>
> <br>
> Thanks!<br>
> Yicheng<br>
> <br>
> <br>
> <br>
> *Hal Rosenstock <hrosenstock@xsigo.com>*<br>
> <br>
> 02/01/2008 04:45 PM<br>
> <br>
>                  <br>
> To<br>
>                  Yicheng
Jia <YJia@tmriusa.com><br>
> cc<br>
>                  general@lists.openfabrics.org,
Roland Dreier <rdreier@cisco.com><br>
> Subject<br>
>                  Re:
[ofa-general] SA code?<br>
> <br>
> <br>
>                  <br>
> <br>
> <br>
> <br>
> <br>
> <br>
> Hi Yicheng,<br>
> <br>
> On Fri, 2008-02-01 at 16:38 -0600, Yicheng Jia wrote:<br>
>  ><br>
>  > Hi Hal,<br>
>  ><br>
>  > The only reason is cost down.<br>
> <br>
> Understood.<br>
> <br>
>  >  The cost of IB switch weighs too much in our product,
it seems the<br>
>  > ring topology is the only way to go. There's no message
across the<br>
>  > ring, all the communication occurs within the ring.<br>
> <br>
> Are you saying all messages are between adjacent neighbors on the
ring ?<br>
> <br>
>  > Would it cause the performance substantially go down?<br>
> <br>
> If it is just A->B, B->C, ..., and never across the ring, then
this can<br>
> work but you need an SM instance per subnet.<br>
> <br>
> If you need some router mode, then this is still a work in progress
for<br>
> InfiniBand although you might be able to get to a proprietary solution<br>
> in the short term.<br>
> <br>
> -- Hal<br>
> <br>
>  > Thanks!<br>
>  > Yicheng<br>
>  ><br>
>  ><br>
>  ><br>
>  > Hal Rosenstock<br>
>  > <hrosenstock@xsigo.com><br>
>  ><br>
>  > 02/01/2008 04:25 PM<br>
>  ><br>
>  ><br>
>  >                To<br>
>  > Yicheng Jia<br>
>  > <YJia@tmriusa.com><br>
>  >                cc<br>
>  > Roland Dreier<br>
>  > <rdreier@cisco.com>, general@lists.openfabrics.org<br>
>  >           Subject<br>
>  > Re: [ofa-general]<br>
>  > SA code?<br>
>  ><br>
>  ><br>
>  ><br>
>  ><br>
>  ><br>
>  ><br>
>  ><br>
>  ><br>
>  > On Fri, 2008-02-01 at 16:14 -0600, Yicheng Jia wrote:<br>
>  > ><br>
>  > > Hi Roland,<br>
>  > ><br>
>  > > Is there SA code available in OFED? I have a IB switch
to connect<br>
>  > all<br>
>  > > the mellanox HCAs, the SA is running on the switch's
firmware. My<br>
>  > goal<br>
>  > > is to skip the switch and use ring topology to connect
the HCA with<br>
>  > > each other. Is it doable in OFED?<br>
>  ><br>
>  > I don't understand what you're trying to accomplish with
this<br>
>  > topology.<br>
>  > In IB speak, each HCA <-> HCA link would be a separate
subnet. Do you<br>
>  > intend to forward across your ring ? If so, only some "router"
mode<br>
>  > would allow that with the topology you propose.<br>
>  ><br>
>  > -- Hal<br>
>  ><br>
>  > > Thanks!<br>
>  > > Yicheng<br>
>  > > _______________________________________________<br>
>  > > general mailing list<br>
>  > > general@lists.openfabrics.org<br>
>  > > http://lists.openfabrics.org/cgi-bin/mailman/listinfo/general<br>
>  > ><br>
>  > > To unsubscribe, please visit<br>
>  > http://openib.org/mailman/listinfo/openib-general<br>
>  ><br>
>  ><br>
>  > <br>
> _____________________________________________________________________________<br>
>  > Scanned by IBM Email Security Management Services powered
by<br>
>  > MessageLabs. For more information please visit http://www.ers.ibm.com<br>
>  > <br>
> _____________________________________________________________________________<br>
>  ><br>
> <br>
> <br>
> _____________________________________________________________________________<br>
> Scanned by IBM Email Security Management Services powered by <br>
> MessageLabs. For more information please visit http://www.ers.ibm.com<br>
> _____________________________________________________________________________<br>
> <br>
> <br>
> ------------------------------------------------------------------------<br>
> <br>
> _______________________________________________<br>
> general mailing list<br>
> general@lists.openfabrics.org<br>
> http://lists.openfabrics.org/cgi-bin/mailman/listinfo/general<br>
> <br>
> To unsubscribe, please visit http://openib.org/mailman/listinfo/openib-general<br>
<br>
<br>
-- <br>
Timothy A. Meier<br>
Computer Scientist<br>
ICCD/High Performance Computing<br>
925.422.3341<br>
meier3@llnl.gov<br>
<br>
_____________________________________________________________________________<br>
Scanned by IBM Email Security Management Services powered by MessageLabs.
For more information please visit http://www.ers.ibm.com<br>
_____________________________________________________________________________<br>
</font></tt>
<br>