<br><tt><font size=2>"Eitan Zahavi" <eitan@mellanox.co.il>
wrote on Mon, 20 <br>
> Nov 2006 19:28:34 +0200 -----</font></tt>
<br><tt><font size=2>> <br>
> To:</font></tt>
<br><tt><font size=2>> <br>
> "Roland Dreier" <rdreier@cisco.com></font></tt>
<br><tt><font size=2>> <br>
> cc:</font></tt>
<br><tt><font size=2>> <br>
> openib-general@openib.org</font></tt>
<br><tt><font size=2>> <br>
> Subject:</font></tt>
<br><tt><font size=2>> <br>
> Re: [openib-general] Scalable Monitoring - RFC</font></tt>
<br><tt><font size=2>> <br>
> Hi Roland,<br>
> <br>
> Actually using 24 port switches you can only build a cluster of 1728<br>
> nodes <br>
> with 3 levels of switches if you insist on CBB ration of 1.<br>
> </font></tt>
<br>
<br><tt><font size=2>For a 2 stage Fat Tree of 24 port switches I get a
total of 13824 nodes using 1728 switches. </font></tt>
<br>
<br><tt><font size=2>K = radix of the switch</font></tt>
<br><tt><font size=2>p = tree levels</font></tt>
<br>
<br><tt><font size=2>Nodes = K^p</font></tt>
<br><tt><font size=2>Switches = p*K^(p-1)</font></tt>
<br><tt><font size=2><br>
> Going to larger size cluster will require more levels.<br>
> With 4 levels you can go up to 20736 nodes cluster.<br>
> <br>
> So building a larger cluster (> 20736 nodes) will actually require
5<br>
> levels of switching.<br>
> <br>
> Assuming 40000 nodes (keeping 10K LIDs for the switches) with 5 levels<br>
> of switching will <br>
> actually require 10*40000  = 400K ports. </font></tt>
<br>
<br><tt><font size=2>If you assume higher radix switches it cuts down on
the number of ports and levels in the tree. There are already 96 port and
maybe higher IB switches out there ( even though there are multiple chip
hops in the switches ). If you go to 36 ports per switch you can get to
46656 nodes, 3888 switches and 139968 total ports. This is probably managable
and less than your 400K ports.</font></tt>
<br><tt><font size=2><br>
> <br>
> Should I assume from your mail that in your mind reading 300K or 400K<br>
> ports is not an issue?<br>
> <br>
> Eitan Zahavi<br>
<br>
</font></tt>
<br><font size=2 face="sans-serif"><br>
Bernie King-Smith  <br>
IBM Corporation<br>
Server Group<br>
Cluster System Performance  <br>
wombat2@us.ibm.com    (845)433-8483<br>
Tie. 293-8483 or wombat2 on NOTES <br>
<br>
"We are not responsible for the world we are born into, only for the
world we leave when we die.<br>
So we have to accept what has gone before us and work to change the only
thing we can,<br>
-- The Future." William Shatner</font>
<br>