<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN">
<HTML><HEAD>
<META http-equiv=Content-Type content="text/html; charset=us-ascii">
<META content="MSHTML 6.00.2900.3132" name=GENERATOR></HEAD>
<BODY>
<DIV><SPAN class=896424205-26072007><FONT face="Palatino Linotype" 
color=#0000ff><STRONG>I propose that when there is no MTU in the partition 
policy file OpenSM use a </STRONG></FONT></SPAN></DIV>
<DIV><SPAN class=896424205-26072007><FONT face="Palatino Linotype" 
color=#0000ff><STRONG>configurable default from: </STRONG></FONT></SPAN><SPAN 
class=896424205-26072007><STRONG><FONT face="Palatino Linotype" 
color=#0000ff>/etc/cache/opensm/opensm.opt.</FONT></STRONG></SPAN></DIV>
<DIV><SPAN class=896424205-26072007><STRONG><FONT face="Palatino Linotype" 
color=#0000ff>Something like:</FONT></STRONG></SPAN></DIV>
<DIV><SPAN class=896424205-26072007><STRONG><FONT face="Palatino Linotype" 
color=#0000ff># The default MTU to be used for IPoIB and other MCGs when the 
partition-policy </FONT></STRONG></SPAN></DIV>
<DIV><SPAN class=896424205-26072007><STRONG><FONT face="Palatino Linotype" 
color=#0000ff># does not provide exact value. The default is the lowest possible 
MTU</FONT></STRONG></SPAN></DIV>
<DIV><SPAN class=896424205-26072007><STRONG><FONT face="Palatino Linotype" 
color=#0000ff>mcg_default_mtu 1</DIV></FONT></STRONG></SPAN>
<DIV><SPAN class=896424205-26072007><STRONG><FONT face="Palatino Linotype" 
color=#0000ff></FONT></STRONG></SPAN> </DIV>
<DIV><SPAN lang=en-gb><B><I><FONT face="Monotype Corsiva" color=#0000ff 
size=6>Eitan Zahavi</FONT></I></B><I></I></SPAN> <BR><SPAN lang=en-gb><FONT 
face=Tahoma size=2>Senior Engineering Director, Software Architect</FONT></SPAN> 
<BR><SPAN lang=en-gb><FONT face=Tahoma size=2>Mellanox Technologies 
LTD</FONT></SPAN> <BR><SPAN lang=en-gb><FONT face=Tahoma 
size=2>Tel:+972-4-9097208<BR>Fax:+972-4-9593245</FONT></SPAN> <BR><SPAN 
lang=en-gb><FONT face=Tahoma size=2>P.O. Box 586 Yokneam 20692 
ISRAEL</FONT></SPAN> </DIV>
<DIV> </DIV><BR>
<BLOCKQUOTE 
style="PADDING-LEFT: 5px; MARGIN-LEFT: 5px; BORDER-LEFT: #0000ff 2px solid; MARGIN-RIGHT: 0px">
  <DIV class=OutlookMessageHeader lang=en-us dir=ltr align=left>
  <HR tabIndex=-1>
  <FONT face=Tahoma size=2><B>From:</B> Shirley Ma [mailto:xma@us.ibm.com] 
  <BR><B>Sent:</B> Wednesday, July 25, 2007 10:45 PM<BR><B>To:</B> Eitan 
  Zahavi<BR><B>Cc:</B> general@lists.openfabrics.org; Hal 
  Rosenstock<BR><B>Subject:</B> RE: [ofa-general] Re: openSM: Different IB 
  MTUs<BR></FONT><BR></DIV>
  <DIV></DIV>
  <P>Hello Eitan, Hal,<BR><BR>Thanks. It's good openSM has the configuration 
  option to set up these attributes in MC. Is this a good idea to add below to 
  openSM: When there is no MTU defined in the configuration file, SM can pick up 
  the smallest link MTU in the fabrics by default? MTU is unlikely rate, slower 
  rate might indicate the cablling problem. So using the smallest link MTU in 
  the fabrics might not be a bad choice for MC by default. The reason I request 
  here is to create IP multicast group, MTU is not an attribute of the group. 
  When mapping IP multicast to IB multicast, IB muliticast might fail because of 
  different IB link MTU size in the group, but IP multicast group will be 
  successful without knowing the failure. If admin sets MTU in configuration 
  file, admin would know this failure. Otherwise, admin/users could spend too 
  much time on debugging their broken multicasting 
  applications.<BR><BR>Thanks<BR>Shirley Ma<BR><BR><IMG height=16 
  alt='Inactive hide details for "Eitan Zahavi" <eitan@mellanox.co.il>' 
  src="cid:896424205@26072007-1411" width=16 border=0>"Eitan Zahavi" 
  <eitan@mellanox.co.il><BR><BR><BR>
  <TABLE cellSpacing=0 cellPadding=0 width="100%" border=0>
    <TBODY>
    <TR vAlign=top>
      <TD 
      style="BACKGROUND-IMAGE: url(cid:2__=08BBF9B0DFF8DD5C8f9e8a93df938@us.ibm.com); BACKGROUND-REPEAT: no-repeat" 
      width="40%">
        <UL>
          <UL>
            <UL>
              <UL><B><FONT size=2>"Eitan Zahavi" 
                <eitan@mellanox.co.il></FONT></B><FONT size=2> </FONT>
                <P><FONT size=2>07/25/07 12:25 PM</FONT></P></UL></UL></UL></UL></TD>
      <TD width="60%">
        <TABLE cellSpacing=0 cellPadding=0 width="100%" border=0>
          <TBODY>
          <TR vAlign=top>
            <TD width="1%"><IMG height=1 alt="" 
              src="cid:896424205@26072007-1418" width=58 border=0><BR>
              <DIV align=right><FONT size=2>To</FONT></DIV></TD>
            <TD width="100%"><IMG height=1 alt="" 
              src="cid:896424205@26072007-1418" width=1 border=0><BR><FONT 
              size=2>"Hal Rosenstock" <hal.rosenstock@gmail.com>, Shirley 
              Ma/Beaverton/IBM@IBMUS</FONT></TD></TR>
          <TR vAlign=top>
            <TD width="1%"><IMG height=1 alt="" 
              src="cid:896424205@26072007-1418" width=58 border=0><BR>
              <DIV align=right><FONT size=2>cc</FONT></DIV></TD>
            <TD width="100%"><IMG height=1 alt="" 
              src="cid:896424205@26072007-1418" width=1 border=0><BR><FONT 
              size=2><general@lists.openfabrics.org></FONT></TD></TR>
          <TR vAlign=top>
            <TD width="1%"><IMG height=1 alt="" 
              src="cid:896424205@26072007-1418" width=58 border=0><BR>
              <DIV align=right><FONT size=2>Subject</FONT></DIV></TD>
            <TD width="100%"><IMG height=1 alt="" 
              src="cid:896424205@26072007-1418" width=1 border=0><BR><FONT 
              size=2>RE: [ofa-general] Re: openSM: Different IB 
          MTUs</FONT></TD></TR></TBODY></TABLE>
        <TABLE cellSpacing=0 cellPadding=0 border=0>
          <TBODY>
          <TR vAlign=top>
            <TD width=58><IMG height=1 alt="" 
              src="cid:896424205@26072007-1418" width=1 border=0></TD>
            <TD width=336><IMG height=1 alt="" 
              src="cid:896424205@26072007-1418" width=1 
        border=0></TD></TR></TBODY></TABLE></TD></TR></TBODY></TABLE><BR><B><FONT 
  color=#0000ff size=4>Hi Shirley,</FONT></B><BR><FONT 
  size=4></FONT><BR><B><FONT color=#0000ff size=4>I think I understand where 
  your question comes from...</FONT></B><BR><B><FONT color=#0000ff size=4>Many 
  have issue with heterogonous fabrics where not all nodes have same MTU or 
  Speed.</FONT></B><BR><B><FONT color=#0000ff size=4>Especially when IPoIB 
  relies on all nodes joining the broadcast group.</FONT></B><BR><FONT 
  size=4></FONT><BR><B><FONT color=#0000ff size=4>The term "join" for multicast 
  groups is a little overloaded.</FONT></B><BR><B><FONT color=#0000ff size=4>If 
  a node joins an existing MC group it has to have a rate (speed * width) > 
  MCG.rate and support MTU > MCG.MTU otherwise it is 
  denied.</FONT></B><BR><B><FONT color=#0000ff size=4>If the join is actually a 
  "create" the node has to provide the rate and MTU which define the MCG 
  values.</FONT></B><BR><FONT size=4></FONT><BR><B><FONT color=#0000ff size=4>To 
  allow for administrator to control the IPoIB MCGs MTU and rate OpenSM provides 
  the means to control these</FONT></B><BR><B><FONT color=#0000ff size=4>values 
  per partition. See the doc/partition-config.doc</FONT></B><FONT size=4> 
  </FONT><BR><B><FONT color=#0000ff size=4>Still the administrator should know 
  what would be the lowest MTU and rate the nodes expected to join the IPoIB 
  subnet have.</FONT></B><BR><B><FONT color=#0000ff size=4>The tradeoff is in 
  the hands of the administrator who can set a value that will prevent slow 
  nodes from joining the group, </FONT></B><BR><B><FONT color=#0000ff size=4>or 
  assign a low value that will fit all nodes but slow down communication 
  ...</FONT></B><BR><FONT size=4></FONT><BR><B><FONT color=#0000ff 
  size=4>EZ</FONT></B> 
  <P><B><I><FONT color=#0000ff size=7>Eitan Zahavi</FONT></I></B><FONT size=4> 
  </FONT><BR>Senior Engineering Director, Software Architect<FONT size=4> 
  </FONT><BR>Mellanox Technologies LTD<FONT size=4> 
  </FONT><BR>Tel:+972-4-9097208<BR>Fax:+972-4-9593245<FONT size=4> 
  </FONT><BR>P.O. Box 586 Yokneam 20692 ISRAEL<FONT size=4> </FONT>
  <P><FONT size=4></FONT><BR><BR>
  <HR align=left width="100%" SIZE=2>
  <B>From:</B> general-bounces@lists.openfabrics.org [<A 
  href="mailto:general-bounces@lists.openfabrics.org">mailto:general-bounces@lists.openfabrics.org</A>] 
  <B>On Behalf Of </B>Hal Rosenstock<B><BR>Sent:</B> Wednesday, July 25, 2007 
  10:01 PM<B><BR>To:</B> Shirley Ma<B><BR>Cc:</B> 
  general@lists.openfabrics.org<B><BR>Subject:</B> [ofa-general] Re: openSM: 
  Different IB MTUs<FONT size=4><BR></FONT><BR><FONT 
  size=4>Shirley,<BR></FONT><BR><FONT size=4>On 7/25/07, </FONT><B><FONT 
  size=4>Shirley Ma</FONT></B><FONT size=4> <</FONT><A 
  href="mailto:xma@us.ibm.com"><U><FONT color=#0000ff 
  size=4>xma@us.ibm.com</FONT></U></A><FONT size=4>> wrote: </FONT>
  <UL><FONT size=4>Hal,<BR><BR>Thanks for your prompt reply. I am asking for 
    how openSM handle different link MTUs in SA MCMemberRecord MTU. For example, 
    if we have some links MTU as 2K, some links MTU as 1K. Then when enabling 
    IPoIB, how does SM decide IPoIB broadcast group MCMemberRecord MTU size? 
    When creating an IB multicast group from a 2K MTU node first, which PMTU 
    value is attaching to this IB multicast group MCMemberRecord MTU? 
  </FONT></UL><BR><FONT size=4></FONT><BR><FONT size=4>MCMemberRecord MTU gets 
  the group MTU (when created). This is either this first joiner with sufficient 
  components or preconfigured (and MTU can be set in the config). If a joiner 
  has insufficient MTU for the group, it is denied. </FONT><BR><FONT 
  size=4></FONT><BR><FONT size=4>-- Hal</FONT><BR><FONT size=4></FONT><BR>
  <UL><FONT size=4>Thanks<BR>Shirley Ma<BR><BR></FONT><IMG height=16 
    alt='Inactive hide details for "Hal Rosenstock" <hal.rosenstock@gmail.com>' 
    src="cid:896424205@26072007-141F" width=16><FONT size=4>"Hal Rosenstock" 
    < </FONT><A href="mailto:hal.rosenstock@gmail.com" target=_blank><U><FONT 
    color=#0000ff size=4>hal.rosenstock@gmail.com</FONT></U></A><FONT 
    size=4>><BR><BR></FONT>
    <TABLE cellSpacing=0 cellPadding=0 width="100%" border=0>
      <TBODY>
      <TR vAlign=top>
        <TD width="54%">
          <UL>
            <UL>
              <UL>
                <UL>
                  <UL>
                    <UL>
                      <UL>
                        <UL><B>"Hal Rosenstock" <</B><A 
                          href="mailto:hal.rosenstock@gmail.com" 
                          target=_blank><B><U><FONT 
                          color=#0000ff>hal.rosenstock@gmail.com</FONT></U></B></A><B>></B> 

                          <P>07/25/07 10:57 AM</P></UL></UL></UL></UL></UL></UL></UL></UL></TD>
        <TD width="46%">
          <TABLE cellSpacing=0 cellPadding=0 width="100%" border=0>
            <TBODY>
            <TR vAlign=top>
              <TD width="22%"><IMG height=1 src="cid:896424205@26072007-1426" 
                width=58>
                <DIV align=right>To</DIV></TD>
              <TD width="78%"><IMG height=1 src="cid:896424205@26072007-1426" 
                width=1><BR>Shirley Ma/Beaverton/IBM@IBMUS</TD></TR>
            <TR vAlign=top>
              <TD width="22%"><IMG height=1 src="cid:896424205@26072007-1426" 
                width=58>
                <DIV align=right>cc</DIV></TD>
              <TD width="78%"><IMG height=1 src="cid:896424205@26072007-1426" 
                width=1><U><FONT color=#0000ff><BR></FONT></U><A 
                href="mailto:general@lists.openfabrics.org" 
                target=_blank><U><FONT 
                color=#0000ff>general@lists.openfabrics.org</FONT></U></A></TD></TR>
            <TR vAlign=top>
              <TD width="22%"><IMG height=1 src="cid:896424205@26072007-1426" 
                width=58>
                <DIV align=right>Subject</DIV></TD>
              <TD width="78%"><IMG height=1 src="cid:896424205@26072007-1426" 
                width=1><BR>Re: openSM: Different IB MTUs</TD></TR></TBODY></TABLE>
          <TABLE cellSpacing=0 cellPadding=0 width="100%" border=0>
            <TBODY>
            <TR vAlign=top>
              <TD width="15%"><IMG height=1 src="cid:896424205@26072007-1426" 
                width=1></TD>
              <TD width="85%"><IMG height=1 src="cid:896424205@26072007-1426" 
                width=1></TD></TR></TBODY></TABLE></TD></TR></TBODY></TABLE><FONT 
    size=5><BR>Shirley,</FONT><FONT size=4><BR></FONT><FONT size=5><BR>On 
    7/25/07, </FONT><B><FONT size=5>Shirley Ma</FONT></B><FONT size=5> 
    <</FONT><A href="mailto:xma@us.ibm.com" target=_blank><U><FONT 
    color=#0000ff size=4> </FONT></U><U><FONT color=#0000ff 
    size=5>xma@us.ibm.com</FONT></U></A><FONT size=5>> wrote: </FONT>
    <UL>
      <UL><FONT size=5>Hello Hal,<BR><BR>How does openSM handle CAs with 
        different MTUs in the same subnet? For example, IPoIB broadcast group 
        MTU, IB multicast group PMTU? Does openSM pick up the smallest MTU in 
        the subnet? </FONT></UL></UL><FONT size=4><BR></FONT><FONT size=5><BR>Are 
    you asking about link MTU, SA PathRecord/MultiPathRecord MTU, SA 
    MCMemberRecord MTU, or all of these ?</FONT><FONT size=4><BR></FONT><FONT 
    size=5><BR>-- Hal </FONT>
    <UL>
      <UL><FONT size=5>Thanks<BR>Shirley 
Ma</FONT></UL></UL><BR></UL><BR></BLOCKQUOTE></BODY></HTML>