<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN">
<HTML><HEAD><TITLE>Multi-port testing with ibv_rdma_bw shows strange results</TITLE>
<META http-equiv=Content-Type content="text/html; charset=us-ascii">
<META content="MSHTML 6.00.2900.3314" name=GENERATOR></HEAD>
<BODY>
<DIV><SPAN class=110264122-22052008><FONT face=Arial color=#0000ff size=2>never 
mind. my use of perfquery to reset counters was not correct. 
</FONT></SPAN></DIV><BR>
<BLOCKQUOTE dir=ltr 
style="PADDING-LEFT: 5px; MARGIN-LEFT: 5px; BORDER-LEFT: #0000ff 2px solid; MARGIN-RIGHT: 0px">
  <DIV class=OutlookMessageHeader lang=en-us dir=ltr align=left>
  <HR tabIndex=-1>
  <FONT face=Tahoma size=2><B>From:</B> general-bounces@lists.openfabrics.org 
  [mailto:general-bounces@lists.openfabrics.org] <B>On Behalf Of </B>Davis, 
  Arlin R<BR><B>Sent:</B> Thursday, May 22, 2008 2:55 PM<BR><B>To:</B> 
  [ofa_general]<BR><B>Subject:</B> [ofa-general] Multi-port testing with 
  ibv_rdma_bw shows strangeresults<BR></FONT><BR></DIV>
  <DIV></DIV><!-- Converted from text/rtf format --><BR>
  <P><FONT face=Arial size=2>I have 2 servers (cst-53, cst-54) connected via one 
  switch using a mlx4 dual port adapter. I did a quick test, using ibv_rdma_bw, 
  across port 1 and then port 2. When running across port 1 the data seems to be 
  split across port 1 and port 2, across port 2 the traffic is all on port 2 as 
  expected. Any ideas? Can I trust perfquery results?</FONT></P>
  <P><FONT face=Arial size=2>Thanks,</FONT> </P>
  <P><FONT face=Arial size=2>-arlin</FONT> </P>
  <P><B><FONT face=Arial color=#0000ff size=2>my configuration (OFED 1.3, 
  RHEL5.1)</FONT></B><FONT face=Arial color=#0000ff size=2>:</FONT><FONT 
  face="Times New Roman"> </FONT><BR><B><FONT face=Arial color=#0000ff 
  size=2>cst-53:</FONT></B><FONT face="Times New Roman"> </FONT><BR><FONT 
  face=Arial color=#0000ff size=2>[root@cst-54 sbin]# ibstat<BR>CA 
  'mlx4_0'<BR>CA type: MT26418<BR>Number of ports: 2<BR>Firmware version: 
  2.4.938<BR>Hardware version: a0<BR>Node GUID: 0x0002c9030000a5b4<BR>System 
  image GUID: 0x0002c9030000a5b7<BR>Port 1:<BR>State: Active<BR>Physical state: 
  LinkUp<BR>Rate: 10<BR>Base lid: 24<BR>LMC: 0<BR>SM lid: 3<BR>Capability mask: 
  0x02510868<BR>Port GUID: 0x0002c9030000a5b5<BR>Port 2:<BR>State: 
  Active<BR>Physical state: LinkUp<BR>Rate: 10<BR>Base lid: 25<BR>LMC: 0<BR>SM 
  lid: 3<BR>Capability mask: 0x02510868<BR>Port GUID: 0x0002c9030000a5b6</FONT> 
  <BR><B><FONT face=Arial color=#0000ff size=2>cst-54:</FONT></B><FONT 
  face=Arial color=#0000ff size=2> </FONT><BR><FONT face=Arial color=#0000ff 
  size=2>[root@cst-53 fw-25408-rel-2_4_938]# ibstat<BR>CA 'mlx4_0'<BR>CA type: 
  MT26418<BR>Number of ports: 2<BR>Firmware version: 2.4.938<BR>Hardware 
  version: a0<BR>Node GUID: 0x0002c9030000a620<BR>System image GUID: 
  0x0002c9030000a623<BR>Port 1:<BR>State: Active<BR>Physical state: 
  LinkUp<BR>Rate: 2<BR>Base lid: 22<BR>LMC: 0<BR>SM lid: 3<BR>Capability mask: 
  0x02510868<BR>Port GUID: 0x0002c9030000a621<BR>Port 2:<BR>State: 
  Active<BR>Physical state: LinkUp<BR>Rate: 10<BR>Base lid: 23<BR>LMC: 0<BR>SM 
  lid: 3<BR>Capability mask: 0x02510868<BR>Port GUID: 0x0002c9030000a622</FONT> 
  <BR><B><FONT face=Arial color=#0000ff size=2>TEST results:</FONT></B><FONT 
  face="Times New Roman"> </FONT><BR><B><FONT face=Arial color=#0000ff 
  size=2>ibv_rdma_bw on port 2 is working fine, all traffic on port 
  2:</FONT></B><FONT face=Arial color=#0000ff size=2>:</FONT><FONT 
  face="Times New Roman"> </FONT><BR><B><FONT face=Arial color=#0000ff 
  size=2>server:</FONT></B><FONT face="Times New Roman"> </FONT><BR><FONT 
  face=Arial color=#0000ff size=2>perfquery -R;/usr/bin/ib_rdma_bw -i 
  2;perfquery 24 1;perfquery 25 2</FONT><FONT face="Times New Roman"> 
  </FONT><BR><FONT face=Arial color=#0000ff size=2>11621: | port=18515 
  |</FONT><B> <FONT face=Arial color=#0000ff size=2>ib_port=2</FONT></B><FONT 
  face=Arial color=#0000ff size=2> | size=65536 | tx_depth=100 | iters=1000 | 
  duplex=0 | cma=0 |<BR>11621: Local address: LID 0x19, QPN 0x16004a, PSN 
  0x42d3c6 RKey 0xc8002401 VAddr 0x002aaaaaf03000<BR>11621: Remote address: LID 
  0x17, QPN 0x16004a, PSN 0x65136b, RKey 0x82002401 VAddr 
  0x002aaaab313000</FONT><FONT face="Times New Roman"> </FONT><BR><FONT 
  face=Arial color=#0000ff size=2># Port counters: Lid 24 port 
  1<BR>PortSelect:......................1<BR>XmtData:.........................0<BR>RcvData:.........................0<BR>XmtPkts:.........................0<BR>RcvPkts:.........................0<BR># 
  Port counters: Lid 25 port 
  2<BR>PortSelect:......................2<BR>XmtData:.........................62946<BR>RcvData:.........................116072668<BR>XmtPkts:.........................7279<BR>RcvPkts:.........................224274</FONT> 
  <BR><B><FONT face=Arial color=#0000ff size=2>client:</FONT></B><FONT 
  face="Times New Roman"> </FONT><BR><FONT face=Arial color=#0000ff 
  size=2>perfquery -R;/usr/bin/ib_rdma_bw -i 2 cst-54;perfquery 22 1;perfquery 
  23 2</FONT> <BR><FONT face=Arial color=#0000ff size=2>9190: | port=18515 
  |</FONT><B> <FONT face=Arial color=#0000ff size=2>ib_port=2</FONT></B><FONT 
  face=Arial color=#0000ff size=2> | size=65536 | tx_depth=100 | iters=1000 | 
  duplex=0 | cma=0 |<BR>9190: Local address: LID 0x17, QPN 0x16004a, PSN 
  0x65136b RKey 0x82002401 VAddr 0x002aaaab313000<BR>9190: Remote address: LID 
  0x19, QPN 0x16004a, PSN 0x42d3c6, RKey 0xc8002401 VAddr 
  0x002aaaaaf03000</FONT><FONT face="Times New Roman"> </FONT><BR><FONT 
  face=Arial color=#0000ff size=2>9190: Bandwidth peak (#0 to #983): 937.621 
  MB/sec<BR>9190: Bandwidth average: 937.614 MB/sec<BR>9190: Service Demand peak 
  (#0 to #983): 2077 cycles/KB<BR>9190: Service Demand Avg : 2077 cycles/KB<BR># 
  Port counters: Lid 22 port 
  1<BR>XmtData:.........................0<BR>RcvData:.........................0<BR>XmtPkts:.........................0<BR>RcvPkts:.........................0<BR># 
  Port counters: Lid 23 port 
  2<BR>XmtData:.........................116075478<BR>RcvData:.........................66442<BR>XmtPkts:.........................224298<BR>RcvPkts:.........................7318</FONT> 
  <BR><B><FONT face=Arial color=#0000ff size=2>port 1 with strange results - 
  traffic split between port 1 and 2</FONT></B><FONT face=Arial color=#0000ff 
  size=2>: </FONT><BR><B><FONT face=Arial color=#0000ff 
  size=2>client:</FONT></B><FONT face=Arial color=#0000ff size=2> 
  </FONT><BR><FONT face=Arial color=#0000ff size=2>[root@cst-53 
  fw-25408-rel-2_4_938]# perfquery -R;/usr/bin/ib_rdma_bw -i 1 cst-54;perfquery 
  22 1;perfquery 23 2 </FONT><BR><FONT face=Arial color=#0000ff size=2>9144: | 
  port=18515 |</FONT><B> <FONT face=Arial color=#0000ff 
  size=2>ib_port=1</FONT></B><FONT face=Arial color=#0000ff size=2> | size=65536 
  | tx_depth=100 | iters=1000 | duplex=0 | cma=0 |<BR>9144: Local address: LID 
  0x16, QPN 0x10004a, PSN 0xd125be RKey 0x34002401 VAddr 
  0x002aaaab313000<BR>9144: Remote address: LID 0x18, QPN 0x10004a, PSN 
  0x5cb52c, RKey 0x7a002401 VAddr 0x002aaaaaf03000 </FONT><BR><BR><FONT 
  face=Arial color=#0000ff size=2>9144: Bandwidth peak (#0 to #978): 234.634 
  MB/sec<BR>9144: Bandwidth average: 234.634 MB/sec<BR>9144: Service Demand peak 
  (#0 to #978): 8303 cycles/KB<BR>9144: Service Demand Avg : 8303 
  cycles/KB</FONT> <BR><FONT face=Arial color=#0000ff size=2># Port counters: 
  Lid 22 port 
  1<BR>XmtData:.........................16580072<BR>RcvData:.........................7072<BR>XmtPkts:.........................32001<BR>RcvPkts:.........................1001<BR># 
  Port counters: Lid 23 port 
  2<BR>XmtData:.........................82915046<BR>RcvData:.........................51692<BR>XmtPkts:.........................160292<BR>RcvPkts:.........................5308</FONT> 
  <BR><B><FONT face=Arial color=#0000ff size=2>server:</FONT></B><FONT 
  face=Arial color=#0000ff size=2> </FONT><BR><FONT face=Arial color=#0000ff 
  size=2>[root@cst-54 sbin]# perfquery -R;/usr/bin/ib_rdma_bw -i 1 ;perfquery 24 
  1;perfquery 25 2<BR>11586: | port=18515 |</FONT><B> <FONT face=Arial 
  color=#0000ff size=2>ib_port=1</FONT></B><FONT face=Arial color=#0000ff 
  size=2> | size=65536 | tx_depth=100 | iters=1000 | duplex=0 | cma=0 
  |<BR>11586: Local address: LID 0x18, QPN 0x14004a, PSN 0x5e8160 RKey 
  0xae002401 VAddr 0x002aaaaaf03000<BR>11586: Remote address: LID 0x16, QPN 
  0x14004a, PSN 0xf0dd70, RKey 0x68002401 VAddr 0x002aaaab313000 
  </FONT><BR><FONT face=Arial color=#0000ff size=2># Port counters: Lid 24 port 
  1<BR>XmtData:.........................7000<BR>RcvData:.........................16580000<BR>XmtPkts:.........................1000<BR>RcvPkts:.........................32000<BR># 
  Port counters: Lid 25 port 
  2<BR>XmtData:.........................55802<BR>RcvData:.........................99492206<BR>XmtPkts:.........................6277<BR>RcvPkts:.........................192268</FONT> 
  <BR><B><FONT face=Arial color=#0000ff size=2>ibtracert:</FONT></B><FONT 
  face=Arial color=#0000ff size=2> </FONT><BR><B><FONT face=Arial color=#0000ff 
  size=2>cst-53 port 1 to cst-54 port 1</FONT></B><FONT face=Arial color=#0000ff 
  size=2> </FONT><BR><FONT face=Arial color=#0000ff size=2>[root@cst-54 sbin]# 
  ibtracert 22 24<BR>>From ca {0x0002c9030000a620} portnum 1 lid 22-22 
  "cst-53 HCA-1"<BR>[1] -> switch port {0x000b8cffff004046}[2] lid 2-2 
  "MT47396 Infiniscale-III Mellanox Technologies"<BR>[4] -> ca port 
  {0x0002c9030000a5b5}[1] lid 24-24 "cst-54 HCA-1"<BR>To ca {0x0002c9030000a5b4} 
  portnum 1 lid 24-24 "cst-54 HCA-1"</FONT> <BR><B><FONT face=Arial 
  color=#0000ff size=2>cst-53 port 2 to cst-54 port 2</FONT></B><FONT face=Arial 
  color=#0000ff size=2> </FONT><BR><FONT face=Arial color=#0000ff 
  size=2>[root@cst-54 sbin]# ibtracert 23 25<BR>>From ca {0x0002c9030000a620} 
  portnum 2 lid 23-23 "cst-53 HCA-1"<BR>[2] -> switch port 
  {0x000b8cffff004046}[3] lid 2-2 "MT47396 Infiniscale-III Mellanox 
  Technologies"<BR>[1] -> ca port {0x0002c9030000a5b6}[2] lid 25-25 "cst-54 
  HCA-1"<BR>To ca {0x0002c9030000a5b4} portnum 2 lid 25-25 "cst-54 
  HCA-1"<BR></FONT><BR><FONT face=Arial size=2> </FONT> 
</P></BLOCKQUOTE></BODY></HTML>