<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<meta name="Generator" content="Microsoft Word 15 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
{font-family:"Cambria Math";
panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
{font-family:Calibri;
panose-1:2 15 5 2 2 2 4 3 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
{margin:0in;
margin-bottom:.0001pt;
font-size:12.0pt;
font-family:"Times New Roman","serif";}
a:link, span.MsoHyperlink
{mso-style-priority:99;
color:blue;
text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
{mso-style-priority:99;
color:purple;
text-decoration:underline;}
span.hoenzb
{mso-style-name:hoenzb;}
span.EmailStyle18
{mso-style-type:personal-reply;
font-family:"Calibri","sans-serif";
color:#1F497D;}
.MsoChpDefault
{mso-style-type:export-only;
font-family:"Calibri","sans-serif";}
@page WordSection1
{size:8.5in 11.0in;
margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
{page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
</head>
<body lang="EN-US" link="blue" vlink="purple">
<div class="WordSection1">
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D">Hi,<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D">I sent in the past an explanation to this list and I am going to repeat it.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D">The number reported for max_qp_wr is the maximum value the HCA supports. But it is not guaranteed that this maximum is supported for any configuration of a
QP. For example, the number of send SGEs and the transport service can affect this max value.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D">From the spec:<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D"><o:p> </o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><b><span style="font-size:11.0pt;font-family:"Arial","sans-serif"">11.2.1.2 Q</span></b><b><span style="font-size:9.0pt;font-family:"Arial","sans-serif"">UERY
</span></b><b><span style="font-size:11.0pt;font-family:"Arial","sans-serif"">HCA<o:p></o:p></span></b></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-size:11.0pt;font-family:"Arial","sans-serif"">Description:<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-size:11.0pt;font-family:"Arial","sans-serif"">Returns the attributes for the specified HCA.<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-size:11.0pt;font-family:"Arial","sans-serif"">The maximum values defined in this section are guaranteed not-to-exceed<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-size:11.0pt;font-family:"Arial","sans-serif"">values. It is possible for an implementation to allocate some HCA<o:p></o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span style="font-size:11.0pt;font-family:"Arial","sans-serif"">resources from the same space. In that case, the maximum values returned<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Arial","sans-serif"">are not guaranteed for all of those resources simultaneously</span><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D"><o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D">Mlx5 supported devices work as described above. Mlx4 supported devices has some flexibility allowing it to user larger work queues so this is why you can define
16K WRs for mlx4 and for mlx5 you can do only 8K (in your specific case).<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D"><o:p> </o:p></span></p>
<p class="MsoNormal"><b><span style="font-size:11.0pt;font-family:"Calibri","sans-serif"">From:</span></b><span style="font-size:11.0pt;font-family:"Calibri","sans-serif""> Hal Rosenstock [mailto:hal.rosenstock@gmail.com]
<br>
<b>Sent:</b> Wednesday, September 09, 2015 12:01 PM<br>
<b>To:</b> Amir Shehata<br>
<b>Cc:</b> users@lists.openfabrics.org; Eli Cohen<br>
<b>Subject:</b> Re: [Users] LNet and MLX5<o:p></o:p></span></p>
<p class="MsoNormal"><o:p> </o:p></p>
<div>
<div>
<p class="MsoNormal">Hi Amir,<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> <o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">I'm adding Eli Cohen to this thread. He has a patch for this which may still apply.<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> <o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">-- Hal<o:p></o:p></p>
</div>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
<div>
<p class="MsoNormal">On Tue, Sep 8, 2015 at 7:09 PM, Amir Shehata <<a href="mailto:amir.shehata.whamcloud@gmail.com" target="_blank">amir.shehata.whamcloud@gmail.com</a>> wrote:<o:p></o:p></p>
<blockquote style="border:none;border-left:solid #CCCCCC 1.0pt;padding:0in 0in 0in 6.0pt;margin-left:4.8pt;margin-right:0in">
<div>
<p class="MsoNormal">Hello all,<o:p></o:p></p>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">Running Lustre with MLX5<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">We were trying to increase O2IBLND's peer_credits to 32 on MLX5. Here is the problematic code:<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<div>
<p class="MsoNormal"> init_qp_attr->event_handler = kiblnd_qp_event;<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> init_qp_attr->qp_context = conn;<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> init_qp_attr->cap.max_send_wr = IBLND_SEND_WRS(version);<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> init_qp_attr->cap.max_recv_wr = IBLND_RECV_WRS(version);<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> init_qp_attr->cap.max_send_sge = 1;<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> init_qp_attr->cap.max_recv_sge = 1;<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> init_qp_attr->sq_sig_type = IB_SIGNAL_REQ_WR;<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> init_qp_attr->qp_type = IB_QPT_RC;<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> init_qp_attr->send_cq = cq;<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> init_qp_attr->recv_cq = cq;<o:p></o:p></p>
</div>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal"> rc = rdma_create_qp(cmid, conn->ibc_hdev->ibh_pd, init_qp_attr);<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<div>
<p class="MsoNormal">#define IBLND_SEND_WRS(v) ((IBLND_RDMA_FRAGS(v) + 1) * IBLND_CONCURRENT_SENDS(v))<o:p></o:p></p>
</div>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<div>
<p class="MsoNormal">#define IBLND_RDMA_FRAGS(v) ((v) == IBLND_MSG_VERSION_1 ? \<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> IBLND_MAX_RDMA_FRAGS : IBLND_CFG_RDMA_FRAGS)<o:p></o:p></p>
</div>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<div>
<p class="MsoNormal">#define IBLND_CFG_RDMA_FRAGS (*kiblnd_tunables.kib_map_on_demand != 0 ? \<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> *kiblnd_tunables.kib_map_on_demand : \<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> IBLND_MAX_RDMA_FRAGS) /* max # of fragments configured by user */<o:p></o:p></p>
</div>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<div>
<p class="MsoNormal">#define IBLND_MAX_RDMA_FRAGS LNET_MAX_IOV /* max # of fragments supported */<o:p></o:p></p>
</div>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<div>
<p class="MsoNormal">/** limit on the number of fragments in discontiguous MDs */<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">#define LNET_MAX_IOV 256<o:p></o:p></p>
</div>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">Basically, when setting peer_credits to 32 then<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">init_qp_attr->cap.max_send_wr = 8224<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<div>
<p class="MsoNormal">[root@wt-2-00 ~]# ibv_devinfo -v | grep max_qp_wr<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> max_qp_wr: 16384<o:p></o:p></p>
</div>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">API returns -12 (out of memory)<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">peer_credits 16 == 4112 seems to work.<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">We're running on MOFED 3.0<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">Is there any limitation that we're hitting on the MLX side? As far as I know MLX4 works with peer_credits set to 32.<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">Full device info:<o:p></o:p></p>
<div>
<p class="MsoNormal">[wt2user1@wildcat2 ~]$ ibv_devinfo -v<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">hca_id: mlx5_0<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> transport: InfiniBand (0)<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> fw_ver: 12.100.6440<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> node_guid: e41d:2d03:0060:7652<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> sys_image_guid: e41d:2d03:0060:7652<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> vendor_id: 0x02c9<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> vendor_part_id: 4115<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> hw_ver: 0x0<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> board_id: MT_2180110032<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> phys_port_cnt: 1<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> max_mr_size: 0xffffffffffffffff<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> page_size_cap: 0xfffff000<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> max_qp: 262144<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> max_qp_wr: 16384<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> device_cap_flags: 0x40509c36<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> BAD_PKEY_CNTR<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> BAD_QKEY_CNTR<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> AUTO_PATH_MIG<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> CHANGE_PHY_PORT<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> PORT_ACTIVE_EVENT<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> SYS_IMAGE_GUID<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> RC_RNR_NAK_GEN<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> XRC<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> Unknown flags: 0x40408000<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> device_cap_exp_flags: 0x5020007100000000<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> EXP_DC_TRANSPORT<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> EXP_MEM_MGT_EXTENSIONS<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> EXP_CROSS_CHANNEL<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> EXP_MR_ALLOCATE<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> EXT_ATOMICS<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> EXT_SEND NOP<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> EXP_UMR<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> max_sge: 30<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> max_sge_rd: 0<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> max_cq: 16777216<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> max_cqe: 4194303<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> max_mr: 16777216<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> max_pd: 16777216<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> max_qp_rd_atom: 16<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> max_ee_rd_atom: 0<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> max_res_rd_atom: 4194304<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> max_qp_init_rd_atom: 16<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> max_ee_init_rd_atom: 0<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> atomic_cap: ATOMIC_HCA_REPLY_BE (64)<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> log atomic arg sizes (mask) 3c<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> max fetch and add bit boundary 64<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> log max atomic inline 5<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> max_ee: 0<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> max_rdd: 0<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> max_mw: 0<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> max_raw_ipv6_qp: 0<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> max_raw_ethy_qp: 0<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> max_mcast_grp: 2097152<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> max_mcast_qp_attach: 48<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> max_total_mcast_qp_attach: 100663296<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> max_ah: <a href="tel:2147483647" target="_blank">
2147483647</a><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> max_fmr: 0<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> max_srq: 8388608<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> max_srq_wr: 16383<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> max_srq_sge: 31<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> max_pkeys: 128<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> local_ca_ack_delay: 16<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> hca_core_clock: 0<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> max_klm_list_size: 65536<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> max_send_wqe_inline_klms: 20<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> max_umr_recursion_depth: 4<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> max_umr_stride_dimension: 1<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> general_odp_caps:<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> rc_odp_caps:<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> NO SUPPORT<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> uc_odp_caps:<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> NO SUPPORT<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> ud_odp_caps:<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> NO SUPPORT<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> dc_odp_caps:<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> NO SUPPORT<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> xrc_odp_caps:<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> NO SUPPORT<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> raw_eth_odp_caps:<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> NO SUPPORT<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> max_dct: 262144<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> port: 1<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> state: PORT_ACTIVE (4)<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> max_mtu: 4096 (5)<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> active_mtu: 4096 (5)<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> sm_lid: 19<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> port_lid: 1<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> port_lmc: 0x00<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> link_layer: InfiniBand<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> max_msg_sz: 0x40000000<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> port_cap_flags: 0x2651e848<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> max_vl_num: 4 (3)<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> bad_pkey_cntr: 0x0<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> qkey_viol_cntr: 0x0<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> sm_sl: 0<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> pkey_tbl_len: 128<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> gid_tbl_len: 8<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> subnet_timeout: 18<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> init_type_reply: 0<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> active_width: 4X (2)<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> active_speed: 25.0 Gbps (32)<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> phys_state: LINK_UP (5)<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> GID[ 0]: fe80:0000:0000:0000:e41d:2d03:0060:7652<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">thanks<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><span style="color:#888888">amir<o:p></o:p></span></p>
</div>
</div>
<p class="MsoNormal" style="margin-bottom:12.0pt"><br>
_______________________________________________<br>
Users mailing list<br>
<a href="mailto:Users@lists.openfabrics.org">Users@lists.openfabrics.org</a><br>
<a href="http://lists.openfabrics.org/mailman/listinfo/users" target="_blank">http://lists.openfabrics.org/mailman/listinfo/users</a><o:p></o:p></p>
</blockquote>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
</div>
</body>
</html>