<html xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<meta name="Title" content="">
<meta name="Keywords" content="">
<meta name="Generator" content="Microsoft Word 15 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
        {font-family:"Courier New";
        panose-1:2 7 3 9 2 2 5 2 4 4;}
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0cm;
        margin-bottom:.0001pt;
        font-size:12.0pt;
        font-family:Calibri;
        mso-fareast-language:EN-US;}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:#0563C1;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:#954F72;
        text-decoration:underline;}
p.MsoPlainText, li.MsoPlainText, div.MsoPlainText
        {mso-style-priority:99;
        mso-style-link:"Plain Text Char";
        margin:0cm;
        margin-bottom:.0001pt;
        font-size:14.0pt;
        font-family:Calibri;}
span.EmailStyle17
        {mso-style-type:personal;
        font-family:Calibri;
        color:windowtext;}
span.PlainTextChar
        {mso-style-name:"Plain Text Char";
        mso-style-priority:99;
        mso-style-link:"Plain Text";
        font-family:Calibri;
        mso-fareast-language:EN-GB;}
span.msoIns
        {mso-style-type:export-only;
        mso-style-name:"";
        text-decoration:underline;
        color:teal;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-family:Calibri;
        mso-fareast-language:EN-US;}
@page WordSection1
        {size:595.0pt 842.0pt;
        margin:72.0pt 72.0pt 72.0pt 72.0pt;}
div.WordSection1
        {page:WordSection1;}
--></style>
</head>
<body bgcolor="white" lang="EN-GB" link="#0563C1" vlink="#954F72">
<div class="WordSection1">
<p class="MsoPlainText"><span style="font-family:"Courier New"">I’m slightly troubled by the results I’ve got on 3 machines, the verbs provider seems to work, though the number of not-run tests is disturbing. The gni provider seems terrible, but when I run
 fi_pingpong from the libfabric build (not one the fabtests), I can get it working on gni, but not with verbs.<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New""><o:p> </o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">Oddly the mem reg test on gni fails flat out (when run by hand on a compute node)<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New""><o:p> </o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">/users/biddisco/apps/fabtests/bin/fi_mr_test<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">Testing MR on fabric gni<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">Running mr_reg [Test fi_mr_reg for various buffer sizes]...FAIL: fi_mr_reg failed: ret=12 (Cannot allocate memory)<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">Running mr_regv [Test fi_mr_regv]...FAIL: fi_mr_regv failed: ret=12 (Cannot allocate memory)<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">Running mr_regattr [Test fi_mr_regattr]...FAIL: fi_mr_regattr failed: ret=22 (Invalid argument)<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">Summary: 3 tests failed<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New""><o:p> </o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">I’ve no idea how the fi_pingpong test manages to work (see end of email for putput) in light of that fail (I presume it uses the mem reg)<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New""><o:p> </o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">I was hoping that I’d find at least one test that worked on all 3 machines so that I’d have confidence that I could use it as a template to work from. It seems not to be so easy.<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New""><o:p> </o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">Can anyone shed light on these results and possibly give advice on how to improve the gni behaviour?
<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">NB. if I enable extra output using –vvv, the basic problem with gni seems to be every fails happens due to
<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">    fi_getinfo(): common/shared.c:454, ret=-61 (No data available)
<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">or<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">    fi_mr_reg(): util/pingpong.c:1317, ret=-12 (Cannot allocate memory)<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New""><o:p> </o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">NB2. I tried the gni tests with nid00411 type names instead of ip addresses just in case, but it did not help.<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New""><o:p> </o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">Thanks<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New""><o:p> </o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">JB<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New""><o:p> </o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">In each case I’ve allocated a couple of nodes and found the correct ip addresses for the fabric)<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New""><o:p> </o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New""># --------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">Generic cluster with infiniband support<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New""># --------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New""><o:p> </o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">$HOME/apps/fabtests/bin/runfabtests.sh -p $HOME/apps/fabtests/bin verbs 192.168.3.36 192.168.3.38<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New""><o:p> </o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New""># Test                                                  Result<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New""># --------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_getinfo_test -p verbs:                               Pass<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_av_test -g 192.168.10.1 -n 1 -s 192.168.3.36 -p verbs:      Pass<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_dom_test -n 2 -p verbs:                              Pass<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_eq_test -p verbs:                                    Pass<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_cq_test -p verbs:                                    Pass<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_mr_test -p verbs:                                    Pass<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_size_left_test -p verbs:                             Pass<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_dgram g00n13s -p verbs:                              Pass<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rdm g00n13s -p verbs:                                Pass<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_msg g00n13s -p verbs:                                Pass<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_cm_data -p verbs:                                    Pass<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_cq_data -p verbs:                                    Pass<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_dgram -p verbs:                                    Notrun<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_dgram_waitset -p verbs:                            Notrun<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_msg -p verbs:                                        Pass<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_msg_epoll -p verbs:                                  Pass<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_msg_sockets -p verbs:                                Pass<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_poll -t queue -p verbs:                            Notrun<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_poll -t counter -p verbs:                          Notrun<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rdm -p verbs:                                        Pass<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rdm_rma_simple -p verbs:                           Notrun<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rdm_rma_trigger -p verbs:                          Notrun<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_shared_ctx -p verbs:                               Notrun<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_shared_ctx --no-tx-shared-ctx -p verbs:            Notrun<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_shared_ctx --no-rx-shared-ctx -p verbs:            Notrun<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_shared_ctx -e msg -p verbs:                        Notrun<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_shared_ctx -e msg --no-tx-shared-ctx -p verbs:       Pass<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_shared_ctx -e msg --no-rx-shared-ctx -p verbs:     Notrun<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_shared_ctx -e dgram -p verbs:                      Notrun<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_shared_ctx -e dgram --no-tx-shared-ctx -p verbs:    Notrun<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_shared_ctx -e dgram --no-rx-shared-ctx -p verbs:    Notrun<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rdm_tagged_peek -p verbs:                            Pass<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_scalable_ep -p verbs:                              Notrun<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_cmatose -p verbs:                                    Pass<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rdm_shared_av -p verbs:                            Notrun<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_msg_pingpong -I 5 -p verbs:                          Pass<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_msg_bw -I 5 -p verbs:                              Notrun<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rma_bw -e msg -o write -I 5 -p verbs:              Notrun<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rma_bw -e msg -o read -I 5 -p verbs:               Notrun<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rma_bw -e msg -o writedata -I 5 -p verbs:          Notrun<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rma_bw -e rdm -o write -I 5 -p verbs:              Notrun<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rma_bw -e rdm -o read -I 5 -p verbs:               Notrun<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rma_bw -e rdm -o writedata -I 5 -p verbs:          Notrun<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_msg_rma -o write -I 5 -p verbs:                      Pass<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_msg_rma -o read -I 5 -p verbs:                       Pass<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_msg_rma -o writedata -I 5 -p verbs:                  Pass<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_msg_stream -I 5 -p verbs:                            Pass<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rdm_atomic -I 5 -o all -p verbs:                   Notrun<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rdm_cntr_pingpong -I 5 -p verbs:                   Notrun<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rdm_multi_recv -I 5 -p verbs:                        Pass<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rdm_pingpong -I 5 -p verbs:                          Pass<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rdm_rma -o write -I 5 -p verbs:                    Notrun<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rdm_rma -o read -I 5 -p verbs:                     Notrun<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rdm_rma -o writedata -I 5 -p verbs:                Notrun<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rdm_tagged_pingpong -I 5 -p verbs:                   Pass<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rdm_tagged_bw -I 5 -p verbs:                         Pass<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_dgram_pingpong -I 5 -p verbs:                      Notrun<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rc_pingpong -n 5 -p verbs:                           Pass<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rc_pingpong -n 5 -e -p verbs:                        Pass<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New""># --------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New""># Total Pass                                                30<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New""># Total Notrun                                              29<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New""># Total Fail                                                 0<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New""># Percentage of Pass                                       100<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New""># --------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New""><o:p> </o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New""># --------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">cray xc40 with gni<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New""># --------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">$HOME/apps/fabtests/bin/runfabtests.sh -p $HOME/apps/fabtests/bin gni 148.187.33.168 148.187.33.172<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New""><o:p> </o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New""># Test                                                  Result<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New""># --------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_getinfo_test -p gni:                                 Pass<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_av_test -g 192.168.10.1 -n 1 -s 148.187.33.168 -p gni:      Pass<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_dom_test -n 2 -p gni:                                Pass<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_eq_test -p gni:                                      Pass<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_cq_test -p gni:                                      Pass<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_mr_test -p gni:                                      Fail<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_size_left_test -p gni:                               Fail<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_dgram g00n13s -p gni:                                Pass<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rdm g00n13s -p gni:                                  Pass<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_msg g00n13s -p gni:                                  Pass<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_cm_data -p gni:                                      Fail<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_cq_data -p gni:                                      Fail<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_dgram -p gni:                                        Fail<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_dgram_waitset -p gni:                                Fail<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_msg -p gni:                                          Fail<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_msg_epoll -p gni:                                    Fail<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_msg_sockets -p gni:                                  Fail<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_poll -t queue -p gni:                                Fail<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_poll -t counter -p gni:                              Fail<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rdm -p gni:                                          Fail<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rdm_rma_simple -p gni:                             Notrun<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rdm_rma_trigger -p gni:                            Notrun<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_shared_ctx -p gni:                                 Notrun<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_shared_ctx --no-tx-shared-ctx -p gni:              Notrun<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_shared_ctx --no-rx-shared-ctx -p gni:                Fail<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_shared_ctx -e msg -p gni:                          Notrun<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_shared_ctx -e msg --no-tx-shared-ctx -p gni:       Notrun<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_shared_ctx -e msg --no-rx-shared-ctx -p gni:         Fail<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_shared_ctx -e dgram -p gni:                        Notrun<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_shared_ctx -e dgram --no-tx-shared-ctx -p gni:     Notrun<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_shared_ctx -e dgram --no-rx-shared-ctx -p gni:       Fail<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rdm_tagged_peek -p gni:                              Fail<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_scalable_ep -p gni:                                  Fail<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_cmatose -p gni:                                      Fail<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rdm_shared_av -p gni:                                Fail<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_msg_pingpong -I 5 -p gni:                            Fail<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_msg_bw -I 5 -p gni:                                  Fail<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rma_bw -e msg -o write -I 5 -p gni:                  Fail<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rma_bw -e msg -o read -I 5 -p gni:                   Fail<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rma_bw -e msg -o writedata -I 5 -p gni:              Fail<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rma_bw -e rdm -o write -I 5 -p gni:                  Fail<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rma_bw -e rdm -o read -I 5 -p gni:                   Fail<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rma_bw -e rdm -o writedata -I 5 -p gni:              Fail<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_msg_rma -o write -I 5 -p gni:                        Fail<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_msg_rma -o read -I 5 -p gni:                         Fail<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_msg_rma -o writedata -I 5 -p gni:                    Fail<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_msg_stream -I 5 -p gni:                              Fail<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rdm_atomic -I 5 -o all -p gni:                       Fail<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rdm_cntr_pingpong -I 5 -p gni:                       Fail<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rdm_multi_recv -I 5 -p gni:                          Fail<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rdm_pingpong -I 5 -p gni:                            Fail<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rdm_rma -o write -I 5 -p gni:                        Fail<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rdm_rma -o read -I 5 -p gni:                         Fail<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rdm_rma -o writedata -I 5 -p gni:                    Fail<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rdm_tagged_pingpong -I 5 -p gni:                     Fail<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rdm_tagged_bw -I 5 -p gni:                           Fail<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_dgram_pingpong -I 5 -p gni:                          Fail<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rc_pingpong -n 5 -p gni:                             Fail<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rc_pingpong -n 5 -e -p gni:                          Fail<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New""># --------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New""># Total Pass                                                 8<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New""># Total Notrun                                               8<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New""># Total Fail                                                43<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New""># Percentage of Pass                                        15<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New""># --------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New""><o:p> </o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New""># --------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">cray with omnipath and verbs<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New""># --------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New""><o:p> </o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">$HOME/apps/fabtests/bin/runfabtests.sh -p $HOME/apps/fabtests/bin verbs 192.168.18.65 192.168.18.66<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New""><o:p> </o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New""># Test                                                  Result<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New""># --------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_getinfo_test -p verbs:                               Pass<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_av_test -g 192.168.10.1 -n 1 -s 192.168.18.65 -p verbs:      Pass<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_dom_test -n 2 -p verbs:                              Pass<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_eq_test -p verbs:                                    Pass<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_cq_test -p verbs:                                    Pass<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_mr_test -p verbs:                                    Pass<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_size_left_test -p verbs:                             Pass<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_dgram g00n13s -p verbs:                              Pass<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rdm g00n13s -p verbs:                                Pass<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_msg g00n13s -p verbs:                                Pass<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_cm_data -p verbs:                                    Pass<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_cq_data -p verbs:                                    Pass<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_dgram -p verbs:                                    Notrun<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_dgram_waitset -p verbs:                            Notrun<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_msg -p verbs:                                        Pass<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_msg_epoll -p verbs:                                  Pass<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_msg_sockets -p verbs:                                Pass<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_poll -t queue -p verbs:                            Notrun<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_poll -t counter -p verbs:                          Notrun<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rdm -p verbs:                                        Pass<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rdm_rma_simple -p verbs:                           Notrun<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rdm_rma_trigger -p verbs:                          Notrun<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_shared_ctx -p verbs:                               Notrun<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_shared_ctx --no-tx-shared-ctx -p verbs:            Notrun<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_shared_ctx --no-rx-shared-ctx -p verbs:            Notrun<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_shared_ctx -e msg -p verbs:                        Notrun<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_shared_ctx -e msg --no-tx-shared-ctx -p verbs:       Pass<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_shared_ctx -e msg --no-rx-shared-ctx -p verbs:     Notrun<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_shared_ctx -e dgram -p verbs:                      Notrun<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_shared_ctx -e dgram --no-tx-shared-ctx -p verbs:    Notrun<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_shared_ctx -e dgram --no-rx-shared-ctx -p verbs:    Notrun<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rdm_tagged_peek -p verbs:                            Pass<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_scalable_ep -p verbs:                              Notrun<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_cmatose -p verbs:                                    Pass<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rdm_shared_av -p verbs:                            Notrun<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_msg_pingpong -I 5 -p verbs:                          Pass<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_msg_bw -I 5 -p verbs:                              Notrun<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rma_bw -e msg -o write -I 5 -p verbs:              Notrun<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rma_bw -e msg -o read -I 5 -p verbs:               Notrun<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rma_bw -e msg -o writedata -I 5 -p verbs:          Notrun<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rma_bw -e rdm -o write -I 5 -p verbs:              Notrun<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rma_bw -e rdm -o read -I 5 -p verbs:               Notrun<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rma_bw -e rdm -o writedata -I 5 -p verbs:          Notrun<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_msg_rma -o write -I 5 -p verbs:                      Pass<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_msg_rma -o read -I 5 -p verbs:                       Pass<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_msg_rma -o writedata -I 5 -p verbs:                  Pass<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_msg_stream -I 5 -p verbs:                            Pass<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rdm_atomic -I 5 -o all -p verbs:                   Notrun<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rdm_cntr_pingpong -I 5 -p verbs:                   Notrun<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rdm_multi_recv -I 5 -p verbs:                        Pass<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rdm_pingpong -I 5 -p verbs:                          Pass<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rdm_rma -o write -I 5 -p verbs:                    Notrun<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rdm_rma -o read -I 5 -p verbs:                     Notrun<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rdm_rma -o writedata -I 5 -p verbs:                Notrun<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rdm_tagged_pingpong -I 5 -p verbs:                   Pass<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rdm_tagged_bw -I 5 -p verbs:                         Pass<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_dgram_pingpong -I 5 -p verbs:                      Notrun<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rc_pingpong -n 5 -p verbs:                           Pass<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">fi_rc_pingpong -n 5 -e -p verbs:                        Pass<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New""># --------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New""># Total Pass                                                30<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New""># Total Notrun                                              29<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New""># Total Fail                                                 0<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New""># Percentage of Pass                                       100<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New""># --------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New""><o:p> </o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New""># --------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New""># ping pong test from libfabric on gni<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New""># --------------------------------------------------------------<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New""><o:p> </o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">./frun.sh /users/biddisco/apps/libfabric/bin/fi_pingpong<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">running /users/biddisco/apps/libfabric/bin/fi_pingpong on nid00[421,425]<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">nid00421 is 148.187.33.168<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">Generated command is  srun -n 2 --ntasks-per-node=1 -l --multi-prog ./scalable.conf<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">0 /users/biddisco/apps/libfabric/bin/fi_pingpong -p gni<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">1 /users/biddisco/apps/libfabric/bin/fi_pingpong -p gni nid00421<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New""><o:p> </o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">1: bytes   #sent   #ack     total       time     MB/sec    usec/xfer   Mxfers/sec<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">1: 64      10k     =10k     1.2m        0.05s     25.52       2.51       0.40<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">1: 256     10k     =10k     4.8m        0.06s     85.54       2.99       0.33<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">1: 1k      10k     =10k     19m         0.05s    454.41       2.25       0.44<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">1: 4k      10k     =10k     78m         0.07s   1254.25       3.27       0.31<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">1: 64k     1k      =1k      125m        0.04s   3304.97      19.83       0.05<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">1: 1m      100     =100     200m        0.05s   4422.23     237.12       0.00<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">0: bytes   #sent   #ack     total       time     MB/sec    usec/xfer   Mxfers/sec<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">0: 64      10k     =10k     1.2m        0.05s     25.52       2.51       0.40<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">0: 256     10k     =10k     4.8m        0.06s     85.53       2.99       0.33<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">0: 1k      10k     =10k     19m         0.05s    454.35       2.25       0.44<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">0: 4k      10k     =10k     78m         0.07s   1254.17       3.27       0.31<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">0: 64k     1k      =1k      125m        0.04s   3304.56      19.83       0.05<o:p></o:p></span></p>
<p class="MsoPlainText"><span style="font-family:"Courier New"">0: 1m      100     =100     200m        0.05s   4421.01     237.18       0.00<o:p></o:p></span></p>
</div>
</body>
</html>