<div dir="ltr">I have supplied a patch for Michael to try and will submit it to rdma-core once tested...</div><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Oct 24, 2017 at 4:38 PM, Weiny, Ira <span dir="ltr"><<a href="mailto:ira.weiny@intel.com" target="_blank">ira.weiny@intel.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">





<div lang="EN-US" vlink="purple" link="blue">
<div class="m_-6168092222536170485WordSection1">
<p class="MsoNormal"><span style="color:rgb(31,73,125);font-family:"Calibri",sans-serif;font-size:11pt">We probably need to fall back to an AF_INET check.  I did not realize that disabling ipv6 would cause this to fail because AF_INET6 usually “covers” AF_INET. 
 My guess here is that if you excluded IPv6 support from the kernel that would explain the failure.<u></u><u></u></span></p>
<p class="MsoNormal"><span style="color:rgb(31,73,125);font-family:"Calibri",sans-serif;font-size:11pt"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="color:rgb(31,73,125);font-family:"Calibri",sans-serif;font-size:11pt">Perhaps you could try a patch which falls back to AF_INET?<u></u><u></u></span></p>
<p class="MsoNormal"><span style="color:rgb(31,73,125);font-family:"Calibri",sans-serif;font-size:11pt"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="color:rgb(31,73,125);font-family:"Calibri",sans-serif;font-size:11pt">Ira<u></u><u></u></span></p>
<p class="MsoNormal"><a name="m_-6168092222536170485__MailEndCompose"><span style="color:rgb(31,73,125);font-family:"Calibri",sans-serif;font-size:11pt"><u></u> <u></u></span></a></p>
<div style="border-width:medium medium medium 1.5pt;border-style:none none none solid;border-color:currentColor currentColor currentColor blue;padding:0in 0in 0in 4pt">
<div>
<div style="border-width:1pt medium medium;border-style:solid none none;border-color:rgb(225,225,225) currentColor currentColor;padding:3pt 0in 0in">
<p class="MsoNormal"><a name="m_-6168092222536170485______replyseparator"></a><b><span style="font-family:"Calibri",sans-serif;font-size:11pt">From:</span></b><span style="font-family:"Calibri",sans-serif;font-size:11pt"> Users [mailto:<a href="mailto:users-bounces@lists.openfabrics.org" target="_blank">users-bounces@lists.<wbr>openfabrics.org</a>]
<b>On Behalf Of </b>Hal Rosenstock<br>
<b>Sent:</b> Tuesday, October 24, 2017 8:59 AM<br>
<b>To:</b> Michael Di Domenico <<a href="mailto:mdidomenico4@gmail.com" target="_blank">mdidomenico4@gmail.com</a>><br>
<b>Cc:</b> <a href="mailto:users@lists.openfabrics.org" target="_blank">users@lists.openfabrics.org</a><br>
<b>Subject:</b> Re: [Users] ibacm?<u></u><u></u></span></p>
</div>
</div><div><div class="h5">
<p class="MsoNormal"><u></u> <u></u></p>
<div>
<div>
<p class="MsoNormal">This makes more sense ;-)<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">What were the steps used to disable ipv6 ?<u></u><u></u></p>
</div>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
<div>
<p class="MsoNormal">On Tue, Oct 24, 2017 at 11:16 AM, Michael Di Domenico <<a href="mailto:mdidomenico4@gmail.com" target="_blank">mdidomenico4@gmail.com</a>> wrote:<u></u><u></u></p>
<blockquote style="border-width:medium medium medium 1pt;border-style:none none none solid;border-color:currentColor currentColor currentColor rgb(204,204,204);padding:0in 0in 0in 6pt;margin-right:0in;margin-left:4.8pt">
<p class="MsoNormal">it looks like i found the culprit<br>
<br>
when running ibacm out of the box on rhel 7.4 the ibacm.log shows<br>
<br>
acm_if_iter_sys: ioctl ifconf error -1<br>
<br>
if i change the line<br>
<br>
s = socket(AF_INET6, SOCK_DGRAM, 0);<br>
<br>
to<br>
<br>
s = socket(AF_INET, SOCK_DGRAM, 0);<br>
<br>
as Hal suggested and start the ibacm daemon i acm correctly bind to be<br>
ipoib addresses and interfaces.  my initial report of this change not<br>
being effective was a miss communication in that i though it related<br>
to the client and not the service process<br>
<br>
i can then run<br>
<br>
ib_acme -f i -s 172.22.64.96 -d 172.22.64.96 -S 172.22.64.96 -v V<br>
<br>
and get back valid data<br>
<br>
ib_acme -d <hostname> still doesn't work, but that might be internal<br>
we don't currently have reverse/forward entries for our ipoib<br>
interfaces, i'm still looking into it<u></u><u></u></p>
<div>
<div>
<p class="MsoNormal"><br>
<br>
<br>
On Mon, Oct 16, 2017 at 1:54 PM, Michael Di Domenico<br>
<<a href="mailto:mdidomenico4@gmail.com" target="_blank">mdidomenico4@gmail.com</a>> wrote:<br>
> it's come to my attention that ibacm might not be working correctly on<br>
> my cluster, but i'm unable to determine why ibacm is failing<br>
><br>
> here's what i did<br>
><br>
> ib_acme -A -O<br>
> systemctl restart ibacm<br>
><br>
> in the /var/log/ibacm file i see<br>
><br>
> acm_if_iter_sys: ioctl ifconf error -1<br>
> acmp_join_group: qib0 1 pkey 0xffff, sl 0x0, rate 0x3, mtu 0x4<br>
> acm_server: started<br>
><br>
> but when i try to query the node locally<br>
><br>
> ib_acme -d node001 -v -V<br>
><br>
> in the log file i see<br>
><br>
> acm_svr_resolve_dest: notice - unknown local end point address<br>
><br>
> on the console i see<br>
><br>
> Service: localhost<br>
> Destination: 172.21.80.1<br>
> ib_acm_resolve_ip failed: cannot assign requested address<br>
> SA verification: failed cannot assign requested address<br>
><br>
> the ibacm_addr.cfg contains<br>
> node001 qib0 1 default<br>
> node001-1 qib0 1 default<br>
><br>
> all the nodes in the cluster are configured the exact same way.  and<br>
> produce the same result when trying to query locally or a remote node<br>
><br>
> any thoughts?<br>
______________________________<wbr>_________________<br>
Users mailing list<br>
<a href="mailto:Users@lists.openfabrics.org" target="_blank">Users@lists.openfabrics.org</a><br>
<a href="http://lists.openfabrics.org/mailman/listinfo/users" target="_blank">http://lists.openfabrics.org/<wbr>mailman/listinfo/users</a><u></u><u></u></p>
</div>
</div>
</blockquote>
</div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
</div></div></div>
</div>
</div>

</blockquote></div><br></div>