<div dir="ltr"><div>No partition file is same as partition file with:</div><div>Default=0x7fff : ALL=full ;</div><div>so just full default partition.</div><div><br></div><div>Are smpquery commands using LID or DR path ? If it's former, LID routing is broken somehow.</div><div><br></div><div>For some port stuck at FDR10, is FDR enabled on both local port and peer port ?</div><div><br></div><div>What is OpenSM version string ?</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Mon, Jun 5, 2017 at 10:40 AM, Michael Di Domenico <span dir="ltr"><<a href="mailto:mdidomenico4@gmail.com" target="_blank">mdidomenico4@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span>On Mon, Jun 5, 2017 at 10:32 AM, Hal Rosenstock<br>
<<a href="mailto:hal.rosenstock@gmail.com">hal.rosenstock@gmail.com</a>> wrote:<br>
><br>
> If you want to disable fdr10, there is fdr10 option in opensm.conf which<br>
> should be set to 0:<br>
><br>
> # FDR10 on ports on devices that support FDR10<br>
> # Values are:<br>
> #    0: don't use fdr10 (no MLNX ExtendedPortInfo MADs)<br>
> #    Default 1: enable fdr10 when supported<br>
> #    2: disable fdr10 when supported<br>
> fdr10 0<br>
><br>
> You may need to bounce the links which are at fdr10 but the link would've<br>
> come up at FDR over FDR10 if that negotiation was successful so I don't<br>
> think changing fdr10 option will have an effect. Are your cables good for<br>
> FDR ?<br>
<br>
</span>Yes, i tried switching that flag, it doesn't seem to make a difference.<br>
<br>
as for the cables, they were supplied by Cray.  i haven't specifically<br>
checked them, but i trust they are FDR capable.<br>
<br>
i did bounce the links and the whole machine, but it seems to keep<br>
coming up in that state.<br>
<span><br>
> I have no idea what is causing bad Qkey traps to the SM in your<br>
> configuration.<br>
<br>
</span>me either, i reset back to a completely default opensm config and it<br>
still trips Bad Q_Key and doesn't let me actually talk on the fabric.<br>
the port shows LinkUp, but smpquery/ipoib data fail<br>
<br>
is there a possibility that there's a programming error on the fabric<br>
with the partitions, because i have QDR and FDR adapters on the same<br>
fabric.  perhaps something it can't figure out on its own and i have<br>
to hard code into the config?<br>
<div class="HOEnZb"><div class="h5">______________________________<wbr>_________________<br>
Users mailing list<br>
<a href="mailto:Users@lists.openfabrics.org">Users@lists.openfabrics.org</a><br>
<a href="http://lists.openfabrics.org/mailman/listinfo/users" target="_blank" rel="noreferrer">http://lists.openfabrics.org/<wbr>mailman/listinfo/users</a><br>
</div></div></blockquote></div><br></div>