<div dir="ltr">Hi Sean.<br><br>We tried to disable the CPUs/cores and we didn't get the phenomena that you've described (we didn't use Lustre)<span style="color: rgb(31, 73, 125);"></span>.<br>Can you please provide some more info on this?<br>
(can it be reproduced without Lustre too? are you using special CPU?).<br><br>Thanks<br>Dotan<br><br><div class="gmail_quote">On Fri, Aug 12, 2011 at 1:13 AM, Hefty, Sean <span dir="ltr"><<a href="mailto:sean.hefty@intel.com">sean.hefty@intel.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">





<div link="blue" vlink="purple" lang="EN-US">
<div>
<p class="MsoNormal"><span style="color: rgb(31, 73, 125);">I saw the following problem disabling CPUs reported using OFED 1.5.3.   I’m simply forwarding this on.  If OFED 1.5.3 is removed from the system,  CPU disabling works.  I have not tried to reproduce this myself
 or looked into the matter.<u></u><u></u></span></p>
<p class="MsoNormal"><span style="color: rgb(31, 73, 125);"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="color: rgb(31, 73, 125);">- Sean<u></u><u></u></span></p>
<p class="MsoNormal"><span style="color: rgb(31, 73, 125);"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="color: rgb(31, 73, 125);">---</span></p>
<p class="MsoNormal"><span style="color: rgb(31, 73, 125);"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="color: rgb(31, 73, 125);"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="color: rgb(31, 73, 125);">The following problem happens with RH6.1, 2.6.32-131.0.15.el6.x86_64 kernel  and OFED 1.5.3. If I disable all but one CPU via
<u></u><u></u></span></p>
<p class="MsoNormal"><span style="color: rgb(31, 73, 125);"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="color: rgb(31, 73, 125);">echo 0 > /sys/devices/system/node/node0/cpu1/online<u></u><u></u></span></p>
<p class="MsoNormal"><span style="color: rgb(31, 73, 125);">….<u></u><u></u></span></p>
<p class="MsoNormal"><span style="color: rgb(31, 73, 125);">echo 0 > /sys/devices/system/node/node1/cpu31/online<u></u><u></u></span></p>
<p class="MsoNormal"><span style="color: rgb(31, 73, 125);"><u></u> <u></u></span></p>
<p class="MsoNormal"><span style="color: rgb(31, 73, 125);">on 2 socket systems (tested both on Westmere and Sandy Bridge) the systems becomes completely unusable. Stopping InfiniBand and removing the driver from the kernel nothing like this happens, the system remains
 stable.</span><u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal">C<span style="color: rgb(31, 73, 125);">hecking on console and got that directly after the offline</span><u></u><u></u></p>
<p><u></u> <u></u></p>
<p><img src="cid:image001.png@01CC5782.EAC1DBC0" height="400" width="720"><u></u><u></u></p>
<p><u></u> <u></u></p>
<p><span style="color: rgb(31, 73, 125);">and a few moments later<u></u><u></u></span></p>
<p><span style="color: rgb(31, 73, 125);"><u></u> <u></u></span></p>
<p><img src="cid:image003.png@01CC5782.EAC1DBC0" height="400" width="720"><u></u><u></u></p>
<p><u></u> <u></u></p>
<p><span style="color: rgb(31, 73, 125);">Which indicates the Lustre FS can’t reach the InfiniBand device. From time to time output is sprinkled with resets of eth0. The system does not react to alt-sysreq-t (it did it before)- but the various status
 messages indicate the system is still running!</span><u></u><u></u></p>
<p><u></u> <u></u></p>
<p><span style="color: rgb(31, 73, 125);">If I try it without Lustre running I simply get<u></u><u></u></span></p>
<p><span style="color: rgb(31, 73, 125);"><u></u> <u></u></span></p>
<p><img src="cid:image002.png@01CC5782.36F0FDB0" height="400" width="720"><u></u><u></u></p>
<p><u></u> <u></u></p>
<p><span style="color: rgb(31, 73, 125);">but again it does not react to sysrq-t.</span><u></u><u></u></p>
<p><u></u> <u></u></p>
</div>
</div>

<br>_______________________________________________<br>
ewg mailing list<br>
<a href="mailto:ewg@lists.openfabrics.org">ewg@lists.openfabrics.org</a><br>
<a href="http://lists.openfabrics.org/cgi-bin/mailman/listinfo/ewg" target="_blank">http://lists.openfabrics.org/cgi-bin/mailman/listinfo/ewg</a><br></blockquote></div><br></div>