<div dir="ltr">HI,<div><br></div><div>Thank for your response.</div><div>When we writing high throughput data on lustre with single switch connectivity all things are working fine.</div><div>But when we use ftree topology for writing the same of data on lustre, the connectivity between lustre nodes and compute nodes lost. Due to that compute node halted.</div>

<div><br></div><div>So, can you guide us for verifying the performance of FTREE with 5 switches.</div><div>And i have no idea of<span style="font-family:arial,sans-serif;font-size:13px">"--cn_guid_file" and "--io_guid_file" using in ftree.</span></div>

<div><span style="font-family:arial,sans-serif;font-size:13px"><br></span></div><div><span style="font-family:arial,sans-serif;font-size:13px">Thank You</span></div><div><span style="font-family:arial,sans-serif;font-size:13px">Atul Yadav</span></div>

</div><div class="gmail_extra"><br><br><div class="gmail_quote">On Tue, Apr 15, 2014 at 10:01 AM, Jens Domke <span dir="ltr"><<a href="mailto:domke.j.aa@m.titech.ac.jp" target="_blank">domke.j.aa@m.titech.ac.jp</a>></span> wrote:<br>

<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Dear Atul,<br>
<br>
I'm not entirely sure what you mean with "Lustre traffic work without any congestion", but AFAIK there are 2 I/O-aware routing algorithms.<br>
<br>
Your can use the OpenSM flags "--cn_guid_file" and "--io_guid_file" for<br>
ftree (and for DFSSSP; starting from OpenSM V3.3.17) to specify the IO nodes and compute nodes.<br>
<br>
The purpose of io_guid_file for ftree is a bit different from what you are trying to accomplish according to the documentation, but I checked your configuration with ibsim and it works (to remove overlapping paths towards I/O nodes).<br>


<br>
However, if you want to separate MPI and I/O traffic completely (meaning no common link for both types), then this might be an impossible task with the currently implemented routing algorithms (but maybe Hal knows more).<br>


<br>
Regards,<br>
Jens<div class=""><br>
<br>
On 15.04.14 01:52, Atul Yadav wrote:<br>
</div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="">
Deal All<br>
<br>
We are trying to run  lustre + MPI traffic on common infiniband.<br>
I am  sharing the full details of the cluster with the purpose.<br>
<br>
Lustre<br>
<br></div>
    - mds1<br>
    - mds2<br>
    - oss1<br>
    - oss2<br>
<br>
Compute Node<br>
<br>
    - Nalanda<br>
    - compute-0-1 to compute-0-34<div class=""><br>
<br>
Topology<br>
Ftree is configured with the help of yours. 5 switch<br>
<br>
So, we are using common infiniband cable for Lustre and MPI traffic.<br>
<br>
Can i make sure my Lustre traffic work without any congestion.<br>
<br>
Guide us please...<br>
<br>
Thanks in advance<br>
Atul yadav<br>
<br>
<br>
<br></div>
This body part will be downloaded on demand.<br>
<br>
</blockquote>
</blockquote></div><br></div>