<html>
  <head>
    <meta http-equiv="Content-Type" content="text/html;
      charset=windows-1252">
  </head>
  <body>
    <div class="moz-cite-prefix">So there are ALL KINDS OF THINGS that
      can go wrong if you play with the indexing of a hybrd MPI/OpenMP
      program.  If you are getting the correct trace of the matrix
      (which should equal the dimension of the matrix) for dimensions of
      like 4313 (and not just dimensions that are evenly divisible by
      the number of threads) then you can generally say with confidence
      that you are getting accurate results with your hybrid strategy.<br>
    </div>
    <div class="moz-cite-prefix"><br>
    </div>
    <div class="moz-cite-prefix">The problem that you may face is that
      the techniques you take to guarantee that you are getting correct
      results may impact your parallelism -- as there are regions to be
      threaded in both the RANK=0 and RANK!=0 portions of the code.   If
      you simply demonstrate that your hybrid parallelism gives the
      expected result and that you get improved performance when you to
      move to more threads and nodes, then you have accomplished the
      goal.</div>
    <div class="moz-cite-prefix"><br>
    </div>
    <div class="moz-cite-prefix">There are MANY things that can hinder
      this and I am not expecting any of you to achieve a linear
      speedup.  To do that we have would have to dive MUCH DEEPER into
      inter-process locality, processor affinities, and processor
      binding.  Those are things I teach in the graduate version of this
      course.</div>
    <div class="moz-cite-prefix"><br>
    </div>
    <div class="moz-cite-prefix">I set the bar pretty low -- but it is
      still a bar to get over.  Can you achieve any speedup with correct
      results when employing you hybrid parallel strategy?<br>
    </div>
    <div class="moz-cite-prefix"><br>
    </div>
    <div class="moz-cite-prefix">On 4/26/20 6:52 PM, wrote:<br>
    </div>
    <blockquote type="cite"
cite="mid:8eb00f4b225a44f2a90669e349545abc@BY5PR01MB5858.prod.exchangelabs.com">
      <meta http-equiv="Content-Type" content="text/html;
        charset=windows-1252">
      <style type="text/css" style="display:none;"> P {margin-top:0;margin-bottom:0;} </style>
      <div style="font-family: Calibri, Arial, Helvetica, sans-serif;
        font-size: 12pt; color: rgb(0, 0, 0);">
        Dr. Pounds,</div>
      <div style="font-family: Calibri, Arial, Helvetica, sans-serif;
        font-size: 12pt; color: rgb(0, 0, 0);">
        <br>
      </div>
      <div style="font-family: Calibri, Arial, Helvetica, sans-serif;
        font-size: 12pt; color: rgb(0, 0, 0);">
        How should we demonstrate that we are getting accurate results?
        Include the pbs resultant files in an appendix? It feels kind of
        circular to say "let me demonstrate my results are accurate",
        and then say "Ok I checked and they are." From my results I can
        see that the accuracy is evident, but I don't know a good way to
        demonstrate that to my audience. Thanks.</div>
      <div style="font-family: Calibri, Arial, Helvetica, sans-serif;
        font-size: 12pt; color: rgb(0, 0, 0);">
        <br>
      </div>
      <div style="font-family: Calibri, Arial, Helvetica, sans-serif;
        font-size: 12pt; color: rgb(0, 0, 0);"><br>
      </div>
    </blockquote>
    <p><br>
    </p>
    <pre class="moz-signature" cols="72">-- 
Andrew J. Pounds, Ph.D.  (<a class="moz-txt-link-abbreviated" href="mailto:pounds_aj@mercer.edu">pounds_aj@mercer.edu</a>)
Professor of Chemistry and Computer Science
Director of the Computational Science Program
Mercer University,  Macon, GA 31207   (478) 301-5627
</pre>
  </body>
</html>