<html><head><meta http-equiv="Content-Type" content="text/html charset=iso-8859-1"></head><body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space; ">Dear Llana,<div><br></div><div>this is because the permutation statistics use different random permutation every time.</div><div>The result should be similar but not identical.</div><div>Best,</div><div><br></div><div>Arno</div><div><br><div><div>On Sep 12, 2013, at 11:33 AM, Ilana Podlipsky <<a href="mailto:ilana.mlist@gmail.com">ilana.mlist@gmail.com</a>> wrote:</div><br class="Apple-interchange-newline"><blockquote type="cite"><meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1"><div dir="ltr"><div>Dear Nicolas and Arno,</div><div>I recently ran an ANOVA statistic of ERSP maps across conditions and encountered the same problem of inconsistency of statistics results each time I run the analysis.</div>
<div>In short, every time I run the permutation statistics analysis I get different significant electrodes.</div><div>I encountered this issue in EEGLAB 8,10 and 12 (didn't try 11). </div><div>I see now that Nicolas reported exactly the same problem.</div>
<div>Were you able to solve it?</div><div> </div><div>Thank you for your help,</div><div>Ilana</div><div> </div><div> </div></div><div class="gmail_extra"><br><br><div class="gmail_quote">On Fri, May 3, 2013 at 7:33 AM, Arnaud Delorme <span dir="ltr"><<a href="mailto:arno@ucsd.edu" target="_blank">arno@ucsd.edu</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div style="">Dear Nicolas,<div><br></div><div>your problem is worth investigating. I have checked with the tutorial STUDY, and the results with parametric statistics (EEGLAB) are strictly identical from one call to the next when plotting channel ERSP time-frequency images or channel ERSP scalp topographies. Also since 2010, we have a battery of independent test that check EEGLAB statistics agains the Matlab statistics toolbox. After adding Fieldtrip statistics to the EEGLAB graphic interface  last year, we also implemented the same tests for these new functions (which is how we discovered a bug in Anova Fieldtrip statistics by the way - currently in the process of being fixed). </div>
<div>This said, no program is perfect. Please upload your data to Bugzilla so we can try reproduce the problem and see what is going on.</div><div><br></div><div><a href="http://sccn.ucsd.edu/eeglab/bugzilla" target="_blank">http://sccn.ucsd.edu/eeglab/bugzilla</a></div>
<div><br></div><div>If your data is really large (>1Gb), put it on our public FTP server (ask Derrick Lock <<a href="mailto:dlock@ucsd.edu" target="_blank">dlock@ucsd.edu</a>> for the address as I prefer to write it here for security reasons). Let's also continue this discussion off the list.</div>
<div><br></div><div>Best regards,</div><div><br></div><div>Arno</div><div><div class="h5"><br><div><div>On 2 May 2013, at 09:30, Nicolas Rochet wrote:</div><br><blockquote type="cite">

  
  <div text="#000000" bgcolor="#FFFFFF">
    <div>Dear Makoto and Arno,<br>
      To sum up: i'm using study analysis using <b>channels</b> (with
      GUI) to compare two conditions. After further testings, i have
      similar issues with EEGLAB version 12 and 11.05.5.4b : the stats
      maps (for condition comparaison in ERSP / ITC analysis) are
      changing each time i replot whatever stats option i use. Also,
      while ERP's topographics map are not changing, the significant
      channels (when comparing the two conditions) are changing each
      time i replot.<br>
      Strangely, those issues only happens with EEGLAB statistic's
      option, indeed when i choose Fieldtrip stat's option, i don't have
      this problem: the stats map remains the same after each
      replotting.<br>
      <br>
      cordially,<br>
      Nicolas<br>
      <br>
      Le 30/04/2013 17:00, Makoto Miyakoshi a écrit :<br>
    </div>
    <blockquote type="cite">
      <div dir="ltr">Dear Nicolas and Arno,
        <div><br>
        </div>
        <div>> some of these data, the stats are changing, whatever
          stats option i used (parametric, permutations, with or without
          holms correction and bonferoni correction). <br>
        </div>
        <div class="gmail_extra"><br>
          Permutation results may change because this approach is based
          on random permutation. However parametric test result should
          not. Could you check it again?</div>
        <div class="gmail_extra"><br>
        </div>
        <div class="gmail_extra">> ERP's topographic map's ( the
          significant channels are not the same each time i replot).<br>
          <br>
          Significant channels? You mean you are running STUDY analysis
          using channels? If that's the case I'm not experienced with
          it.</div>
        <div class="gmail_extra"><br>
        </div>
        <div class="gmail_extra">However, changing topographic
          maps is familiar with me. However, I want to know exactly what
          you are doing (using ICs or channels)</div>
        <div class="gmail_extra">
          <br>
        </div>
        <div class="gmail_extra">Makoto<br>
          <br>
          <div class="gmail_quote">2013/4/26 Nicolas Rochet <span dir="ltr"><<a href="mailto:nicolas.rochet@univ-provence.fr" target="_blank">nicolas.rochet@univ-provence.fr</a>></span><br>
            <blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;padding-left:1ex;border-left-color:rgb(204,204,204);border-left-width:1px;border-left-style:solid">
              <div text="#000000" bgcolor="#FFFFFF">
                <div>Hi Makoto,<br>
                  Firstly, I recomputed ERP, ERSP and ITC after updating
                  to version 12. I realised that (when using the study's
                  GUI with version 12) each time i plot some of these
                  data, the stats are changing, whatever stats option i
                  used (parametric, permutations, with or without holms
                  correction and bonferoni correction). <br>
                  For example. when i try to compare ERSP maps in two
                  different condition: each time i replot it, the
                  corresponding stat map is changing while the ERSP map
                  is the same. I had the same problem with ITC maps or
                  for ERP's topographic map's ( the significant channels
                  are not the same each time i replot).<br>
                  <br>
                  Do you have any idea ? Nobody seems to have reported
                  similar issues ....<br>
                  <br>
                  Nicolas<br>
                  <br>
                  Le 18/04/2013 03:26, Makoto Miyakoshi a écrit :<br>
                </div>
                <div>
                  <div>
                    <blockquote type="cite">
                      <div dir="ltr">Dear Nicolas,
                        <div><br>
                        </div>
                        <div>I'd be interested in learning how much the
                          difference was. Would you mind explaining it
                          to us?</div>
                        <div><br>
                        </div>
                        <div>Makoto</div>
                      </div>
                      <div class="gmail_extra"> <br>
                        <br>
                        <div class="gmail_quote">2013/4/15 Nicolas
                          Rochet <span dir="ltr"><<a href="mailto:nicolas.rochet@univ-provence.fr" target="_blank">nicolas.rochet@univ-provence.fr</a>></span><br>
                          <blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;padding-left:1ex;border-left-color:rgb(204,204,204);border-left-width:1px;border-left-style:solid">
                            Dear EEGLAB community,<br>
                            I was previously using eeglab version
                            10.2.2.4b. After updating EEGLAB<br>
                            to  version 12.0.2.0b (with SVN) the SAME
                            data (ie  ERP, ERSP and ITC<br>
                            grand average) processed with the study
                            protocol are different with the<br>
                            two version<br>
                            Does anybody encountered similar issues ?<br>
                            <br>
                            Thanks,<br>
                            Nicolas<br>
                            <br>
                            --<br>
                            Nicolas Rochet, PhD Student<br>
                            Laboratoire de Neurosciences Cognitives, UMR
                            7291<br>
                            <br>
                            Université de Provence / CNRS<br>
                            Pôle 3C - Case C<br>
                            3 place Victor Hugo<br>
                            13331 Marseille Cedex 03<br>
                            France<br>
                            <br>
                            tel : <a href="tel:%28%2B33%29%2004%2013%2055%2009%2000" target="_blank" value="+33413550900">(+33)
                              04 13 55 09 00</a><br>
                            <br>
_______________________________________________<br>
                            Eeglablist page: <a href="http://sccn.ucsd.edu/eeglab/eeglabmail.html" target="_blank">http://sccn.ucsd.edu/eeglab/eeglabmail.html</a><br>
                            To unsubscribe, send an empty email to <a href="mailto:eeglablist-unsubscribe@sccn.ucsd.edu" target="_blank">eeglablist-unsubscribe@sccn.ucsd.edu</a><br>
                            For digest mode, send an email with the
                            subject "set digest mime" to <a href="mailto:eeglablist-request@sccn.ucsd.edu" target="_blank">eeglablist-request@sccn.ucsd.edu</a><br>
                          </blockquote>
                        </div>
                        <br>
                        <br clear="all">
                        <div><br>
                        </div>
                        -- <br>
                        <div dir="ltr">Makoto Miyakoshi<br>
                          Swartz Center for Computational Neuroscience<br>
                          Institute for Neural Computation, University
                          of California San Diego<br>
                        </div>
                      </div>
                    </blockquote>
                    <br>
                    <br>
                    <pre cols="72">-- 
Nicolas Rochet, PhD Student
Laboratoire de Neurosciences Cognitives, UMR 7291 

Université de Provence / CNRS
Pôle 3C - Case C
3 place Victor Hugo
13331 Marseille Cedex 03
France

tel : <a href="tel:%28%2B33%29%2004%2013%2055%2009%2000" target="_blank" value="+33413550900">(+33) 04 13 55 09 00</a></pre>
                  </div>
                </div>
              </div>
              <br>
              _______________________________________________<br>
              Eeglablist page: <a href="http://sccn.ucsd.edu/eeglab/eeglabmail.html" target="_blank">http://sccn.ucsd.edu/eeglab/eeglabmail.html</a><br>
              To unsubscribe, send an empty email to <a href="mailto:eeglablist-unsubscribe@sccn.ucsd.edu" target="_blank">eeglablist-unsubscribe@sccn.ucsd.edu</a><br>
              For digest mode, send an email with the subject "set
              digest mime" to <a href="mailto:eeglablist-request@sccn.ucsd.edu" target="_blank">eeglablist-request@sccn.ucsd.edu</a><br>
            </blockquote>
          </div>
          <br>
          <br clear="all">
          <div><br>
          </div>
          -- <br>
          <div dir="ltr">Makoto Miyakoshi<br>
            Swartz Center for Computational Neuroscience<br>
            Institute for Neural Computation, University of California
            San Diego<br>
          </div>
        </div>
      </div>
    </blockquote>
    <br>
    <br>
    <pre cols="72">-- 
Nicolas Rochet, PhD Student
Laboratoire de Neurosciences Cognitives, UMR 7291 

Université de Provence / CNRS
Pôle 3C - Case C
3 place Victor Hugo
13331 Marseille Cedex 03
France

tel : <a href="tel:%28%2B33%29%2004%2013%2055%2009%2000" target="_blank" value="+33413550900">(+33) 04 13 55 09 00</a></pre>
  </div>

_______________________________________________<br>Eeglablist page: <a href="http://sccn.ucsd.edu/eeglab/eeglabmail.html" target="_blank">http://sccn.ucsd.edu/eeglab/eeglabmail.html</a><br>To unsubscribe, send an empty email to <a href="mailto:eeglablist-unsubscribe@sccn.ucsd.edu" target="_blank">eeglablist-unsubscribe@sccn.ucsd.edu</a><br>
For digest mode, send an email with the subject "set digest mime" to <a href="mailto:eeglablist-request@sccn.ucsd.edu" target="_blank">eeglablist-request@sccn.ucsd.edu</a></blockquote></div><br></div></div>
</div><br>_______________________________________________<br>
Eeglablist page: <a href="http://sccn.ucsd.edu/eeglab/eeglabmail.html" target="_blank">http://sccn.ucsd.edu/eeglab/eeglabmail.html</a><br>
To unsubscribe, send an empty email to <a href="mailto:eeglablist-unsubscribe@sccn.ucsd.edu">eeglablist-unsubscribe@sccn.ucsd.edu</a><br>
For digest mode, send an email with the subject "set digest mime" to <a href="mailto:eeglablist-request@sccn.ucsd.edu">eeglablist-request@sccn.ucsd.edu</a><br></blockquote></div><br></div>
</blockquote></div><br></div></body></html>