<html>
  <head>
    <meta content="text/html; charset=windows-1252"
      http-equiv="Content-Type">
  </head>
  <body bgcolor="#FFFFFF" text="#000000">
    <table class="header-part1" border="0" cellpadding="0"
      cellspacing="0" width="100%">
      <tbody>
        <tr>
          <td>
            <div class="headerdisplayname" style="display:inline;">Subject:
            </div>
            Re: [Eeglablist] Statistical test</td>
        </tr>
        <tr>
          <td>
            <div class="headerdisplayname" style="display:inline;">From:
            </div>
            Makoto Miyakoshi <a class="moz-txt-link-rfc2396E" href="mailto:mmiyakoshi@ucsd.edu"><mmiyakoshi@ucsd.edu></a></td>
        </tr>
        <tr>
          <td>
            <div class="headerdisplayname" style="display:inline;">Date:
            </div>
            25/01/2017 01:53</td>
        </tr>
      </tbody>
    </table>
    <table class="header-part2" border="0" cellpadding="0"
      cellspacing="0" width="100%">
      <tbody>
        <tr>
          <td>
            <div class="headerdisplayname" style="display:inline;">To: </div>
            ali zahedi <a class="moz-txt-link-rfc2396E" href="mailto:ali.zahedi.bham@gmail.com"><ali.zahedi.bham@gmail.com></a></td>
        </tr>
        <tr>
          <td>
            <div class="headerdisplayname" style="display:inline;">CC: </div>
            EEGLAB List <a class="moz-txt-link-rfc2396E" href="mailto:eeglablist@sccn.ucsd.edu"><eeglablist@sccn.ucsd.edu></a></td>
        </tr>
      </tbody>
    </table>
    <br>
    Dear Ali,
    <div><br>
    </div>
    <div>It is not totally clear, but the attached figure looks as if
      you have 2 x 2 x 2 design. In this case, what you need is 3 way
      ANOVA. Of course, you can apply t-test from the beginning as
      planned test, but that can be recommended only when a small subset
      of the t-tests are of your interest (you don't want to repeat it
      too many times because of multiple comparison correction issues.)</div>
    <div><br>
    </div>
    <div>So, why don't you try repeated measures 3 way, 2 x 2 x 2 ANOVA.<br>
      Makoto</div>
    <div><br>
      <br>
      --> just to add that this can easily be done using the LIMO EEG
      toolbox (model the 6 conditions per subject then do an ANOVA
      across subjects)<br>
      <br>
      Cyril<br>
      <br>
      <br>
      <div class="gmail_quote">On Mon, Jan 23, 2017 at 10:05 AM, ali
        zahedi <span dir="ltr"><<a
            href="mailto:ali.zahedi.bham@gmail.com" target="_blank">ali.zahedi.bham@gmail.com</a>></span>
        wrote:<br>
        <blockquote class="gmail_quote" style="margin:0 0 0
          .8ex;border-left:1px #ccc solid;padding-left:1ex">
          <div dir="ltr">Dear List,
            <div><br>
            </div>
            <div>
              <div style="font-size:12.8px">I am working on EEG signal
                processing and I need to apply statistical test on my
                findings (paired t-test). However, I am not confident in
                selecting the significance level which is usually set as
                0.05 or 0.01, and I am not completely sure if the paired
                t-test I have used is correct or not.</div>
              <div style="font-size:12.8px"><br>
              </div>
              <div style="font-size:12.8px">I have 20 EEG datasets
                collected from 20 individuals, and want to classify
                relaxation versus stress. For pre-processing the data I
                applied a chain of 3 different filters (F2,F3 and F4 as
                shown in the attached figure); which resulted in 8
                different pre-processing modes. After filtering I used 2
                different classification method (Red and Green bars in
                the attached figure) on the preprocessed data to see
                which classification method works best. Furthermore, I
                want to see if different filters that I have used have
                significant effect on the performance of the
                classification methods. </div>
              <div style="font-size:12.8px"><br>
              </div>
              <div style="font-size:12.8px">As you can see I have three
                different factors which may affect performance of the 2
                classification methods.</div>
              <div style="font-size:12.8px">In order to evaluate the
                obtained results I performed a paired t-test on the
                results.</div>
              <div style="font-size:12.8px">In the first step, I wanted
                to check if performance of the 2 classification methods
                is different significantly. Therefore, I divided my data
                into 2 groups of each having 160 samples (20 subjects *
                8 modes) and performed a paired t-test.</div>
              <div style="font-size:12.8px">In the next step, I wanted
                to check if different filters have significant effect on
                the performance of the classification methods or not.
                Therefore, I divided the data into the following paired
                groups:</div>
              <div style="font-size:12.8px"><br>
              </div>
              <div style="font-size:12.8px">Pair1= Group 1: F2 is
                applied (F21) Group 2: F2 is not applied (F20)</div>
              <div style="font-size:12.8px">Pair2= Group 1: F3 is
                applied (F31) Group 2: F3 is not applied (F30)</div>
              <div style="font-size:12.8px">Pair3= Group 1: F4 is
                applied (F41) Group 2: F4 is not applied (F40)</div>
              <div style="font-size:12.8px"><br>
              </div>
              <div style="font-size:12.8px">Each of the groups in the
                pairs consist of 160 samples (20 subjects * 2
                classification methods * 4 modes).</div>
              <div style="font-size:12.8px"><br>
              </div>
              <div style="font-size:12.8px">In my test I considered
                p<0.05 as the significant level. I heard that 0.05 is
                not always correct to be selected and it might be
                divided by the number of measurements/repetitions due to
                Bonferroni correction. For example here 0.05/3. </div>
              <div style="font-size:12.8px">Is Bonferroni correction
                necessary to be applied? and what would be the
                significance level here? Is the paired t-test correct to
                use here?</div>
              <div style="font-size:12.8px"><br>
              </div>
              <div style="font-size:12.8px"><span
                  style="font-size:12.8px">I really appreciate it if you
                  could help me with this.</span><br>
              </div>
              <div style="font-size:12.8px"><br>
              </div>
              <div style="font-size:12.8px">Regards,</div>
              <div style="font-size:12.8px">Ali </div>
            </div>
          </div>
        </blockquote>
      </div>
      <br>
      <br>
    </div>
  </body>
</html>