<div dir="ltr">Dear Ali,<div><br></div><div>It is not totally clear, but the attached figure looks as if you have 2 x 2 x 2 design. In this case, what you need is 3 way ANOVA. Of course, you can apply t-test from the beginning as planned test, but that can be recommended only when a small subset of the t-tests are of your interest (you don't want to repeat it too many times because of multiple comparison correction issues.)</div><div><br></div><div>So, why don't you try repeated measures 3 way, 2 x 2 x 2 ANOVA.</div><div><br></div><div>Makoto</div><div><br></div><div><br></div><div class="gmail_extra"><br><div class="gmail_quote">On Mon, Jan 23, 2017 at 10:05 AM, ali zahedi <span dir="ltr"><<a href="mailto:ali.zahedi.bham@gmail.com" target="_blank">ali.zahedi.bham@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Dear List,<div><br></div><div><div style="font-size:12.8px">I am working on EEG signal processing and I need to apply statistical test on my findings (paired t-test). However, I am not confident in selecting the significance level which is usually set as 0.05 or 0.01, and I am not completely sure if the paired t-test I have used is correct or not.</div><div style="font-size:12.8px"><br></div><div style="font-size:12.8px">I have 20 EEG datasets collected from 20 individuals, and want to classify relaxation versus stress. For pre-processing the data I applied a chain of 3 different filters (F2,F3 and F4 as shown in the attached figure); which resulted in 8 different pre-processing modes. After filtering I used 2 different classification method (Red and Green bars in the attached figure) on the preprocessed data to see which classification method works best. Furthermore, I want to see if different filters that I have used have significant effect on the performance of the classification methods. </div><div style="font-size:12.8px"><br></div><div style="font-size:12.8px">As you can see I have three different factors which may affect performance of the 2 classification methods.</div><div style="font-size:12.8px">In order to evaluate the obtained results I performed a paired t-test on the results.</div><div style="font-size:12.8px">In the first step, I wanted to check if performance of the 2 classification methods is different significantly. Therefore, I divided my data into 2 groups of each having 160 samples (20 subjects * 8 modes) and performed a paired t-test.</div><div style="font-size:12.8px">In the next step, I wanted to check if different filters have significant effect on the performance of the classification methods or not. Therefore, I divided the data into the following paired groups:</div><div style="font-size:12.8px"><br></div><div style="font-size:12.8px">Pair1= Group 1: F2 is applied (F21) Group 2: F2 is not applied (F20)</div><div style="font-size:12.8px">Pair2= Group 1: F3 is applied (F31) Group 2: F3 is not applied (F30)</div><div style="font-size:12.8px">Pair3= Group 1: F4 is applied (F41) Group 2: F4 is not applied (F40)</div><div style="font-size:12.8px"><br></div><div style="font-size:12.8px">Each of the groups in the pairs consist of 160 samples (20 subjects * 2 classification methods * 4 modes).</div><div style="font-size:12.8px"><br></div><div style="font-size:12.8px">In my test I considered p<0.05 as the significant level. I heard that 0.05 is not always correct to be selected and it might be divided by the number of measurements/repetitions due to Bonferroni correction. For example here 0.05/3. </div><div style="font-size:12.8px">Is Bonferroni correction necessary to be applied? and what would be the significance level here? Is the paired t-test correct to use here?</div><div style="font-size:12.8px"><br></div><div style="font-size:12.8px"><span style="font-size:12.8px">I really appreciate it if you could help me with this.</span><br></div><div style="font-size:12.8px"><br></div><div style="font-size:12.8px">Regards,</div><div style="font-size:12.8px">Ali </div></div></div>
</blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="m_-6952885332646590090gmail_signature" data-smartmail="gmail_signature"><div dir="ltr">Makoto Miyakoshi<br>Swartz Center for Computational Neuroscience<br>Institute for Neural Computation, University of California San Diego<br></div></div>
</div></div>