<div dir="ltr">As far as I understand, double-dipping (in the form of non-independent analysis, e.g. Baker, Hutchison, & Kanwisher 2007) is when you use the same test statistic to identify an analysis region and to test it. e.g., if you do a cluster-based permutation t-test, find a p=.2 cluster, and then do a regular t-test on the average activation within that cluster and get p=.00001, that's double-dipping. Using a different analysis to identify a cluster than what you look at within the cluster is not double-dipping --- e.g., you can use some control manipulation to identify a cluster, and then look at the manipulation of interest just within this cluster. The issue described above is I guess kind of halfway in between, so I'm not totally sure. Using an omnibus F-test to find a cluster and then testing the pairwise comparisons in it is not using the exact same test twice; on the other hand, though, the F-test is not totally independent of the pairwise comparisons within it. My intuition is that it should be ok to look at these pairwise comparisons as long as your interpretation of them is "there was a significant omnibus ANOVA effect <i>and it was driven by a difference between these conditions</i>", rather than saying directly "there was a difference between these conditions" (because the latter is technically not what was tested in the cluster-based permutation test). I have done this before and gotten away with it (although that doesn't mean it's right; all kinds of bad stats stuff gets published, maybe my analysis was more of that). I'd be interested learn what others think.<br></div><div class="gmail_extra"><br clear="all"><div><div class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><br></div><span><div>---<br></div>Stephen Politzer-Ahles<br>The Hong Kong Polytechnic University<br>Department of Chinese and Bilingual Studies<br><a href="http://www.mypolyuweb.hk/~sjpolit/" target="_blank">http://www.mypolyuweb.hk/~sjpolit/</a></span><a href="http://www.nyu.edu/projects/politzer-ahles/" target="_blank"></a></div></div></div></div></div></div></div></div></div>
<br><div class="gmail_quote">On Tue, Sep 12, 2017 at 2:56 AM, Angel Caputi <span dir="ltr"><<a href="mailto:caputiangel@gmail.com" target="_blank">caputiangel@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">I wonder What kind of post-hoc test can be used for testing that the cluster site (i.e. combination of times and channels) we need to use for spatio-temporal localization.  Would not be the use a sencond test on the cluster region a kind of double dipping? What would the correct procedure for testing where the spatio-temporal pattern differ? <div>Sincerely </div><span class="HOEnZb"><font color="#888888"><div>Angel</div><div><br></div></font></span></div><div class="HOEnZb"><div class="h5"><div class="gmail_extra"><br><div class="gmail_quote">2017-09-09 9:49 GMT-03:00 Stephen Politzer-Ahles <span dir="ltr"><<a href="mailto:politzerahless@gmail.com" target="_blank">politzerahless@gmail.com</a>></span>:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Cluster-based permutation tests are not necessarily between two conditions. They operate on any test statistic; this test statistic can be an F test from an ANOVA with three conditions. Just like with a two-condition permutation test, if the test comes out significant this will tell you that the three conditions differ in this dataset (whatever selection of channels, times, and frequency bands you looked at), and the cluster extent can give you an idea of what channel/time/frequency cluster is driving that difference. With an F-test, you would need to do follow-up comparisons to see which particular conditions are driving the difference.<br></div><div class="gmail_extra"><br clear="all"><div><div class="m_1090400672654858293m_-4158992315510138863gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><br></div><span><div>---<br></div>Stephen Politzer-Ahles<br>The Hong Kong Polytechnic University<br>Department of Chinese and Bilingual Studies<br><a href="http://www.mypolyuweb.hk/~sjpolit/" target="_blank">http://www.mypolyuweb.hk/~sjpo<wbr>lit/</a></span><a href="http://www.nyu.edu/projects/politzer-ahles/" target="_blank"></a></div></div></div></div></div></div></div></div></div><div><div class="m_1090400672654858293h5">
<br><div class="gmail_quote">On Thu, Sep 7, 2017 at 9:43 AM, 時本真吾 <span dir="ltr"><<a href="mailto:tokimoto@mejiro.ac.jp" target="_blank">tokimoto@mejiro.ac.jp</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Dear EEGLAB users,<br>
<br>
I usually perform cluster-based permutation tests for my EEG analyses. I understand permutation tests are tests between two conditions. However, I have realized that the test results can be presented for the comparison of three conditions, as is shown by the image file below. I usually perform the test from the GUI of EEGLAB. Could anyone tell me how I should understand the test results? Thank you in advance.<br>
<br>
<a href="http://tokimoto.o.oo7.jp/ERSP_sample.jpg" rel="noreferrer" target="_blank">http://tokimoto.o.oo7.jp/ERSP_<wbr>sample.jpg</a><br>
<br>
******************************<wbr>************<br>
Shingo Tokimoto, Ph.D.<br>
in Linguistics and Psychology<br>
Department of Foreign Languages<br>
Mejiro University<br>
4-31-1, Naka-Ochiai, Shinjuku, Tokyo,<br>
161-8539, Japan<br>
<a href="mailto:tokimoto@mejiro.ac.jp" target="_blank">tokimoto@mejiro.ac.jp</a><br>
******************************<wbr>************<br>
<br>
______________________________<wbr>_________________<br>
Eeglablist page: <a href="http://sccn.ucsd.edu/eeglab/eeglabmail.html" rel="noreferrer" target="_blank">http://sccn.ucsd.edu/eeglab/ee<wbr>glabmail.html</a><br>
To unsubscribe, send an empty email to <a href="mailto:eeglablist-unsubscribe@sccn.ucsd.edu" target="_blank">eeglablist-unsubscribe@sccn.uc<wbr>sd.edu</a><br>
For digest mode, send an email with the subject "set digest mime" to <a href="mailto:eeglablist-request@sccn.ucsd.edu" target="_blank">eeglablist-request@sccn.ucsd.e<wbr>du</a><br>
</blockquote></div><br></div></div></div>
<br>______________________________<wbr>_________________<br>
Eeglablist page: <a href="http://sccn.ucsd.edu/eeglab/eeglabmail.html" rel="noreferrer" target="_blank">http://sccn.ucsd.edu/eeglab/ee<wbr>glabmail.html</a><br>
To unsubscribe, send an empty email to <a href="mailto:eeglablist-unsubscribe@sccn.ucsd.edu" target="_blank">eeglablist-unsubscribe@sccn.uc<wbr>sd.edu</a><br>
For digest mode, send an email with the subject "set digest mime" to <a href="mailto:eeglablist-request@sccn.ucsd.edu" target="_blank">eeglablist-request@sccn.ucsd.e<wbr>du</a><br></blockquote></div><br></div>
</div></div></blockquote></div><br></div>