<div dir="ltr"><p style="font-size:13px;margin:0px;font-family:Arial;color:rgb(35,35,35)"><span style="letter-spacing:0px">Hi David,</span></p><p style="font-size:13px;margin:0px;font-family:Arial;color:rgb(35,35,35);min-height:15px">
<span style="letter-spacing:0px"></span><br></p><p style="font-size:13px;margin:0px;font-family:Arial;color:rgb(35,35,35)"><span style="letter-spacing:0px">I have not used the native bootstrapped ANOVA function in EEGLAB so I can't comment on its output. However, based on your questions, I will comment on a few things that I hope will help. Most of what I know about these methods comes from Rand Wilcox's writings, especially "Introduction to Robust Estimation and Hypothesis Testing".</span></p>
<p style="font-size:13px;margin:0px;font-family:Arial;color:rgb(35,35,35);min-height:15px"><span style="letter-spacing:0px"></span><br></p><p style="font-size:13px;margin:0px;font-family:Arial;color:rgb(35,35,35)"><span style="letter-spacing:0px">Of all the bootstrapped methods, two are talked about most frequently: bootstrap-t and the percentile bootstrap. Both methods can be extended to compare multiple groups, as you would in an ANOVA. I assume that EEGLAB uses the bootstrap-t method when dealing with ANOVAs (just a guess), so I'll describe what I think is going on under the hood.</span></p>
<p style="font-size:13px;margin:0px;font-family:Arial;color:rgb(35,35,35);min-height:15px"><span style="letter-spacing:0px"></span><br></p><p style="margin:0px"><span style="color:rgb(35,35,35);font-family:Arial;font-size:13px;letter-spacing:0px">The bootstrapped-t method uses the data at hand to estimate an appropriate critical value. This is accomplished by (1) centering the group means so that the null hypothesis is true (i.e.,  Y</span><span style="color:rgb(35,35,35);font-family:Arial;font-size:9px;letter-spacing:0px">ij</span><span style="color:rgb(35,35,35);font-family:Arial;font-size:13px;letter-spacing:0px"> = X</span><span style="color:rgb(35,35,35);font-family:Arial;font-size:9px;letter-spacing:0px">ij</span><span style="color:rgb(35,35,35);font-family:Arial;font-size:13px;letter-spacing:0px"> - </span><span style="color:rgb(0,0,0);font-family:Arial;font-size:13px;letter-spacing:0px">µ</span><span style="color:rgb(35,35,35);font-family:Arial;font-size:9px;letter-spacing:0px">j</span><font color="#232323" face="Arial"><span style="letter-spacing:0px">), (2) resampling with replacement from the centered values, and then (3) calculating your F statistic (see Wilcox's book for details on this). This is repeated thousands of times yielding an empirically </span>derived<span style="letter-spacing:0px"> null distribution. If the F statistic based on the original (non-centered) data exceeds the .95 quantile of this distribution, reject the null (publish, get famous, etc</span>…<span style="letter-spacing:0px">)</span></font></p>
<p style="font-size:13px;margin:0px;font-family:Arial;color:rgb(35,35,35);min-height:15px"><span style="letter-spacing:0px"></span><br></p><p style="font-size:13px;margin:0px;font-family:Arial;color:rgb(35,35,35)"><span style="letter-spacing:0px">For the write-up, I would describe the method and report the F value, degrees of freedom, number of bootstrap samples, and the p value. See Dien, Michelson, and Franklin (2010) for an example.</span></p>
<p style="font-size:13px;margin:0px;font-family:Arial;color:rgb(35,35,35)"><br></p><p style="font-size:13px;margin:0px;font-family:Arial;color:rgb(35,35,35)"><span style="letter-spacing:0px">You are probably correct in that EEGLAB gives you a parametric F value in the output somewhere. That is the test statistic based on the original data that is being compared to the critical value of the null distribution.</span></p>
<p style="font-size:13px;margin:0px;font-family:Arial;color:rgb(35,35,35);min-height:15px"><span style="letter-spacing:0px"></span><br></p><p style="margin:0px"><font color="#232323" face="Arial"><span style="letter-spacing:0px">Lastly, it does not surprise me that the p values are different when comparing the bootstrap test to the traditional ANOVA. The two methods rely on different sampling distributions (</span>empirical<span style="letter-spacing:0px"> vs. theoretical). Furthermore, EEGLAB's bootstrapped ANOVA might implement some kind of outlier control (trimmed means), or protection against violations of normality or heteroscedasticity (Welch-type method), which all affect the p value.</span></font></p>
<p style="margin:0px"><font color="#232323" face="Arial"><br></font></p><p style="margin:0px"><font color="#232323" face="Arial">I hope this helps in some way,</font></p><p style="margin:0px"><font color="#232323" face="Arial"><br>
</font></p><p style="margin:0px"><font color="#232323" face="Arial">Al</font></p><div class="gmail_extra"><br clear="all"><div><div dir="ltr"><div style="text-align:left"><font face="verdana, sans-serif"><span style="font-size:small"><b><font color="#ff0000"><br>
</font></b></span></font></div><div style="text-align:left"><font face="verdana, sans-serif"><span style="font-size:small"><b><font color="#ff0000"><br></font></b></span></font></div><div style="text-align:left"><font face="verdana, sans-serif"><span style="font-size:small"><b><font color="#ff0000">Allan Campopiano</font></b></span><span style="font-size:small"> </span><font color="#000000" style="font-size:small">| MA Candidate</font></font></div>
<div style="text-align:left"><font color="#000000" face="verdana, sans-serif"><span style="font-size:small">Laboratory of </span><span style="font-size:small">Cognitive and Affective Neuroscience</span></font></div><div><div style="text-align:left">
<font size="1" face="verdana, sans-serif"><font color="#666666">Brock University | Psychology Department | </font><font color="#666666">500 Glenridge Ave.</font><font color="#666666"><br></font></font></div><div><div style="text-align:left">
<span style="color:rgb(102,102,102);font-size:x-small"><font face="verdana, sans-serif">St. Catharines, ON Canada L2S 3A1</font></span></div><div style="text-align:left"><font face="verdana, sans-serif"><font><b style="font-size:small"><font color="#ff0000">T</font></b><font color="#666666" style="font-size:small"> </font><font style="font-size:small" color="#666666">905-688-5550 x3451</font><font color="#666666" style="font-size:small"> </font><b style="font-size:small"><font color="#ff0000">F </font></b></font><span style="line-height:20px;text-align:left"><font color="#666666">905-688-6922</font></span></font></div>
</div></div></div></div>
<br><br><div class="gmail_quote">On Thu, Aug 28, 2014 at 6:58 PM, david grahms <span dir="ltr"><<a href="mailto:david.grahms@gmail.com" target="_blank">david.grahms@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div dir="ltr"><div><div><div><div>Hi,<br><br></div>I would appreciate some help in understanding the output the bootstrap statistic implemented in eeglab and how to report it. Should I report the df and F-value when I perform bootstrap analysis? Am I correct in that I get the parametric F-value when I run the bootstrap analysis?<br>

<br></div><div>Also<br></div>I find it hard to understand that the bootstrap analysis gives me a p=0.00024988 and parametric gives me F(3,30)=0.96, p=0.42629.<br><br></div>Regards,<br></div>David<br></div>
<br>_______________________________________________<br>
Eeglablist page: <a href="http://sccn.ucsd.edu/eeglab/eeglabmail.html" target="_blank">http://sccn.ucsd.edu/eeglab/eeglabmail.html</a><br>
To unsubscribe, send an empty email to <a href="mailto:eeglablist-unsubscribe@sccn.ucsd.edu">eeglablist-unsubscribe@sccn.ucsd.edu</a><br>
For digest mode, send an email with the subject "set digest mime" to <a href="mailto:eeglablist-request@sccn.ucsd.edu">eeglablist-request@sccn.ucsd.edu</a><br></blockquote></div><br></div></div>