<div dir="ltr"><div>Dear Kevin,</div><div><br></div><div>> But what I'd really like to know is, does *my* 0.1hz data contain comparable drift to others' 0.1hz data?<br></div><div><br></div><div>Yes, your data look normal for 0.1Hz high-passed.</div><div>I also recommend you change the time scale so that you can see 10 sec long of data in one screen to visually confirm if there is any wave whose half cycle (i.e. single peak or trough) goes beyond  5 sec.</div><div><br></div><div>Widmann et al. (2014), who advocates the merit of filter, wrote:</div><div><br></div><div>%%%%%%%</div><div>Some authors argue against high-pass filtering (or restrict the applicable high-pass cutoff to frequencies as low as <0.1 Hz; in particular if estimating window mean or peak amplitudes; Acunzo et al.,2012; Luck, 2005) or low-pass filtering (in</div><div>particular if estimating onset latencies; VanRullen, 2011). We certainly want to stress their point–care is needed–but, on the other hand, if the filter applied really increases the signal-to-noise ratio (as it should to motivate its usage) and does not systematically bias the to-be-estimated parameter, these values can be determined with greater precision with than without filtering.</div><div>%%%%%%%</div><div><br></div><div>Exaggerated filter phobia is not useful.</div><div>A common mistake is to think that</div><div>'Closer to the original, better the signal'</div><div>'Therefore, less use of filter, better the signal'<br></div><div>Here, the underlying idea is 'minimizing the use of filter == maximizing signal <i>fidelity</i>' But it does not apply to our case; we are not playing music where the original source necessarily has the maximum signal fidelity. Andreas Widmann's point is 'Hey, what matters is signal-to-noise ratio; if filtering can improve it, why not use it rather than avoiding it?' This makes sense to me.</div><div><br></div><div>However, I'm not sure how to measure the signal to noise ratio.</div><div>In our case, we have been using ICA + mutual information reduction to evaluate the goodness of preprocessing, but this is kind of ICA-centric view and may not be acceptable for others.</div><div><br></div><div>Makoto<br></div><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Aug 6, 2015 at 12:20 PM, Kevin Tan <span dir="ltr"><<a href="mailto:kevintan@cmu.edu" target="_blank">kevintan@cmu.edu</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Makoto, <div><br></div><div>Thanks so much for the detailed reply. Indeed, given all the caveats, 0.1hz hi-pass produces 'better' ERP waveforms and is in-line with the literature. </div><div><br></div><div>But what I'd really like to know is, does *my* 0.1hz data contain comparable drift to others' 0.1hz data? It's hard to tell since people don't publish their epoched EEG data. If it is comparable then I can feel much better. </div><div><br></div><div>And yes, for ICA I use 1hz hipass then copy the resulting weights to 0.1hz data. </div><div><br></div><div>Mohammed, </div><div><br></div><div>I've tried detrend on continuous 0.1hz data with little effect. Do you mean detrend on individual epochs? Would that result in consistency issues across epochs?</div><div><br></div><div>Many thanks for the comments!</div><div><br></div><div>Best, </div><div>Kevin </div></div><div class="gmail_extra"><span class=""><br clear="all"><div><div><div dir="ltr"><div><font size="1" face="arial, helvetica, sans-serif">--</font></div><font size="1" face="arial, helvetica, sans-serif">Kevin Alastair M. Tan</font><div><font size="1" face="arial, helvetica, sans-serif">Lab Manager/Research Assistant<br></font><div><font size="1" face="arial, helvetica, sans-serif">Department of Psychology & Center for the Neural Basis of Cognition</font></div><div><font size="1" face="arial, helvetica, sans-serif">Carnegie Mellon University</font></div><div><font size="1" face="arial, helvetica, sans-serif"><br></font><div><div><font size="1" face="arial, helvetica, sans-serif"><a href="https://www.google.com/maps/place/40%C2%B026%2729.5%22N+79%C2%B056%2744.0%22W/@40.4414869,-79.9455701,61m/data=!3m1!1e3!4m2!3m1!1s0x0:0x0" target="_blank">Baker Hall 434</a> | <a href="mailto:kevintan@cmu.edu" target="_blank">kevintan@cmu.edu</a> | <a href="http://tarrlabwiki.cnbc.cmu.edu/index.php/KevinTan" target="_blank">tarrlab.org/kevintan</a></font></div></div></div></div></div></div></div>
<br></span><div class="gmail_quote">On Thu, Aug 6, 2015 at 7:50 AM, Mohammed Jarjees <span dir="ltr"><<a href="mailto:m.jarjees.1@research.gla.ac.uk" target="_blank">m.jarjees.1@research.gla.ac.uk</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Dear Kevin Tan,<br>
Have you tried detrend function on 0.1 Hz filtered data. It may be help.<br>
Best Regards<br>
Mohammed Jarjees<br>
<br>
________________________________________<br>
From: Makoto Miyakoshi [<a href="mailto:mmiyakoshi@ucsd.edu" target="_blank">mmiyakoshi@ucsd.edu</a>]<br>
Sent: 05 August 2015 06:03<br>
To: Kevin Tan<br>
Cc: EEGLAB List<br>
Subject: Re: [Eeglablist] Too much drift with just 0.1hz high-pass filtering?<span class=""><br>
<span><br>
Dear Kevin,<br>
<br>
In the Appendix of Rousslet (2012), you can find the shockingly bad effect of 1-Hz high-pass filter compared with 0.5-Hz or below. However, the filter function used here is pop_eegfilt, which is an old generation before Andreas Widmann redesign it, so for 500-Hz sampled data the filter order for 1-Hz is 75000. After Andreas's fix, it is 1651. 75000 is crazy. You need to keep it in mind. FYI, 1-Hz highpass with Hamming window and fiter order 75000 results in the transition bandwidth of 0.022; Andreas's heuristics suggests 1.<br>
<br>
> Is the drift in 0.1hz data ok? I get 'better looking' ERP waveforms & more robust differences between conditions in 0.1hz data – I'm worried this is mostly due to drift.<br>
<br>
Sadly, it is often the case that our eye are trained for something that does not have a good ground. Rousslet (2012) showed 'distortion' of ERP waveforms after 1- and 2-Hz highpass (but again with old function). However, if you know Gibb's phenomenon etc and the exact filter order you are using, you would find nothing wrong. Same goes for your/my impression of the 0.1-Hz high-passed data. I would say the waves are drifting and at least bad for the purpose of ICA. But for the researchers of EEG infraslow oscillations, they would say oh it's a good data.<br>
<br>
So there is no good or bad. After averaging several hundred trials, the apparently drifting signals (to my eyes) will produce 'better' ERP waveforms, thanks to the averaging process. If you say you will run ICA on the 0.1-Hz highpassed data, I'd say you shouldn't.<br>
<br>
Stephan Debener's solution is that you apply 1-Hz high-pass on the data, run ICA, copy the weight matrix to the 0.1-Hz high-passed data.<br>
<br>
Makoto<br>
<br>
</span></span><div><div class="h5"><div><div>On Tue, Aug 4, 2015 at 10:20 PM, Kevin Tan <<a href="mailto:kevintan@cmu.edu" target="_blank">kevintan@cmu.edu</a><mailto:<a href="mailto:kevintan@cmu.edu" target="_blank">kevintan@cmu.edu</a>>> wrote:<br>
Hi all,<br>
<br>
There are numerous papers that conclude that >0.1hz high-pass filtering distorts ERPs. However, I notice a lot of remaining drift after 0.1hz hi-pass, especially compared to 1hz hi-pass. I'm using a BioSemi Active2 128ch.<br>
<br>
0.1hz hi-pass:<br>
<a href="https://cmu.box.com/s/1uafw786miveruz85ycj3taxflzg7p7f" rel="noreferrer" target="_blank">https://cmu.box.com/s/1uafw786miveruz85ycj3taxflzg7p7f</a><br>
<br>
1hz hi-pass:<br>
<a href="https://cmu.box.com/s/t1dbzntjcwdrsp734m949xnzmycvpw5p" rel="noreferrer" target="_blank">https://cmu.box.com/s/t1dbzntjcwdrsp734m949xnzmycvpw5p</a><br>
<br>
Is the drift in 0.1hz data ok? I get 'better looking' ERP waveforms & more robust differences between conditions in 0.1hz data – I'm worried this is mostly due to drift.<br>
<br>
The 1hz data has ERP 'distortions': negative slope from start of epoch until P1 & negative deflection of later components. Thus, I'm not comfortable with either of the filters.<br>
<br>
The screenshots show data run only through 1) PREP pipeline 2) high-pass filtering 3) epoching. The final cleaned data shows the same drift.<br>
<br>
My full preproc stream:<br>
<br>
ICA dataset:<br>
- Load PREP'd data<br>
- 1hz hi-pass<br>
- Epoch<br>
- Epoch rejection<br>
- Extended ICA (binica)<br>
- Determine bad ICs<br>
<br>
Final dataset:<br>
- Load (unfiltered) PREP'd data<br>
- 0.1hz hi-pass (tried 1hz for comparison too)<br>
- Epoch<br>
- Generate ICs from matrices of ICA dataset<br>
- Remove bad ICs determined from ICA dataset<br>
- Epoch rejection<br>
- DIPFIT<br>
- Make ERPs<br>
<br>
Any input would be much appreciated!<br>
<br>
Many thanks,<br>
Kevin<br>
--<br>
Kevin Alastair M. Tan<br>
Lab Manager/Research Assistant<br>
Department of Psychology & Center for the Neural Basis of Cognition<br>
Carnegie Mellon University<br>
<br>
</div></div></div></div>Baker Hall 434<<a href="https://www.google.com/maps/place/40%C2%B026%2729.5%22N+79%C2%B056%2744.0%22W/@40.4414869,-79.9455701,61m/data=!3m1!1e3!4m2!3m1!1s0x0:0x0" rel="noreferrer" target="_blank">https://www.google.com/maps/place/40%C2%B026%2729.5%22N+79%C2%B056%2744.0%22W/@40.4414869,-79.9455701,61m/data=!3m1!1e3!4m2!3m1!1s0x0:0x0</a>> | <a href="mailto:kevintan@cmu.edu" target="_blank">kevintan@cmu.edu</a><mailto:<a href="mailto:kevintan@cmu.edu" target="_blank">kevintan@cmu.edu</a>> | <a href="http://tarrlab.org/kevintan" rel="noreferrer" target="_blank">tarrlab.org/kevintan</a><<a href="http://tarrlabwiki.cnbc.cmu.edu/index.php/KevinTan" rel="noreferrer" target="_blank">http://tarrlabwiki.cnbc.cmu.edu/index.php/KevinTan</a>><span class=""><br>
<span><br>
_______________________________________________<br>
Eeglablist page: <a href="http://sccn.ucsd.edu/eeglab/eeglabmail.html" rel="noreferrer" target="_blank">http://sccn.ucsd.edu/eeglab/eeglabmail.html</a><br>
</span></span>To unsubscribe, send an empty email to <a href="mailto:eeglablist-unsubscribe@sccn.ucsd.edu" target="_blank">eeglablist-unsubscribe@sccn.ucsd.edu</a><mailto:<a href="mailto:eeglablist-unsubscribe@sccn.ucsd.edu" target="_blank">eeglablist-unsubscribe@sccn.ucsd.edu</a>><br>
For digest mode, send an email with the subject "set digest mime" to <a href="mailto:eeglablist-request@sccn.ucsd.edu" target="_blank">eeglablist-request@sccn.ucsd.edu</a><mailto:<a href="mailto:eeglablist-request@sccn.ucsd.edu" target="_blank">eeglablist-request@sccn.ucsd.edu</a>><span class=""><br>
<div><div><br>
<br>
<br>
--<br>
Makoto Miyakoshi<br>
Swartz Center for Computational Neuroscience<br>
Institute for Neural Computation, University of California San Diego</div></div></span></blockquote></div><br></div>
</blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature"><div dir="ltr">Makoto Miyakoshi<br>Swartz Center for Computational Neuroscience<br>Institute for Neural Computation, University of California San Diego<br></div></div>
</div></div>