<div dir="ltr">Dear Andreas,<div><br></div><div>> A roughly equivalent Butterworth filter will have an estimated effective (numerically relevant) impulse response duration of 20592 samples (~82s!):<br></div><div><br></div><div>I tried to replicate it with EEGLAB iirfilt() but the filter order was only 6. How did you calculate this number?</div><div><br></div><div>Makoto</div><div><br></div><div><br></div><div class="gmail_extra"><br><div class="gmail_quote">On Fri, Jan 27, 2017 at 2:35 PM, Andreas Widmann <span dir="ltr"><<a href="mailto:widmann@uni-leipzig.de" target="_blank">widmann@uni-leipzig.de</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">Dear Makoto,<br>
<br>
to my understanding these are two different and mostly unrelated issues:<br>
<br>
(1) Recommendations for very low high-pass cutoff frequencies:<br>
The filter implementation (IIR vs. FIR) doesn’t really matter here. It is correct that you need very long epochs to resolve these very low frequencies. However, it is not valid to reverse this conclusion. Also, for short epochs apparently small differences in cutoff frequency may matter. You do filter the continuous data, that is, epoch length does not directly influence the filter effects. High-pass filter distortions (mainly due to larger late and slow components biasing smaller early and fast components) were shown empirically several times, e.g. most convincingly by Acunzo et al.<br>
<br>
But I agree that this issue is a matter of debate (mainly affecting ERP research). Personally, I recommend to individually adjust filter cutoffs to the properties of signal and noise. It is in principle possible to apply higher high-pass cutoff frequencies if noise level really requires this and it is properly demonstrated that filter distortions do not bias the conclusions. But people always ask for general recommendations and you have to be on the save side...<br>
<br>
(2) IIR vs. FIR<br>
In the first part you argue against long impulse response durations. For IIR filters these are usually even (considerably) longer. Besides other issues (as the non-linear phase property of IIR filters and its side-effects) this is the main reason why I do not recommend IIR filters for offline processing in electrophysiology/ERPs. Following your example with a slightly higher cutoff of 0.1 Hz and a Hamming windowed sinc FIR filter you will have a impulse response duration of 4127 samples (~16s). A roughly equivalent Butterworth filter will have an estimated effective (numerically relevant) impulse response duration of 20592 samples (~82s!):<br>
<br>
[b, a]=butter(4, 0.1/125, 'high');<br>
h = impz(b, a);<br>
length(h)*2 % Times 2 as you have to apply the non-linear phase filter in forward and reverse direction to achieve zero-phase doubling the impulse response duration<br>
<br>
Thus, if you define filter efficiency as achieved roll-off per impulse response duration (as I do) IIR filters can be considerably less efficient. Impulse response duration defines the extent the signal is convoluted and artifacts and distortions are potentially smeared.<br>
<span class="gmail-"><br>
> 0.1Hz IIR high-pass filter can be found in EEG amplifiers, so in that sense it is not strange at all.<br>
<br>
</span>IIR filters have their merits if high throughput and/or low delays are required. FIR filters have large delays and are computationally less efficient (there are however highly optimized implementations). Delay and throughput do not matter for offline processing but both are highly relevant in amplifiers and BCI applications. Thus, IIR filters are frequently preferred for online processing (despite non-linear phase).<br>
<span class="gmail-"><br>
> I thought it seemed a bit odd to report it like this in a paper.<br>
<br>
</span>I do not see a problem as long as you reason your approach.<br>
<br>
Best,<br>
Andreas<br>
<div class="gmail-HOEnZb"><div class="gmail-h5"><br>
> Am 27.01.2017 um 21:34 schrieb Makoto Miyakoshi <<a href="mailto:mmiyakoshi@ucsd.edu">mmiyakoshi@ucsd.edu</a>>:<br>
><br>
> Dear Andreas,<br>
><br>
> >> And I still don't like 0.1Hz high-pass if you use FIR<br>
> > Why? What is the problem?<br>
><br>
> Assuming people just enter '0.1' to EEGLAB default FIR filter GUI, it'll apply 0.05Hz cut-off high-pass filter with Hamming window. When the sampling rate is 250Hz, the model order it calculates is 8251, which is 33 sec long. Meanwhile, people are usually only interested in the first few hundreds milliseconds of the averaged signal. And they subtract pre-stimulus baseline mean value from the entire epoch anyway. I don't see much reason to apply 0.1-Hz high-pass filter in these cases. Of course, I saw papers discussing this issue and I have no objection, but intuitively it is still weird to me. I think the point is that people want to claim that ERP is a broadband phenomenon, but the way they demonstrate it is not satisfactory to me.<br>
><br>
> By the way, people often complain about our recommended -1 to 2 sec epoch to be too long, and our recommended 1-Hz high-pass filter too aggressive. But doesn't it makes more sense to apply 1-Hz high-pass filter to 3-sec epoch data, compared with applying 0.1-Hz high-pass for 0.8 sec epoch data? This kind of unbalancedness makes me feel weird.<br>
><br>
> > What would be your suggested alternative?<br>
><br>
> I thought IIR would be more reasonable for such a low cutoff frequency, but I have never tried it myself (as far as I know, clean_rawdata plugin comes with its IIR filter, which could be a part of BCILAB for online processing). It depends on your relative time scale. If I analyze hour-long resting state data to target minute-long slow changes, I would use FIR with no problem.<br>
><br>
> I did not know much about stability issue, but this time you made me learn it a little bit. Thank you Andreas for always pushing my back in this way.<br>
><br>
> Makoto<br>
><br>
><br>
><br>
> On Fri, Jan 27, 2017 at 3:28 AM, Andreas Widmann <<a href="mailto:widmann@uni-leipzig.de">widmann@uni-leipzig.de</a>> wrote:<br>
> Dear Makoto,<br>
><br>
> > And I still don't like 0.1Hz high-pass if you use FIR<br>
> Why? What is the problem? What would be your suggested alternative?<br>
><br>
> > (and I do not know how bad it is to use IIR... I've heard it can become 'unstable' but I've never seen it myself)<br>
> Here you go:<br>
> [b,a]=butter(4,0.1/500,'high')<wbr>;<br>
> isstable(b,a)<br>
> freqz(b,a)<br>
><br>
> But note that possible instability is not the main problem with IIR application in electrophysiology. There are workarounds (e.g. for this example using zpk: [z,p,k]=butter(4,0.1/500,'<wbr>high'); sos=zp2sos(z,p,k); isstable(sos)).<br>
><br>
> Best,<br>
> Andreas<br>
><br>
><br>
> ><br>
> > > I won't be using granger causality but I will be estimating phase during ITC.<br>
> ><br>
> > Should be ok.<br>
> ><br>
> > Makoto<br>
> ><br>
> > On Thu, Jan 26, 2017 at 2:12 PM, Ahmad, Jumana <<a href="mailto:jumana.ahmad@kcl.ac.uk">jumana.ahmad@kcl.ac.uk</a>> wrote:<br>
> > Dear Makoto,<br>
> > I actually switched to the pop eeg filt eeglab function and it now Really attenuated anything >40Hz, and my ERPs are cleaner. However I filtering between 0.1-40Hz at the same time in the GUI (I interned the high pass and low pass simultaneously). Is this OK to do? The frequency response looks OK.<br>
> ><br>
> > The filter order was automatically set very high by the GUI, but it's continuous data and I have room without events at the beginning and end of the data so any edge effects can be disgusted. What do you think?<br>
> ><br>
> > Also, this is for my ERP analysis- I trained ICA on a 1Hz high pass filtered set.<br>
> > I won't be using granger causality but I will be estimating phase during ITC.<br>
> > Best wishes, and thanks,<br>
> > Jumana<br>
> ><br>
> > ------------------------------<wbr>------------<br>
> > Jumana Ahmad<br>
> > Post-Doctoral Research Worker in Cognitive Neuroscience<br>
> > EU-AIMS Longitudinal European Autism Project (LEAP) & SynaG Study<br>
> > Room M1.26.Department of Forensic and Neurodevelopmental Sciences (PO 23) | Institute of Psychiatry, Psychology & Neuroscience | King’s College London | 16 De Crespigny Park | London SE5 8AF<br>
> ><br>
> > Phone: 0207 848 5359| Email: <a href="mailto:jumana.ahmad@kcl.ac.uk">jumana.ahmad@kcl.ac.uk</a> | Website: <a href="http://www.eu-aims.eu" rel="noreferrer" target="_blank">www.eu-aims.eu</a> | Facebook: <a href="http://www.facebook.com/euaims" rel="noreferrer" target="_blank">www.facebook.com/euaims</a><br>
> ><br>
> > From: Makoto Miyakoshi <<a href="mailto:mmiyakoshi@ucsd.edu">mmiyakoshi@ucsd.edu</a>><br>
> > Sent: 26 January 2017 23:49:50<br>
> > To: Ahmad, Jumana<br>
> > Cc: <a href="mailto:eeglablist@sccn.ucsd.edu">eeglablist@sccn.ucsd.edu</a><br>
> > Subject: Re: [Eeglablist] high frequency oscillation- eeg advice<br>
> ><br>
> > Dear Jumana,<br>
> ><br>
> > It's a bad idea to perform ICA with 0.1Hz high-pass filtered data. The cutoff frequency is too low. See this page and the referenced paper.<br>
> ><br>
> > <a href="https://sccn.ucsd.edu/wiki/Makoto%27s_preprocessing_pipeline#High-pass_filter_the_data_at_1-Hz_.28for_ICA.2C_ASR.2C_and_CleanLine.29" rel="noreferrer" target="_blank">https://sccn.ucsd.edu/wiki/<wbr>Makoto%27s_preprocessing_<wbr>pipeline#High-pass_filter_the_<wbr>data_at_1-Hz_.28for_ICA.2C_<wbr>ASR.2C_and_CleanLine.29</a><br>
> ><br>
> > > A 30Hz low pass does not help to get rid of the oscillation, which is really significant in the data.<br>
> ><br>
> > Check the channel frequency spectra and tell me if you see peaks in it. If necessary, you can cut it off using a designed low-pass filter (not like Butterworth...)<br>
> ><br>
> > > I use a butterworth filter, which is good for ERP analysis with low phase distortion.<br>
> ><br>
> > Do not make qualitative judgement just because something is NOT a classic Butterworth. Of course, if the attenuation is small, the phase 'distortion' is small. But if such small attenuation is not useful, it does not help at all! Also, be careful with the word 'phase'. Particularly people who do not know basics of signal processing believe phase as some magical thing. If you are not performing Granger Causality Analysis or something, you don't need to be so worried about phase issue in practice.<br>
> ><br>
> > > I also already run ICA, but in some datasets there is a very significant high frequency oscillation.<br>
> ><br>
> ><br>
> > Remember, to eliminate this is more important than being afraid of qualitative phase issue.<br>
> ><br>
> > > However, I can see the high frequency oscillations in my ERP, which is not ideal and now I need to try and get rid of it further.<br>
> ><br>
> > Can I filter again on top of the data which already has already undergone ICA- I only use ICA to remove blinks?<br>
> ><br>
> ><br>
> > You'd better to filter the data on continuous state. If you need to filter the epoched data, the half of filter length from both ends becomes unreliable.<br>
> ><br>
> > > Should I do cleanline, although it would have to be after ICA now- I read this is not advisable.<br>
> ><br>
> > > Should I use a notch filter?<br>
> ><br>
> ><br>
> > If you see > 20dB line noise, Cleanline may not help. In this case, I would simply apply a designed low-pass filter, either Hamming (-50dB) or Blackman (-70dB) using firfilt(). See 'Tools' -> 'Filter the data' -> 'Windowed sinc FIR filter'.<br>
> ><br>
> > There are different guys saying different things about data preprocessing. It is confusing, I know! The only good solution for this is to become an engineer yourself...<br>
> ><br>
> > Makoto<br>
> ><br>
> ><br>
> ><br>
> > On Tue, Jan 24, 2017 at 7:00 AM, Ahmad, Jumana <<a href="mailto:jumana.ahmad@kcl.ac.uk">jumana.ahmad@kcl.ac.uk</a>> wrote:<br>
> > Hi  Everyone,<br>
> ><br>
> > I am running a large scale ERP analysis. I filtered 1-40Hz (ICA AMICA), or 0.1-40Hz for the ERP dataset. A 30Hz low pass does not help to get rid of the oscillation, which is really significant in the data. I use a butterworth filter, which is good for ERP analysis with low phase distortion.<br>
> ><br>
> > I also already run ICA, but in some datasets there is a very significant high frequency oscillation.<br>
> ><br>
> > I do not use cleanline, which is not typical in the literature I have been basing my pipeline on.<br>
> ><br>
> ><br>
> ><br>
> > However, I can see the high frequency oscillations in my ERP, which is not ideal and now I need to try and get rid of it further.<br>
> ><br>
> > Can I filter again on top of the data which already has already undergone ICA- I only use ICA to remove blinks?<br>
> ><br>
> > Should I do cleanline, although it would have to be after ICA now- I read this is not advisable.<br>
> ><br>
> > Should I use a notch filter?<br>
> ><br>
> ><br>
> ><br>
> > Any help would be appreciated.<br>
> ><br>
> > Best wishes,<br>
> ><br>
> > Jumana<br>
> ><br>
> ><br>
> ><br>
> > ------------------------------<wbr>------------<br>
> ><br>
> > Jumana Ahmad<br>
> ><br>
> > Post-Doctoral Research Worker in Cognitive Neuroscience<br>
> ><br>
> > EU-AIMS Longitudinal European Autism Project (LEAP) & SynaG Study<br>
> ><br>
> > Room M1.09. Department of Forensic and Neurodevelopmental Sciences (PO 23) | Institute of Psychiatry, Psychology & Neuroscience | King’s College London | 16 De Crespigny Park | London SE5 8AF<br>
> ><br>
> ><br>
> ><br>
> > Phone: 0207848 0260| Email: <a href="mailto:jumana.ahmad@kcl.ac.uk">jumana.ahmad@kcl.ac.uk</a> | Website: <a href="http://www.eu-aims.eu" rel="noreferrer" target="_blank">www.eu-aims.eu</a> | Facebook: <a href="http://www.facebook.com/euaims" rel="noreferrer" target="_blank">www.facebook.com/euaims</a><br>
> ><br>
> ><br>
> ><br>
> > ******************************<wbr>******************************<wbr>***************************<br>
> ><br>
> > ******************************<wbr>******************************<wbr>***************************<br>
> ><br>
> > We are currently looking for volunteers with mild intellectual disability to be part of our exciting and world-leading European project into brain development and social behaviour. Please, do get in touch if you know of anyone who may be interested in taking part.<br>
> ><br>
> > ******************************<wbr>******************************<wbr>***************************<br>
> ><br>
> > ******************************<wbr>******************************<wbr>***************************<br>
> ><br>
> ><br>
> ><br>
> ><br>
> > ______________________________<wbr>_________________<br>
> > Eeglablist page: <a href="http://sccn.ucsd.edu/eeglab/eeglabmail.html" rel="noreferrer" target="_blank">http://sccn.ucsd.edu/eeglab/<wbr>eeglabmail.html</a><br>
> > To unsubscribe, send an empty email to <a href="mailto:eeglablist-unsubscribe@sccn.ucsd.edu">eeglablist-unsubscribe@sccn.<wbr>ucsd.edu</a><br>
> > For digest mode, send an email with the subject "set digest mime" to <a href="mailto:eeglablist-request@sccn.ucsd.edu">eeglablist-request@sccn.ucsd.<wbr>edu</a><br>
> ><br>
> ><br>
> ><br>
> > --<br>
> > Makoto Miyakoshi<br>
> > Swartz Center for Computational Neuroscience<br>
> > Institute for Neural Computation, University of California San Diego<br>
> ><br>
> ><br>
> ><br>
> > --<br>
> > Makoto Miyakoshi<br>
> > Swartz Center for Computational Neuroscience<br>
> > Institute for Neural Computation, University of California San Diego<br>
> > ______________________________<wbr>_________________<br>
> > Eeglablist page: <a href="http://sccn.ucsd.edu/eeglab/eeglabmail.html" rel="noreferrer" target="_blank">http://sccn.ucsd.edu/eeglab/<wbr>eeglabmail.html</a><br>
> > To unsubscribe, send an empty email to <a href="mailto:eeglablist-unsubscribe@sccn.ucsd.edu">eeglablist-unsubscribe@sccn.<wbr>ucsd.edu</a><br>
> > For digest mode, send an email with the subject "set digest mime" to <a href="mailto:eeglablist-request@sccn.ucsd.edu">eeglablist-request@sccn.ucsd.<wbr>edu</a><br>
><br>
><br>
><br>
><br>
> --<br>
> Makoto Miyakoshi<br>
> Swartz Center for Computational Neuroscience<br>
> Institute for Neural Computation, University of California San Diego<br>
> ______________________________<wbr>_________________<br>
> Eeglablist page: <a href="http://sccn.ucsd.edu/eeglab/eeglabmail.html" rel="noreferrer" target="_blank">http://sccn.ucsd.edu/eeglab/<wbr>eeglabmail.html</a><br>
> To unsubscribe, send an empty email to <a href="mailto:eeglablist-unsubscribe@sccn.ucsd.edu">eeglablist-unsubscribe@sccn.<wbr>ucsd.edu</a><br>
> For digest mode, send an email with the subject "set digest mime" to <a href="mailto:eeglablist-request@sccn.ucsd.edu">eeglablist-request@sccn.ucsd.<wbr>edu</a><br>
<br>
</div></div></blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature"><div dir="ltr">Makoto Miyakoshi<br>Swartz Center for Computational Neuroscience<br>Institute for Neural Computation, University of California San Diego<br></div></div>
</div></div>