Bayesian modeling of temporal expectations in the human brain

The ability to predict when a relevant event might occur is critical to survive in our dynamic and uncertain environment. This cognitive ability, usually referred to as temporal preparation, allows us to prepare temporally optimized responses to forthcoming stimuli by anticipating their timing: from safely crossing a busy road during rush hours, to timing turn taking in a conversation, to catching something in mid-air, are all examples of how important and ubiquitous temporal preparation is in our everyday life (e.g., Correa, 2010; Coull & Nobre, 2008; Nobre, Correa, & Coull, 2007). In laboratory settings, temporal preparation has been traditionally investigated, in its implicit form, through the “variable foreperiod paradigm” (see Coull, 2009; Niemi & Näätänen, 1981, for a review). In such a paradigm, the foreperiod is a time interval of variable duration that separates a warning stimulus and a target stimulus requiring a response. What is usually observed with this paradigm is that response times (RTs) reflect the temporal probability of stimulus onset: RTs decrease with increasing probability. This implies that participants learn to use the information implicitly afforded by the passage of time and that related to the temporal probability of the onset of the target stimulus (i.e., hazard rate; Janssen & Shadlen, 2005). In other words, it seems that they are able to use predictive internal models of event timing in order to optimize behaviour. Despite previous studies have started to investigate which brain areas encode temporal probabilities (i.e., predictive models) to anticipate event onset (e.g., Bueti, Bahrami, Walsh, & Rees, 2010; Cui, Stetson, Montague, & Eagleman, 2009; also see Vallesi et al., 2007), to our knowledge, there is no evidence on how the brain does form and update such predictive models. Based on such premises, the overarching goal of the present PhD project was to pinpoint the neural mechanisms by which predictive models of event timing are dynamically updated. Moreover, given that in real life updating usually occurs in the presence of surprising events (i.e. low probable events under a predictive model), it is challenging to disentangle between updating and surprise (O’Reilly et al, 2013). Therefore, our second and interrelated research goal was to understand whether, and to which extent, it is possible to dissociate between the neural mechanisms specifically involved in updating and those dealing with surprising events that do not require an update of internal models. To accomplish our research goals, we capitalized on both state-of-the-art methodologies [i.e., functional magnetic resonance imaging (fMRI) and electrophysiology (EEG)] and computational modelling. Specifically, we considered the brain like a Bayesian observer. Indeed, Bayesian frameworks are gaining increasing popularity to explain cognitive brain functions (Friston, 2012). In a nutshell, the construction of computational Bayesian models allows us to quantitatively describe temporal expectations in terms of probability distributions and to capture updating using Bayes’ rule. In order to accomplish our goals, the present PhD project is composed of three studies. In the first two studies we implemented a version of the foreperiod paradigm in which participants could predict target onsets by estimating their underlying temporal probability distributions. During the task, these distributions changed, hence requiring participants to update their temporal expectations. Furthermore, a simple manipulation of the colors in which the target were presented (cf., O’Reilly et al., 2013) allowed us to independently vary updating and surprise across trials. Then, we constructed a normative Bayesian learner (a computational model adapted from O’Reilly et al., 2013) in order to obtain an estimate of a participant’s temporal expectations on a trial-by-trial basis. In Study 1, trial-by-trial fMRI data acquired during our foreperiod paradigm were correlated with two information theoretical parameters calculated with reference to our Bayesian model: the Kullbach-Leibler divergence (DKL) and the Shannon’s information (IS). These two measures have been previously used to formally describe belief updating and surprise associated with events under a predictive model, respectively (e.g., Baldi & Itti, 2010; Kolossa, Kopp, & Fingscheidt, 2015; O'Reilly et al., 2013; Strange et al., 2005). Our results showed that the fronto-parietal network and the cingulo-opercular network were differentially involved in the updating of temporal expectations and in dealing with surprising events, respectively. Having successfully validated the use of Bayesian models in our first fMRI study and dissociated between updating and surprise, the next step was to investigate the temporal dynamics of these two processes. Do updating and surprise act on similar or distinct processing stage(s)? What is the time course associated with the two? To address these questions, in Study 2 participants performed our adapted foreperiod task (same task as in Study 1) while their EEG activity was recorded. In this study, we relied on the literature on the P3 (a specific ERP component related to information processing) and the Bayesian brain (e.g., Kopp, 2008; Kopp et al., 2016; Mars et al., 2008; Seer, Lange, Boos, Dengler, & Kopp, 2016). Importantly, however, we also took advantage from the combination of a mass-univariate approach with novel deconvolution methods to explore the entire spatio-temporal pattern of EEG data. This enabled us to extend our analyses beyond the P3 component. Results from study 2 confirmed that surprise and updating can be differentiated also at the electrophysiological level and that updating elicited a more complex pattern than surprise. As regards the P3 in relation to the literature on the Bayesian brain (Kolossa, Fingscheidt, Wessel, & Kopp, 2013; Kolossa et al., 2015; Mars et al., 2008), our findings corroborated the idea that such a component is selectively modulated by surprise and updating. While in Studies 1 and 2, participants were explicitly encouraged to form and update temporal expectations using the target color, in Study 3 we wanted to make a step further by asking whether the use of a more implicit task structure might influence the construction of the predictive internal model. To that aim, during the foreperiod task designed for the third study, participants were not explicitly informed about the presence of the underlying temporal probability distributions from which target onsets were drawn. In this way, we aimed to investigate behavioural and EEG differences in the way participants learnt to form and updated temporal expectations when changes in the underlying distributions were not explicitly signalled. Critically, we again found that surprise and updating could be differentiated. Moreover, coupled with the results from study 2, we isolated two EEG signatures of the inferential process underlying updating of prior temporal expectations, which responded to both explicit and implicit contextual changes. Overall, we believe that the results of the present PhD project will further our understanding of the cognitive processes and neural mechanisms that allow us to optimize our temporal preparation abilities.

Saper anticipare il tempo di occorrenza di un evento è una capacità necessaria alla sopravvivenza. Quest’abilità cognitiva, cui di solito ci si riferisce con il termine di preparazione temporale, ci permette di preparare in maniera temporalmente ottimizzata delle risposte a stimoli imminenti. Dal punto di vista sperimentale, la preparazione temporale è stata tradizionalmente studiata usando compiti di foreperiod. Con il termine foreperiod s’intende l’intervallo di tempo che separa un segnale di allerta da un target che richiede una risposta. Dai risultati comportamentali di questo compito si osserva di solito che i tempi di risposta riflettono la probabilità a priori di occorrenza del target condizionata allo scorrere del tempo. In altre parole, sembra che le persone abbiano dei modelli predittivi interni di aspettativa temporale che usano per ottimizzare il loro comportamento. Nonostante studi precedenti hanno ampliamente studiato i meccanismi neurali che utilizzano tali modelli di predizione temporale, non ci sono studi, sulla base delle nostre conoscenze, che abbiano studiato come il cervello forma e aggiorna tali modelli. Su queste premesse, lo scopo generale di questo progetto di dottorato è stato quello di individuare i meccanismi neurali coinvolti nell’updating, cioè aggiornamento, di modelli di predizione temporale. Un secondo, ma strettamente legato, obiettivo è stato quello di distinguere tali processi di updating da quei meccanismi coinvolti nel far fronte a eventi sorprendenti. È da notare, infatti, che l’aggiornamento delle aspettative avviene solitamente di fronte ad eventi poco probabili per il modello, cioè sorprendenti. Per raggiungere questi obiettivi ci siamo serviti delle tecniche più diffuse nello studio funzionale del cervello, cioè l’elettroencefalografia (EEG) e la risonanza magnetica funzionale (fMRI) utilizzando un approccio di tipo computazionale legato all’ipotesi del cervello bayesiano. Quest’ approccio consiste nell’implementare un modello di osservatore ideale che permetta di rappresentare quantitativamente l’aspettativa temporale in termini di distribuzioni di probabilità. La seguente dissertazione è composta di tre studi. Nei primi due studi abbiamo utilizzato un compito di foreperiod in cui i partecipanti potevano predire il tempo di occorrenza dei target stimandone la probabilità temporale di occorrenza. Durante il compito, la distribuzione reale da cui venivano estratte le durate di foreperiod, cambiava, e ciò richiedeva ai partecipanti di aggiornare i loro modelli di predizione. Per decorrelare sorpresa e updating, in questi due studi abbiamo utilizzato una manipolazione che segnalava esplicitamente ai partecipanti se un evento sorprendente era utile o no nel predire i futuri eventi. Nel primo studio, il segnale fMRI acquisito durante il compito è stato correlato a due misure delle teoria dell’informazione calcolate sulla base del nostro modello bayesiano ed utilizzate in precedenza per quantificare l’updating e la sorpresa associate a un evento, la Kullbach Leibler divergence e la Shannon’s information. I nostri risultati hanno mostrato che due network cerebrali di controllo cognitivo, il network fronto-parietale e il network cingolo-opercolare erano differentemente modulati da updating e sorpresa. Dopo aver validato il nostro modello nel primo studio e aver dissociato updating e sorpresa, il passo successivo è stato quello di studiare le dinamiche temporali di questi due processi. A tale scopo, nel secondo studio, abbiamo condotto uno studio EEG con lo stesso compito di foreperiod. I risultati hanno mostrato che anche a livello di segnale EEG è possibile dissociare updating e sorpresa. Mentre nei primi due studi i partecipanti erano esplicitamente incoraggiati ad aggiornare le loro aspettative temporali, nel terzo studio (EEG) ci siamo chiesti se l’utilizzo di un compito più implicito potesse influire sui processi di updating. A tal scopo, abbiamo utilizzato un task in cui i cambi di durata dei foreperiod non erano segnalati esplicitamente. Così facendo abbiamo potuto esaminare come i partecipanti aggiornavano le loro aspettative temporali in presenza di cambiamenti nel compito non esplicitamente segnalati. Integrando i due studi EEG, siamo riusciti a isolare due indici elettrofisiologici coinvolti nell’updating temporale in risposta a cambiamenti nel compito sia espliciti che impliciti.