Modeling and Forecasting Electricity Market Variables

In deregulated electricity markets, accurate modeling and forecasting of different variables, e.g. demand, prices, production etc. have obtained increasing importance in recent years. As in most electricity markets, the daily demand and prices are determined the day before the physical delivery by means of (semi-) hourly concurrent auctions, accurate forecasts are necessary for the efficient management of power systems. However, it is well known that electricity (demand/price) data exhibit some specific features, among which, daily, weekly and annual periodic patterns as well as non-constant mean and variance, jumps and dependency on calendar effects. Modeling and forecasting, thus, is a challenging task. This thesis tackles these two issues, and to do this, two approaches are followed. In the first case, we address the issue of modeling and out-of-sample forecasting electricity demand and price time series. For this purpose, an additive component model was considered that includes some deterministic and a stochastic residual components. The deterministic components include a long-term dynamics, annual and weekly periodicities and calendar effects. The first three components were estimated using splines while the calendar effects were modeled using dummy variables. The residual component is instead treated as stochastic and different univariate and multivariate models have been considered with increasing level of complexity. In both cases, linear parametric and nonlinear nonparametric models, as well as functional based models, have been estimated and compared in a one day-ahead out-of-sample forecast framework. The class of univariate models includes parametric autoregressive models (AR), nonparametric and nonlinear regression models based on splines (NPAR) and scalar-response functional models, that in turns can be formulated parametrically (FAR) or non parametrically (NPFAR). The multivariate models are vector autoregressive models (VAR) and functionalresponse, parametric (FFAR) and nonparametric (NPFFAR), models. For this issue, five different electricity markets, namely, British electricity market (APX Power UK), Nord Pool electricity market (NP), Italian electricity market (IPEX), Pennsylvania-New Jersey-Maryland electricity market (PJM) and Portuguese electricity market (OMIE(Po)) were considered for the period 2009 to 2014. The first five years were used for model estimation while the year 2014 was left for one-day-ahead forecasts. Predictive performances are first evaluated by means of descriptive indicators and then through a test to assess the significance of the differences. The analyses suggest that the multivariate approach leads to better results than the univariate one and that, within the multivariate framework, functional models are the most accurate, with VAR being a competitive model in some cases. The results also lead to another important finding concerning to the performance of parametric and nonparametric approach that showed strong linkage with underlying process. Finally the obtained results were compared with other works in the literature that suggest our forecasting errors are smaller compared with the state-of-art prediction techniques used in the literature. In the second part of this thesis the issue of electricity price forecasting is revisited following a completely different approach. The main idea of this approach is that of modeling the daily supply and demand curves, predicting them and finding the intersection of the predicted curves in order to find the predicted market clearing price and volume. In this approach, the raw bids/offers data for demand and supply, corresponding to each (half-) hour is first aggregated in a specific order. The functional approach converts the resulted piece wise curves into smooth functions. For this issue, parametric functional model (FFAR) and the nonlinear nonparametric counterpart (NPFFAR) were considered. As benchmark, an ARIMA model was fitted to the scalar time series corresponding to the market clearing prices obtained from the crossing points of supply and demand curves. Data from Italian electricity market were used for this issue and the results are summarized by different descriptive indicators. As in the first case, results show superior forecasting performance of our functional approach compare to ARIMA. Among different models, the nonparametric functional model produces better results compared to parametric models. Apart from the improvement in forecasting accuracy, it is important to stress that this approach can be used for optimizing bidding strategies. As forecasting the whole curves gives deep insight into the market, our analysis showed that this strategy can significantly improve bidding strategies and maximize traders profit.

Nell’ambito dei mercati elettrici liberalizzati, negli ultimi anni l’interesse verso una buona modellazione e un’accurata previsione di variabili da essi provenienti, ad es. domanda, prezzi, produzione etc., è andato via via crescendo. Ciànche perché in molti mercati elettrici, i prezzi e i volumi giornalieri vengono determinati mediante un sistema di aste (semi-)orarie che ha luogo il giorno precedente a quello della consegna fisica; una previsione accurata permette quindi un’efficiente gestione del sistema elettrico. La modellazione e la previsione di queste variabili, tuttavia, è resa difficile dal fatto che le serie storiche di domanda e prezzi, sono caratterizzate dalla presenza di vari tipi di periodicità, annuale, settimanale e giornaliera, da una media e una varianza che non sono costanti nel tempo, da picchi improvvisi e dalla dipendenza da diversi effetti di calendario. Questa tesi si occupa proprio di questo difficile compito e lo fa seguendo dua approcci principali. Nel primo approccio vengono modellate e previste, in un contesto out-of-sample, le serie storiche della domanda e dei prezzi ufficialmente riportati dal Gestore dei Mercati Energetici. A tal fine, viene considerato un modello a componenti additive che include una parte deterministica ed una componente residua stocastica. La parte deterministica, in particolare, contiene varie componenti che descrivono la dinamica di lungo periodo, quella periodica annuale e settimanale e gli effetti di calendario. Le prime tre componenti vengono stimate utilizzando delle splines del tempo mentre gli effetti di calendario vengono modellati mediante variabili dummy. La componente residuale, invece, viene trattata in maniera stocastica mediante vari modelli, univariati e multivariati, con diversi livelli di complessità. Sia nel caso univariato che in quello multivariato sono stati considerati modelli parametrici e non parametrici, nonché modelli basati sull’approccio funzionale. La classe dei modelli univariati comprende modelli lineari autoregressivi (AR), modelli (auto)regressivi non parametrici e non lineari basati su spline (NPAR) e modelli funzionali a risposta scalare. Questi ultimi, a loro volta, possono essere formulati secondo una specificazione parametrica (FAR) o non parametrica (NPFAR). Relativamente alla classe dei modelli multivariati, invece, sono stati considerati modelli vettoriali autoregressivi (VAR) e modelli funzionali a risposta funzionale, sia nella versione parametrica (FFAR) che in quella non parametrica (NPFFAR). Tutti questi modelli sono stati stimati e confrontati in termini di capacità previsiva nell’ambito della previsione a 1 giorno e out-of-sample. Per verificare le performance dei modelli sono stati considerati i dati provenienti da 5 tra i principali mercati elettrici: il mercato inglese (APX Power UK), il mercato del Nord Pool (NP), quello italiano (IPEX), quello di Pennsylvania-New Jersey-Maryland electricity market (PJM) ed, infine, quello portoghese (OMIE(Po)). Il periodo analizzato va dal 2009 al 2014. I primi cinque anni sono stati utilizzati per la stima dei modelli mentre l’intero 2014 è stato lasciato per le previsioni out-of-sample. La performance predittiva è stata valutata prima mediante indici descrittivi e poi mediante un test statistico per attestare la significatività delle differenze. I risultati suggeriscono che, in generale, l’approccio multivariato produce previsioni più accurate dell’approccio univariato e che, nell’ambito dei modelli multivariati, i modelli basati sull’approccio funzionale risultano i migliori, anche se il VAR è comunque competitivo in diverse situazioni. Questi risultati possono essere letti anche come un segnale della presenza o meno di non linearità nei vari processi generatori dei dati. Anche se il confronto con altri lavori non è mai del tutto omogeneo, gli errori di previsione ottenuti sono tendenzialmente più piccoli di quelli riportati in letteratura. Nella seconda parte della tesi il tema della previsione dei prezzi dell’elettrcità è stato riconsiderato seguendo un percorso completamente diverso. L’idea di fondo di questo nuovo approccio è quella di modellare non le serie dei prezzi di mercato, ma le curve di domanda e di offerta giornaliere mediante modelli funzionali, di prevederle un giorno in avanti, e di trovare l’intersezione tra le due curve previste. Questa intersezione fornisce la previsione della quantità e del prezzo di equilibrio (market clearing price and volume). Questa metodologia richiede di agregare, secondo uno specifico ordine, tutte le offerte di vendita e le richieste di acquisto presentate ogni (mezz’)ora. Ciò produce delle spezzate lineari a tratti che vengono trasformate dall’approccio funzionale in curve liscie (smooth functions). Per questo fine, sono state considerati modelli funzionali parametrici (FFAR) e nonparametrici (NPFFAR). Come benchmark è stato stimato un modello ARIMA scalare alle serie storiche dei prezzi di equilibrio (clearing prices) ottenuti dall’incrocio tra le curve di domanda e di offerta. L’applicazione di questo metodo è stata fatta limitatamente al caso del mercato italiano . Come precedentemente, i risultati suggeriscono una migliore abilità previsiva dell’approccio funzionale rispetto al modello ARIMA. Tra i vari modelli considerati, quello funzionale non parametrico ho fornito i risultati migliori. Va sottolineato poi che un aspetto rilevante, che va oltre il miglioramento nell’accuratezza previsiva, è che l’approccio basato sulla previsione delle curve di offerta e di domanda può essere utilizzato per ottimizzare le strategie di offerta/acquisto da parte degli operatori e, di conseguenza, per massimizzare il profitto dei traders.