PROCESSAMENTO E RILEVAMENTO DI ESPRESSIONI FACCIALI EMOTIVE SPONTANEE E SIMULATE

Facial expressions are the most effective and reliable indicator of emotional states. However, people are adept at modulating and falsifying their emotional expressions according to their needs, completely changing the observer’s perception and reaction. A new validated dataset displaying more than 1450 clips of both spontaneous and posed emotional facial expressions was created for a dual purpose: discriminate spontaneous and posed emotions according to the facial movements (detection section) and investigate how the brain extracts the genuineness of emotional expressions (perception section). In the detection part, Machine Learning models were applied to the clips in order to discriminate spontaneous from posed emotion automatically. Results yielded high accuracies in genuineness discrimination (up to 84.4% accuracy). Moreover, for the first time, the 3-D motion analysis was applied to the study of spontaneous and posed dynamic facial expressions of happiness to detect subtle movements in terms of space, time, and speed. Results revealed that the mouth widening and the speed of smiles are greater in posed than spontaneous happiness. In the perception section, time-frequency EEG analysis was used to compare the perception of three spontaneous and posed emotional facial expressions: happiness, disgust, and fear. Overall, strong differences in both the timing and the topography of the canonical EEG bands were observed, revealing how spontaneous and posed emotions are processed differently in our brains. In particular, compared to genuine happiness, posed happiness revealed increased delta and theta power at the onset and offset of the facial expressions over frontal sites. Compared to posed fear, genuine fear elicits an increase in alpha and beta bands followed by an increase in theta activity. Finally, for facial expressions of disgust, we found an early increased theta, alpha, and beta activity for the posed expressions, followed by increased activity in alpha and beta bands during the perception of genuine disgust. The implications and applications of these studies are discussed in light of the state of art of lie detection, psychology of emotions, and the AI field.

Le espressioni facciali sono gli indicatori emozionali più efficaci e affidabili di cui siamo dotati. Tuttavia, è ben noto come gli esseri umani siano abili nel modulare e falsificare le proprie espressioni facciali a seconda dei loro bisogni e situazioni sociali, influenzando implicitamente la percezione e reazione dell’osservatore. Nella seguente ricerca, un nuovo dataset di espressioni facciali ritraenti emozioni è stato creato con il duplice obiettivo di: cercare di discriminare automaticamente la genuinità delle emozioni in accordo ai movimenti facciali esibiti (sezione del “rivelamento della menzogna”), e investigare come il cervello percepisce la visione di espressioni facciali emotive genuine e simulate (sezione del “processamento della genuinità emotiva”). Nella sezione del rivelamento della menzogna, modelli di apprendimenti automatico sono stati implementati e applicati ai video ritraenti emozioni facciali, con il fine di classificare quando una persona stava esprimendo l’emozione in modo sincero o simulato. I risultati confermano un’alta accuratezza (fino all 84%) nella classificazione della genuinità. Inoltre, accurate analisi cinematica sono state svolte per lo studio del sorriso genuino e simulato, investigando le più minime differenze sia in termini di spazio e tempo dei movimenti facciali. I risultati rivelano che l’apertura degli angoli della bocca, così come la loro velocità di movimento, sia più elevata nel sorriso simulato. Nella sezione del “processamento della genuinità emotiva”, sono state utilizzate analisi EEG Tempo Frequenza per comparare la percezione di tre emozioni genuine e simulate: felicità, disgusto e paura. Nel complesso, sono state osservate forti differenze sia nella tempistica che nella topografia delle canoniche bande EEG, suggerendo come le emozioni spontanee e simulate vengano elaborate in modo diverso nel nostro cervello. In particolare, rispetto alla felicità genuina, la felicità simulata ha rivelato un aumento della banda delta e theta all'inizio e alla fine delle espressioni facciali sui siti frontali. Per quanto riguarda la paura, la paura genuina, rispetto alla controparte simulata, provoca un aumento delle bande alfa e beta seguito da un aumento dell'attività theta. Infine, per le espressioni facciali di disgusto, è stato riscontrato un aumento precoce dell'attività theta, alfa e beta per le espressioni simulate, seguita da una maggiore attività nelle bande alfa e beta durante la percezione del disgusto genuino. Le implicazioni e le applicazioni di questi studi sono discusse alla luce dello stato dell'arte della rilevazione della menzogna, della psicologia delle emozioni e del campo dell'intelligenza artificiale.