Indizi non verbali di coinvolgimento durante video-interviste: Valutazione da parte di terzi, costruzione e validazione di un training e rilevamento automatico

The use of videoconferencing platforms, through which groups of people can communicate at a distance, has increased in recent years and accelerated after the Covid-19 pandemic forcing the use of remote interactions. These interactions include work-related interactions and certainly also job interviews. This type of recruitment had already started before the outbreak of the pandemic but is certainly expected to become more and more popular in the world of work in the future. To this end, it is essential to consider what are the important components to keep in mind when conducting such an interview. It is also essential to understand how to improve and adapt to the new interview tools. In order to provide a useful tool for both candidates and recruiters, the following project was built. The aim is to make explicit the non-verbal cues that characterise engagement in an interaction, in order to recognise them and, in the case of candidates, use them to improve, in the case of recruiters, modify them on themselves and consider them part of the evaluation expressed. My project consisted of the following studies: A preliminary study thought to identify recurrent movement patterns of parties involved in an interaction from the point of view of Physical Mutual Engagement (PME) was conducted. In this study, participants rated the engagement between parties involved in work-related interactions. A content analysis was conducted on the answers given by the participants to the open-ended questions, in order to identify the behaviours cues of the PME. Therefore 57 engagement cues were found, divided into 9 Behaviours and associated with 8 Meanings. A second study was carried out to validate the non-verbal engagement cues identified in the previous study. To do this, a training was constructed and administered to 20 participants involved in a job interview. In order to check the effectiveness of this training, the participants' behaviour was annotated and analysed. The behaviours of Gaze, Nodding and Smiling were identified. It was also found that the training was effective in increasing Looking into the camera and decreasing Looking away. It was also effective in increasing Nodding but not Smiling. Then, a third study was performed to verify whether the parameters found in the first study could effectively improve PME. The videos collected during the second study have been evaluated by an independent commission in order to determine whether the training had an effect on the participants’ engagement. A comparison was then made between pre and post interval videos’ evaluations. It was found that the training constructed during this project was indeed effective in increasing perceived engagement. Subsequently, a fourth study was carried out in order to check whether the behavioural cues annotated during the second study correlated with the engagement rates assessed by the external evaluators during the previous study. To this end, the average engagement scores found in the third study were compared with the four behavioural cues annotated in the second study. A correlation was found between Gaze behaviour and engagement scores. Higher engagement scores corresponded to higher frequencies of Looks into the camera and lower frequencies of Looks away. However, no correlation was found between Nods and engagement scores, but a slight correlation was found between Smiles and engagement scores. Finally, a fifth study was conducted in order to build a model capable of extracting and predicting the nonverbal cues found and tested in our previous studies, using state-of-the-art machine learning algorithms. The annotated frames of the videos were used to train and test the model using a network for facial recognition. Considerations on the better approach to use to predict the considered behaviours are therefore reported.

L'uso di piattaforme di videoconferenza, attraverso le quali gruppi di persone possono comunicare a distanza, è aumentato negli ultimi anni e si è accelerato dopo la pandemia di Covid-19 che ha costretto l'uso di interazioni a distanza. Queste interazioni includono interazioni legate al lavoro e certamente anche colloqui di lavoro. Questo tipo di reclutamento era già iniziato prima dello scoppio della pandemia, ma è certamente destinato a diventare sempre più popolare nel mondo del lavoro in futuro. A tal fine, è essenziale considerare quali sono le componenti importanti da tenere a mente quando si conduce un colloquio di questo tipo. È anche essenziale capire come migliorare e adattarsi ai nuovi strumenti di intervista. Al fine di fornire uno strumento utile sia per i candidati che per i reclutatori, è stato costruito il seguente progetto. L'obiettivo è quello di rendere espliciti gli spunti non verbali che caratterizzano l'impegno in un'interazione, al fine di riconoscerli e, nel caso dei candidati, utilizzarli per migliorare, nel caso dei selezionatori, modificarli su se stessi e considerarli parte della valutazione espressa. Il mio progetto consisteva nei seguenti studi: È stato condotto uno studio preliminare pensato per identificare i modelli di movimento ricorrenti delle parti coinvolte in un'interazione dal punto di vista del Physical Mutual Engagement (PME). In questo studio, i partecipanti hanno valutato l'impegno tra le parti coinvolte in interazioni legate al lavoro. Un'analisi del contenuto è stata condotta sulle risposte date dai partecipanti alle domande aperte, al fine di identificare i comportamenti spunti del PME. Sono stati quindi trovati 57 spunti di impegno, suddivisi in 9 Comportamenti e associati a 8 Significati. Un secondo studio è stato condotto per convalidare gli spunti di impegno non verbale identificati nello studio precedente. Per fare questo, un training è stato costruito e somministrato a 20 partecipanti coinvolti in un colloquio di lavoro. Per verificare l'efficacia di questo training, il comportamento dei partecipanti è stato annotato e analizzato. Sono stati identificati i comportamenti di Guardare, Annuire e Sorridere. Si è anche scoperto che la formazione è stata efficace nell'aumentare lo sguardo verso la telecamera e nel diminuire lo sguardo altrove. È stato anche efficace nell'aumentare l'annuire ma non il sorridere. Poi, un terzo studio è stato eseguito per verificare se i parametri trovati nel primo studio potevano effettivamente migliorare la PME. I video raccolti durante il secondo studio sono stati valutati da una commissione indipendente al fine di determinare se la formazione avesse un effetto sull'impegno dei partecipanti. È stato quindi fatto un confronto tra le valutazioni dei video pre e post intervallo. È stato riscontrato che la formazione costruita durante questo progetto è stata effettivamente efficace nell'aumentare l'impegno percepito. Successivamente, un quarto studio è stato condotto al fine di verificare se gli spunti comportamentali annotati durante il secondo studio erano correlati con i tassi di impegno valutati dai valutatori esterni durante lo studio precedente. A tal fine, i punteggi medi di impegno trovati nel terzo studio sono stati confrontati con i quattro spunti comportamentali annotati nel secondo studio. È stata trovata una correlazione tra il comportamento dello sguardo e i punteggi di impegno. Punteggi di impegno più alti corrispondevano a frequenze più alte di Sguardi verso la telecamera e frequenze più basse di Sguardi lontani. Tuttavia, nessuna correlazione è stata trovata tra i cenni e i punteggi di impegno, ma una leggera correlazione è stata trovata tra i sorrisi e i punteggi di impegno.