Gesture and prosody: cognitive and communicative effort in L1 and L2

Gestures and speech are two interconnected features of human communication. Studies have shown that they develop together and they both covey semantic and pragmatic meanings (Kendon, 2004; McNeill, 1992). Furthermore, gestures seem to be also linked to the prosodic features of speech since they also share synchronicity aspects and are often temporally aligned (McClave, 1991; Esteve-Gibert & Prieto, 2013). The co-production of gestures and speech, thus, seems to have a number of different functions both at the cognitive and at the communicative levels. On the one hand, in fact, gestures seem to help the process of speaking: they have a scaffolding function in the lexical and rhythmical organization of speech and they help information packaging (Butterworth & Beattie, 1978; Esteve-Gibert et al., 2014; Krauss et al, 1996; Kita, 2000, 2010). This is supported by the evidence that speakers gesticulate also when they don’t see their addressees (for example when they are speaking over the phone (Cohen & Harrison, 1973; de Ruiter, 2003). On the other hand, gesturing is intended to communicate and is part of the speaker’s communicative effort (Kendon, 2004). Gestures also play an important role in L2 development and communicative strategies (Gullberg, 1998) and it is possible that L1 gestures influence gestures during L2 language development, and that gestural transfer co-occurs with linguistic transfer (Brown & Gullberg, 2008; Pika, Nicoladis, Marentette, 2006). It has also been suggested that, since gestures play an important role in facilitating language access in speech production, bilingual/L2 speakers may gesture more than monolingual speakers. This would be due to the cognitive load deriving from speaking a different language from the native one (Kita, 2000; Krauss & Hadar, 1999). Until now, gestures and prosody have been studied mostly in their temporal interaction and coordination (McClave, 1991, Loehr, 2004) or in the possible similarities between their pragmatic functions (Tuite, 1993). Little attention has been paid to the relationship between speakers’ global pitch range and use of gestures (and gesture categories) in conditions of high cognitive effort, or when they increase their communicative effort in their speeches. In fact, there seem to be a lack of scientific evidence about the use of pitch and gestures variability as a communicative strategy of the speaker. The aim of this thesis is to investigate aspects of the role and functions of gestures and speech in L1 and L2 and how the cognitive and communicative efforts may influence speakers’ global pitch range and the use of gestures in a story telling task. The investigation consists of two experiments. The first one (presented in chapter 5) aims to examine if speakers’ increase in the communicative effort produces changes in pitch variation and in the use of different categories of gestures. The second one (presented in chapter 6) examines the effects of speakers’ decrease in cognitive effort in the production of speech and gestures. In the first experiment 8 Italian speakers, Italian learners of English (L2) and students of a Public Speaking class, were asked to read and tell a fable in English to their classmates (Italian was used only as a control and recorded only one time). One week later, the subjects were asked to repeat the task with the instruction to be as communicative as possible. The audiovisual material was analyzed with the software Praat (phonetic analysis) and Elan (gesture analysis). For speech, the aim was to examine possible changes in the speakers’ fluency and pitch variation after they received the instruction to be communicative; for gestures, the aim was to examine the variations in both speakers’ overall gesturing and representational gestures in the communicative task. The hypothesis tested was that the communicative task causes an increase in fluency in the L2 (shown through features like a higher speech rate and a decrease of disfluencies and pauses), and that the communicative task leads to an increased use of representational gestures, since they might be considered as helpful for the addressee to better understand what is said. The results of the first experiment led to the conclusion that if a person is asked to be communicative in the L2, they will probably increase both their pitch variation and the total number of gestures produced, with a significant increase in iconic and representational gestures. The results on pitch variation, though, do not exclude the possible effect of other variables, first of all of task repetition. In fact, it is possible that by repeating the task, the speakers became more confident and could be more focused on being more communicative in telling the story. The second experiment tests the effect of task repetition on L2 speech and gesture. In this experiment (chapter 6) only the cognitive facilitation and the effect of the decrease in cognitive load was considered. This time, in fact, the subjects (10 Italian students of English L2) were asked to watch a short cartoon and to tell the story, both in Italian and English, in front of a small audience while being video-recorded. The subjects were asked to repeat the task one week later in the two languages with the same modalities. The analyses followed the same procedure as the previous experiment (chapter 5). The hypotheses tested were that repetition itself could influence the communicativeness of the speakers in both the speech and the gesturing levels, with an increased fluency and a different use of gestures compared to the first narration attempt. This could be caused by the facilitation of the task in terms of cognitive load and better memorization. The results showed that with the decrease of the cognitive load, speakers reach a higher fluency in L2. In Italian, however, the speakers show no significant difference in fluency or liveliness (Hincks, 2005) and this might be due to the fact that repetition and memorization did not help their fluency as much as they did in the L2. As for gestures, the speakers employed a greater number overall gestures when speaking English, their L2. The use of gestures, though, did not change in spite of the repetition, with a greater use of discursive gestures even if representational gestures seem to be used more in the L2 than in Italian. Overall, the investigation shows that the results of the two experiments can be integrated and offer a wider picture on the use of gesture and the employment of representationality with the conscious intent to be communicative. When people are asked to tell a story in a more communicative way, their response is to increase the representationality carried in their gestures and consequently use more representational gestures, this does not occur whenever the subjects only repeat the narration with a lighter cognitive load.

La comunicazione parlata è fortemente legata a quella gestuale. Il sistema gestuale e quello del parlato, infatti, sono considerati parti integranti di uno stesso sistema linguistico all’interno del quale si sviluppano assieme e si condizionano e influenzano l’un l’altro (Kendon, 2004; McNeill, 1992). I gesti, infatti, supportano l’organizzazione e “l’impacchettamento” delle informazioni espresse nel parlato (Information packaging, Kita 2000, Alibali & Kita, 2010). I gesti, inoltre, integrano e contribuiscono alla resa semantica e pragmatica del parlato (Kendon, 2004). Inoltre, la gestualità sembra ricoprire un ruolo anche per quanto riguarda alcuni aspetti ritmico prosodici del parlato, sia nella prima che nella seconda lingua (Esteve-Gibert & Prieto, 2014; McCafferty, 2004). Generalmente, gli studi che mettono in relazione prosodia e parlato si concentrano sulla sincronicità dei picchi intonativi con determinate categorie gestuali (generalmente i beats o batonici, caratterizzati da movimenti ritmici di dita, mani o braccia). Molta meno attenzione è stata data alla relazione esistente fra la variabilità intonativa e l’uso delle categorie gestuali. Mancano quindi studi che investighino il comportamento di gesti e prosodia in condizioni di comunicatività e sforzo cognitivo differente. Anche se diverse lingue hanno diverse caratteristiche prosodiche e intonative che le contraddistinguono, esistono comunque degli universali prosodici (Ladd, 2008) che caratterizzano il parlato e ne comunicano alcuni aspetti pragmatici (un universale prosodico, ad esempio, è l’alzarsi del contorno intonativo quando la frase viene interrotta da una pausa ma non è ancora considerata conclusa dal parlante). Per esempio, è stato dimostrato che la variabilità dell’intonazione influenza la percezione della vivacità del discorso (Hincks, 2004, 2005). Ne potrebbe essere una dimostrazione il fatto che, nei corsi di public speaking, gli studenti vengano incitati a modulare il tono di voce in modo tale che risulti variato. Un’altra istruzione che viene data agli studenti di public speaking riguarda la modulazione del proprio linguaggio del corpo e, quindi, della gestualità. Slemberebbe in fatti che anche la variabilità del linguaggio del corpo abbia come effetto la percezione di una maggiore vivacità comunicativa e aiuti quindi l’ascoltatore. Tuttavia, nel panorama della ricerca scientifica, scarseggiano gli studi che dimostrano l’esistenza una relazione tra la variabilità dell’intonazione e dei gesti del parlante. Una parte consistente del lavoro di questa tesi è infatti rivolto all’approfondimento della funzione comunicativa di gesti e intonazione e alla verifica di possibili correlazioni fra questi due aspetti. Un’altra questione che viene affrontata all’interno di questa tesi è l’effetto della ripetizione e la conseguente facilitazione del compito di narrazione in L2. Comunicare in una lingua straniera, infatti, comporta un complesso sforzo cognitivo: oltre a dover organizzare il discorso e recuperare il lessico adeguato, il parlante deve conferire al proprio discorso anche la pronuncia, la prosodia e il ritmo della lingua che sta parlando. Questo sforzo cognitivo può portare a una diminuzione della fluenza, ad un aumento di esitazioni nel parlato ed a una minore variabilità intonativa (Zimmerer et al. 2014). Un aspetto che verrà investigato all’interno di questo lavoro riguarda, appunto, il rapporto fra la facilitazione del compito narrativo in L2, attraverso la ripetizione del task narrativo, e l’uso di prosodia e gesti. Questa tesi si inserisce negli studi relativi a gesti e prosodia e si focalizza sulle differenze gestuali e prosodico-intonative in parlanti L2 di inglese che raccontano una favola e la ripetono poi a distanza di una settimana. L’ipotesi che ho voluto testare è che quando cambia il contesto comunicativo cambia anche la gestualità e alcuni aspetti ritmici e linguistici del parlato. In particolare, quando domina la funzione cognitiva del parlato, e quindi il soggetto si concentra sulla struttura della storia, prevalgono gesti di tipo ritmico-discorsivo anche associati alle esitazioni del parlante; quando invece domina la funzione comunicativa, aumentano i gesti di tipo rappresentativo e diminuiscono le esitazioni nel parlato. Il lavoro è strutturato in due parti: la prima parte, Theoretical Background, è intesa come la presentazione dell’argomento e della letteratura riguardante i temi d’interesse. La seconda parte riguarda i due esperimenti condotti per testare le ipotesi di ricerca. Più nello specifico questo lavoro è strutturato in 7 capitoli così suddivisi: Dopo l’introduzione al lavoro generale, il primo capitolo riguarda una presentazione generale sugli studi sulla gestualità, iniziando dalla definizione di gesto e dai criteri che rendono possibile la distinzione di un gesto da un non-gesto. In questo capitolo, inoltre, viene spiegata l’anatomia dei gesti e l’uso dello spazio da parte dei parlanti. Infine, vengono presentate le principali categorizzazioni che sono state date dai principali studiosi. Lo studio dei gesti, infatti, è una disciplina relativamente giovane, che si è sviluppata soprattutto a partire dalla seconda metà del novecento e per la quale non sono ancora state definite categorie univoche. Il seguente capitolo (capitolo 2), tratta la relazione dei gesti con il parlato. Il rapporto esistente fra parlato e gesti non è del tutto chiaro. Se da una parte, infatti, i gesti e il parlato sono considerati parte di uno stesso sistema linguistico che si sviluppa e interagisce nell’atto comunicativo (McNeill, 1992; Kendon, 2004), dall’altra essi vengono considerati come il risultato di due processi indipendenti (Hostetter, Alibali & Kita, 2007). In generale, comunque, i gesti possono in alcuni casi sostituirsi al parlato, in altri, arricchire il significato semantico e pragmatico di ciò che viene detto, o possono marcarne il ritmo (McNeill, 1992). All’interno di questo capitolo, viene inoltre discusso il rapporto che gesti e parlato hanno sullo sviluppo della prima lingua e sull’apprendimento della seconda lingua, nonché le funzioni che i gesti hanno nella narrazione. Il capitolo 3 si focalizza sul dibattito riguardante le funzioni cognitive e comunicative dei gesti partendo da considerazioni e studi da considerarsi fondativi in questo ambito. Nella prima parte del capitolo vengono presentati i più importanti studi a supporto dell’idea che i gesti siano principalmente legati alle funzioni cognitive e quindi organizzative e lessicali del parlato (v. Beattie & Coughlan, 1999; Hadar & Butterworth, 1997; Rauscher et al., 1996; Kita, 2000, 2010; Krauss et al., 1996). La seconda parte del capitolo illustra gli studi che si concentrano sulla funzione comunicativa e pragmatica che i gesti ricoprono nel parlato (Bavelas et al. 2008; Kendon, 1985, 2004) e, nello specifico, su quale sia il ruolo che i gesti iconici hanno nella comunicazione (v. Cohen & Harrison, 1973; Melinger & Levelt, 2004), Il quarto capitolo è dedicato alla prosodia e alla sua relazione con il sistema gestuale nel parlato. In questo capitolo vengono chiariti i concetti di intonazione e variabilità intonativa sia in L1 che in L2 (v. Hincks, 2004; Mennen et al. 2007; Patterson, 2000). La seconda parte, Experimental analyses, comprende i capitoli 5, 6 e 7 dedicati al lavoro sperimentale. Nel quinto capitolo viene esposto il primo dei due lavori sperimentali. L’ipotesi di partenza è quella che un maggiore sforzo comunicativo da parte del parlante L2 abbia come effetti, da un lato, una maggiore variabilità intonativa rispetto a quella della L1; dall’altra un uso distinto dei gesti rispetto alla condizione L2 nella quale tale sforzo comunicativo è meno consapevole. Il primo dei due effetti, la maggiore variabilità intonativa, sarebbe dovuto al fatto che i soggetti si concentrano maggiormente nella resa comunicativa del parlato e quindi riescono a conferire una variabilità intonativa. In particolare, i parlanti riescono ad avere un’intonazione più simile a quella della L2 (che in questo caso è l’inglese, generalmente percepito come una lingua con maggiore variabilità rispetto all’italiano). Il secondo effetto sarebbe invece dovuto al fatto che i soggetti, per risultare più comunicativi, si concentrerebbero su quei gesti che considerano più importanti a livello comunicativo e percettivo. Il primo esperimento ha coinvolto otto studentesse, frequentanti un corso di Public Speaking all’interno dell’Università di Padova. Alle studentesse è stata fatta leggere la favola di Esopo “Il corvo e la volpe” ed è stato chiesto loro di raccontare la storia due volte: la prima senza ricevere alcuna istruzione specifica e la seconda con la richiesta di cercare di essere il più comunicative possibile. L’analisi del corpus di materiale audiovisivo è stata effettuata: • Tramite un’analisi fonetico-prosodica degli audio (con l’utilizzo del software Praat http://www.fon.hum.uva.nl/praat/) con il quale sono stati misurati: disfluenze, ripetizioni, correzioni, pause piene, pause silenti e pause respiratorie, altezza tonale. Sono state inoltre conteggiate le parole. • Tramite l’analisi gestuale del corpus di video (con l’utilizzo del software Elan, https://tla.mpi.nl/tools/tla-tools/elan/download/) con cui sono stati analizzati i gesti concomitanti al parlato suddividendoli in macro-categorie (rappresentazionali, che descrivono caratteristiche fisico o metaforiche dell’oggetto del discorso; discorsivi, che hanno una relazione ritmica con il parlato e che ne marcano continuità e coesione; emblemi, gesti tipici di una cultura e che sono capiti e condivisi solo da chi fa parte di un determinato gruppo linguistico e/o sociale). I risultati di questo primo esperimento suggeriscono che un maggiore sforzo comunicativo porta ad un aumento della quantità di gesti totali e della percentuale di gesti di tipo iconico-rappresentazionali, oltre che ad una maggiore fluenza, e ad un uso più variato dell’altezza tonale da parte dei soggetti sperimentali. Tale risultato porta alla conclusione che, quando viene richiesto loro di essere comunicativi, i parlanti migliorano la fluenza del parlato, modificano la variazione dell’altezza tonale e implementano un numero maggiore di gesti iconici. Il sesto capitolo è dedicato alla seconda ricerca sperimentale, nella quale le parlanti sono state registrate fuori dal contesto di insegnamento e, nella seconda ripetizione, non è stato chiesto loro di concentrarsi sulla resa comunicativa del proprio racconto. L’esperimento mira ad integrare i risultati raggiunti dall’esperimento con focus sulla resa comunicativa dei soggetti e vuole verificare quali siano le differenze prosodico-gestuali in un contesto in cui alle parlanti (in questo caso sia di L1 che di L2) viene richiesto solamente di ricordare e ripetere il racconto senza dover migliorare la propria performance comunicativa. Nel secondo esperimento sono state coinvolte 10 studentesse di lingue e linguistica di età compresa fra i 22 e i 25 anni, con livello B2 di inglese (CEFR). Alle studentesse è stato fatto vedere un video con un breve cartone animato che illustrava la favola “Il Corvo e la Volpe” di Esopo. Subito dopo aver visto il cartone, le ragazze sono state videoregistrate mentre raccontavano la storia sia in italiano che in inglese. Le stesse studentesse hanno ripetuto l’esperimento dopo una settimana. Per evitare l’effetto di common ground, per il quale si omettono informazioni verbali quando l’interlocutore condivide o è a conoscenza di ciò di cui si sta parlando, il pubblico al quale le studentesse raccontavano la storia è stato cambiato ad ogni ripetizione, sia in italiano che in inglese. Le seguenti analisi sono state effettuate sul materiale audiovisivo: • Analisi fonetico-prosodica del materiale audio con il software di analisi acustica Praat (disfluenze, ripetizioni, correzioni, pause piene, pause silenti e pause respiratorie, altezza tonale). Sono state inoltre conteggiate le parole. • Analisi gestuale del materiale visivo con il software di analisi multimodale Elan. Per poter confrontare i risultati con quelli ottenuti nel primo esperimento, l’annotazione dei gesti co-occorrenti al parlato ha mantenuto la stessa categorizzazione dei gesti in macro-categorie: representational, che comprende tutti i gesti di tipo rappresentazionale, che indicano o rappresentano fisicamente o metaforicamente l’oggetto o l’azione di cui si parla; discursive (ritmico-discorsivi), cioè tutti quei gesti che aiutano il parlante ad organizzare il proprio discorso e/o a marcarne il ritmo. I risultati di questo esperimento hanno mostrato che, nonostante ci sia un effetto di ripetizione, che comporta un miglioramento nella fluenza del parlato (soprattutto in L2, condizione nella quale la differenza fra le due ripetizioni è risultata statisticamente significativa), le parlanti non modificano significativamente i gesti. Il settimo capitolo è dedicato all’integrazione dei risultati e delle conclusioni delle due ricerche e quindi alle considerazioni finali. I risultati dei due esperimenti conducono alla conclusione che all’aumentare dello sforzo comunicativo da parte dei parlanti corrisponde anche una maggiore gestualità, visibile in particolare nell’aumentare della quantità di gesti appartenenti alla macro-categoria rappresentativa (representational). Allo stesso tempo, la riduzione dello sforzo cognitivo nella seconda ripetizione comporta effetti sia sul parlato che sui gesti. Nel parlato, il fatto di essere di fronte ad un compito relativamente più facile (per effetto della ripetizione della storia) porta le studentesse a migliorare la loro fluenza in L2 (si riducono le disfluenze come esitazioni, pause piene, correzioni e ripetizioni). La maggiore facilità nel raccontare la storia, inoltre, permette di aumentare significativamente la variazione dell’altezza tonale nella seconda ripetizione in L2, consentendo alle studentesse di imitare le caratteristiche prosodiche dell’inglese. Dal punto di vista gestuale, invece, non si presentano differenze statisticamente rilevanti fra le ripetizioni, né in italiano, né in inglese. L’unica differenza significativa rilevata è quella dell’uso della categoria rappresentazionale fra la prima ripetizione in Italiano e la prima in inglese. Quando raccontano la storia in inglese, infatti, le studentesse usano un maggior numero di gesti di tipo rappresentazionale, suggerendo così che la rappresentazionalità dei gesti non è solo effetto del maggior intento comunicativo (come si era visto nel primo esperimento) ma è anche effetto del minor sforzo cognitivo. La tesi termina con le considerazioni finali e conclusive sul lavoro svolto e sui risultati ottenuti.