Confluence: contributions from embodiment, physiological computing and subliminal perception to new forms of human-computer interaction

The present work is part of that research field that has been called Human-Computer Confluence (HCC) and that aims at investigating the emerging symbiotic relationship between humans and computers. The idea of human-computer symbiosis is not novel, indeed it dates back to 1960 when Licklider borrowed from biology the notion of symbiosis between different organisms to depict a new vision of the relationship between humans and computers (Licklider, 1960). Licklider envisioned a partnership in which men set the goals, formulate the hypotheses, determine the criteria, and perform evaluations, and computers do the routinizable work. The purpose of the author was to envision a dyad in which computing machines and human brain were so tightly coupled in a mutually beneficial relationship to remember the way in which the insect Blastophaga grossorum and a fig tree relate to each other in a fruitful cooperation. The interest in symbiotic interaction has been recently renewed. This is witnessed both by the emergence of dedicated international workshops and by the recent enrichment of the scientific literature on this subject, and also by the attention and substantial funding that the European Com-mission is dedicating to projects related to this topic. The present work aims at analyzing and understanding some aspects that, at different levels, can contribute to a symbiotic relationship, in particular in the field of information exploration systems. To this end, some experiments have been conducted to investigate: • The relevance to symbiotic relationships of an embodied interaction within an immersive mixed-reality environment. • The User experience (UX) and learning performance while the user interacts with large datasets within an immersive, adaptive environment and while the system was equipped with sensing technologies to compute the user’s psychophysiological state. • The use of a subliminal technique to bias the user’s selection behavior in a 3D virtual environment. The work starts with an overview of theoretical efforts on symbiotic systems, from the origin of the idea (Licklider, 1960) to the more recent definitions informed by the recent advances in technology. After a review of research testifying the recent renewed interest in the topic, the work continues offering a discussion about theoretical contributions from other frameworks to the symbiotic systems theory. In particular, contributions from Telepresence, Persuasive technologies, Embodied interaction, Affective and Physiological computing have been considered and discussed. The first study aimed at measuring and comparing both UX and performance related to different ways to interact with virtual objects in a mixed-reality environment. In particular, we compared the most common way to input commands to a computer, that is, through the keyboard and mouse with an embodied interaction exploiting natural gestures and body movements. Results showed that, despite the performance (in term of task execution time) was greater with the keyboard and mouse, the UX was better with the embodied interaction system. The second study aimed at investigating the learning performance and the UX during the interaction with a neuroscience dataset within a mixed-reality environment. Important, the system was endowed with wearable sensing technology to compute the psy-chophysiological state of the user during his/her interaction. The purpose was to make the system adaptive, namely, capable to perform in real time some adjustments of information displayed according to the user’s state in order to support his/her task. Results showed that the system was able to facilitate the user’s task, leading to better learning performance and UX. The third study aimed at investigating the efficacy of the subliminal cueing in biasing the participants’ selection behavior in a forced-choice task between objects in a 3D virtual environment (VE) representing a realistic scenario. Results showed a significant effect of subliminal cueing on the selection behavior demonstrating the feasibility of subliminal cueing in VEs. The results also highlighted some peculiar characteristics of the subliminal cueing, like the short duration of its effect. These findings are relevant and suitable to inform the design of novel interfaces that exploit subliminal stimuli as an additional communication channel between the computer and the user. In the conclusion the results of the studies are discussed and evaluated.

Il presente lavoro è parte di quel campo di ricerca che prende il nome di Human-Computer Confluence (HCC) e che si prefigge di indagare l’emergente relazione sim-biotica tra umani e computer. L’idea di simbiosi tra uomo e computer non è nuova, in-fatti risale al 1960 quando Licklider ha preso in prestito dalla biologia la nozione di simbiosi tra diversi organismi allo scopo di descrivere una nuova possibile relazione tra uomo e computer (Licklider, 1960). Licklider ha immaginato una collaborazione nella quale l’uomo definisce gli obiettivi, formula le ipotesi, determina i criteri ed esegue le valutazioni, e i computer realizzano il lavoro routinario. Lo scopo dell’autore era quello di immaginare una diade nella quale i computer e il cervello umano fossero cosi stret-tamente accoppiati in una relazione reciprocamente vantaggiosa da ricordare il modo in cui l’insetto Blastophaga grossorum e l’albero di fico sono uniti l’uno all’altro da una cooperazione produttiva. L’interesse verso la simbiosi tra uomo e macchina si è recen-temente rinnovato. Questo rinnovamento è testimoniato sia dall’emergere di workshop internazionali, sia dal recente arricchimento della letteratura scientifica su questo tema, sia infine dall’attenzione e dai cospicui finanziamenti che la Commissione Europea sta dedicando a progetti legati a questo argomento. Il presente lavoro si prefigge lo scopo di analizzare e comprendere alcuni aspetti che, a diversi livelli, possono contribuire a stabilire una relazione simbiotica, in particolare, nel campo dei sistemi di esplorazione dell’informazione. A questo scopo, sono stati condotti alcuni esperimenti per indagare: • L’importanza per i sistemi simbiotici di una interazione “embodied” all’interno di ambienti di “realtà mista” altamente immersivi. • La User experience (UX) e la performance di apprendimento degli utenti mentre interagiscono con dataset molto grandi all’interno di un ambiente immersivo, adattivo ed equipaggiato di tecnologie capaci di misurare lo stato psicofisiologico dell’utente. • L’uso di una tecnica di stimolazione subliminale per influenzare il comporta-mento di scelta dell’utente in un ambiente virtuale. Il lavoro inizia con una rassegna dei contributi teorici sui sistemi simbiotici, a partire dall’origine dell’idea (Licklider, 1960) per arrivare sino alle più recenti definizioni con-cepite anche sulla base dei recenti avanzamenti tecnologici. Dopo una rassegna di lavori che testimonia il rinnovato interesse verso l’argomento, il lavoro continua offrendo una discussione riguardante i contributi teorici che altri modelli di HCI danno alla teoria dei sistemi simbiotici. In particolare, sono presi in considerazione e discussi i contributi di Telepresence, Persuasive technologies, Embodied interaction, Affective e Physiological computing. Il primo studio realizzato si prefiggeva lo scopo di misurare e comparare sia la UX che la performance associate a diversi modi di interagire con oggetti virtuali in un ambiente di realtà mista. In particolare è stato comparato il modo più comune di dare comandi ad un computer, cioè attraverso la tastiera e il mouse, con una interazione “embodied” che utilizza gesti naturali e movimenti del corpo. I risultati hanno mostrato che, nonostante la performance (in termini di tempo di esecuzione del compito) fosse migliore con la tastiera e il mouse, la UX era migliore con il sistema di interazione “embodied”. Il secondo studio si prefiggeva di indagare la performance di apprendimento e la UX durante l’interazione con un dataset di informazioni neuroscientifiche all’interno di un ambiente di realtà mista. Il sistema era equipaggiato di tecnologia indossabile per misu-rare lo stato psicofisiologico dell’utente durante la sua interazione. Lo scopo era di ren-dere il sistema “adattivo” ossia capace di eseguire in tempo reale alcune modifiche dell’informazione mostrata in accordo allo stato dell’utente per supportare il suo compi-to. I risultati hanno mostrato che il sistema era in grado di facilitare il compito dell’utente, portando a migliori performance d’apprendimento e ad una migliore UX. Il terzo studio si prefiggeva di indagare l’efficacia del “cueing” subliminale nell’influenzare il comportamento di selezione dei partecipanti in un compito di scelta forzata tra oggetti in un ambiente virtuale in 3D raffigurante uno scenario realistico. I risultati hanno mostrato che il “cueing” subliminale ha un effetto sul comportamento di scelta, dimostrando la possibilità del suo utilizzo in ambienti di realtà virtuale. I risultati evidenziano anche alcune caratteristiche peculiari del “cueing” subliminale, come il rapido dissolvimento del suo effetto. Questi risultati dovrebbero essere presi in conside-razione da chi si occupa di design di nuove interfacce capaci di utilizzare gli stimoli subliminali come un canale di comunicazione aggiuntivo tra il computer e l’utente. Nella conclusione i risultati degli studi sono discussi e valutati.