Semantic models of scenes and objects for service and industrial robotics

What may seem straightforward for the human perception system is still challenging for robots. Automatically segmenting the elements with highest relevance or salience, i.e. the semantics, is non-trivial given the high level of variability in the world and the limits of vision sensors. This stands up when multiple ambiguous sources of information are available, which is the case when dealing with moving robots. This thesis leverages on the availability of contextual cues and multiple points of view to make the segmentation task easier. Four robotic applications will be presented, two designed for service robotics and two for an industrial context. Semantic models of indoor environments will be built enriching geometric reconstructions with semantic information about objects, structural elements and humans. Our approach leverages on the importance of context, the availability of multiple source of information, as well as multiple view points showing with extensive experiments on several datasets that these are all crucial elements to boost state-of-the-art performances. Furthermore, moving to applications with robots analyzing object surfaces instead of their surroundings, semantic models of Carbon Fiber Reinforced Polymers will be built augmenting geometric models with accurate measurements of superficial fiber orientations, and inner defects invisible to the human-eye. We succeeded in reaching an industrial grade accuracy making these models useful for autonomous quality inspection and process optimization. In all applications, special attention will be paid towards fast methods suitable for real robots like the two prototypes presented in this thesis.

Il sistema percettivo umano si presta alla risoluzione di compiti che possono sembrare banali, ma che al contrario si rivelano essere delle sfide per i robot. La segmentazione automatica degli elementi di maggiore rilevanza o salienza, vale a dire la semantica, ne è un esempio in quanto è soggetta ai limiti dei sensori di visione e all’elevato grado di variabilità del mondo. In particolar modo ne abbiamo esperienza quando sono presenti più fonti di informazione, spesso ambigue, come nel caso di un robot in movimento. Questa tesi dimostra come si possa sfruttare la disponibilità di indizi contestuali e punti di vista diversi per rendere più facile l’attività di segmentazione. A dimostrazione verranno presentate quattro applicazioni robotiche, due progettate per la robotica di servizio e due per un contesto industriale. Verranno costruiti modelli semantici di scene domestiche arricchendo le ricostruzioni geometriche con delle informazioni semantiche che comprendono oggetti, elementi strutturali ed esseri umani. Il nostro approccio sfrutta il contesto, la molteplicità di fonti di informazioni e dei punti di vista, servendosi di esperimenti esaustivi condotti su diversi dataset per dimostrare come questi siano elementi cruciali per aumentare le prestazioni del robot. Inoltre, considerando scenari con robot che analizzano oggetti anziché esplorare l’ambiente, verranno costruiti modelli semantici di polimeri rinforzati in fibra di carbonio arricchendo i modelli geometrici con le misurazioni precise sull’orientazione delle fibre e i difetti interni non visibili all’occhio umano. Siamo riusciti a raggiungere una precisione di livello industriale rendendo questi modelli utili per il controllo qualità automatico e l’ottimizzazione dei processi. In tutte le applicazioni, un’attenzione particolare sarà dedicata ai metodi più veloci, adatti a robot reali come i due prototipi presentati in questa tesi.