Trustworthy Machine Learning for Anomaly Detection and Computer Vision Applications

Technologies based on Artificial Intelligence (AI) have gained tremendous popularity in the past few years. This is made possible by the fact that Machine Learning models can now achieve amazing performance, even outperforming humans in several application domains. Unfortunately, there is still one fundamental aspect in which humans succeed and machines fail miserably: trustworthiness. Countless cases of unintended harm caused by AI-enabled technologies have been reported and have attracted wide media coverage. While unintentional, the consequences of these events could be devastating and affect our quality of life. Even more so if we consider that AI is being increasingly adopted in sensitive domains to support high-stakes decisions. In light of these observations, the need for Trustworthy AI is particularly pressing. In this thesis, we profoundly investigate the properties of popular models that have been used for years in academia and industry and provide tools to improve their trustworthiness. The focus is on two specific dimensions in the space of Trustworthy AI, i.e., interpretability and robustness, and on two application domains of great practical interest, i.e., Anomaly Detection and Computer Vision. In the context of Anomaly Detection, we introduce novel model-specific methods to interpret the Isolation Forest, a popular model in this field, at both the global and local scales. In Computer Vision, we address the problem of robust image classification with Convolutional Neural Networks. We first unveil unknown properties of adversarially-trained models, elucidating inner mechanisms through which robustness against adversarial examples may be enforced by Adversarial Training. We also showcase failure modes related to the simplicity biases induced by Adversarial Training that may be harmful when robust models are deployed in the wild. Finally, we design a novel filtering procedure aimed at removing textures while preserving the image's semantic content. Such filtering procedure is then exploited to design a defense against adversarial attacks.

Le tecnologie basate sull'Intelligenza Artificiale (IA) hanno guadagnato un'enorme popolarità negli ultimi anni. Ciò è reso possibile dal fatto che i modelli di Machine Learning possono ora raggiungere prestazioni sorprendenti, superando persino gli umani in diverse applicazioni. Sfortunatamente, c'è ancora un aspetto fondamentale in cui gli umani hanno successo e le macchine falliscono miseramente: l'affidabilità. Sono stati segnalati innumerevoli casi di danni non intenzionali causati da tecnologie abilitate dall'IA che hanno attirato un'ampia copertura mediatica. Sebbene non intenzionali, le conseguenze di questi eventi potrebbero essere devastanti e influire sulla qualità della nostra vita. A maggior ragione se si considera che l'IA viene sempre più usata in domini delicati per supportare decisioni ad alto rischio. Alla luce di queste osservazioni, la necessità di un'IA affidabile è particolarmente urgente. In questa tesi, vengono analizzate in profondità le proprietà di modelli popolari che sono stati utilizzati per anni nel mondo accademico e industriale e vengono forniti strumenti per migliorarne l'affidabilità. L'attenzione è rivolta a due dimensioni specifiche nell'ambito del Trustworthy AI, ovvero interpretabilità e robustezza, e a due domini applicativi di grande interesse pratico, ovvero Anomaly Detection e Computer Vision. Nel contesto dell'Anomaly Detection, vengono introdotti nuovi metodi 'model-specific' per interpretare la Isolation Forest, un modello popolare in questo ambito, sia su scala globale che locale. In Computer Vision, viene affrontato il problema della classificazione robusta delle immagini con reti neurali convoluzionali. Per prima cosa vengono svelate proprietà sconosciute dei modelli allenati con il paradigma Adversarial Training, chiarendo i meccanismi interni attraverso i quali la robustezza contro gli adversarial examples può essere indotta da Adversarial Training. Vengono messe in luce anche modalità di errore relative ai simplicity bias indotti da Adversarial Training, che possono rivelarsi dannose quando i modelli robusti vengono utilizzati nel mondo reale. Infine, viene proposta una nuova procedura di filtraggio volta a rimuovere le texture e al tempo stesso preservare il contenuto semantico dell'immagine. Tale procedura di filtraggio viene quindi sfruttata per progettare una difesa contro gli adversarial examples.