Algorithmic Fairness Datasets: Curation, Selection, and Applications

This thesis supports measurements of algorithmic fairness from a data-centric perspective. First, we tackle the problem of dataset selection, highlighting misguided practices prevalent in the field, and providing solutions for more principled approaches. Second, we turn to dataset curation. We design and collect datasets for a fairness audit of algorithms deployed nation-wide in Italy and zoom out to study dataset curation more broadly. We distill a set of best practices for data curation based on hundreds of datasets used in algorithmic fairness research. Third, we tackle the problem of measuring fairness in practical settings where information on sensitive attributes is not available. Finally, we target the gap between fairness definitions and their mathematical formulation, proposing and validating novel measures of equity in information access. Overall, this thesis navigates the tension between algorithmic equity and the complexity of data acquisition, supporting fairness, accountability, and transparency for technology developed by and for a responsible society.

Questa tesi supporta la misurazione dell'equità algoritmica da una prospettiva incentrata sui dati. In primo luogo, affrontiamo il problema della selezione dei dataset, evidenziando le pratiche sbagliate prevalenti nel settore e fornendo soluzioni per approcci più conformi ad un uso corretto. In secondo luogo, passiamo alla cura dei dataset. Progettiamo e raccogliamo un dataset per un audit dell'equità di algoritmi distribuiti a livello nazionale in Italia e studiamo la cura dei dataset in modo più ampio. Distilliamo una serie di migliori prassi per la cura dei dati basata su centinaia di dataset utilizzati nella ricerca sull'equità algoritmica. In terzo luogo, affrontiamo il problema della misurazione dell'equità in contesti pratici in cui le informazioni sugli attributi sensibili non sono disponibili. Infine, miriamo al divario tra le definizioni di equità e la loro formulazione matematica, proponendo e convalidando nuove misure di equità nell'accesso alle informazioni. Nel complesso, questa tesi esplora la tensione tra l'equità algoritmica e la complessità dell'acquisizione dei dati, favorendo l'equità, la responsabilità e la trasparenza di algoritmi sviluppati da e per una società responsabile.