Statistical evaluation of diagnostic tests under verification bias

The use of diagnostic tests to discriminate between disease classes is becoming more and more popular in medicine, which leads to the urgent need for assessing accuracy of diagnostic tests before their implementation. To do that, a common tool is receiver operating characteristic (ROC) analysis. More precisely, the ROC curve and the area under the ROC curve (AUC) are commonly employed when two disease classes (typically, non-diseased and diseased) are considered, whereas the ROC surface and the volume under the ROC surface (VUS) are frequently used when the disease status has three categories (e.g., non-diseased, intermediate and diseased). In estimating such parameters, we assume that the true disease status of each patient can be determined by means of a gold standard test. In practice, unfortunately, the true disease status could be unavailable for all study subjects, due to the expensiveness or invasiveness of the gold standard test. Thus, often only a subset of patients undergoes disease verification. Statistical evaluations of diagnostic accuracy of a test based only on data from subjects with verified disease status are typically biased. This bias is known as verification bias. Various methods have been developed to adjust for verification bias in estimation of the ROC curve and its area for tests with binary or ordinal or continuous results. For the ROC surface and its volume, verification bias correction methods exist for tests with ordinal responses, but not for continuous tests. In this thesis, we propose several bias--corrected methods for estimating the ROC surface and the VUS of continuous diagnostic tests in presence of verification bias. In particular, these methods are constructed based on imputation and re--weighting techniques, and work well when the missingness mechanism of the true disease status is missing at random or missing not at random. The asymptotic behaviors of the estimators are also studied. To illustrate how to use the methods in real applications, two datasets dealing with epithelial ovarian cancer are considered. To support researchers in carrying out the ROC surface analysis in presence of verification bias, an R package and the corresponding Shiny web application have been created.

L’uso corrente di test diagnostici per discriminare tra diverse malattie o classi di malattia pone l’accento sulla necessità di una valutazione attenta e fondata della loro accuratezza. Gli strumenti più comunemente impiegati a tal scopo sono basati sulla cosidetta receiver operating characteristic (ROC) analysis. Si utilizzano, in particolare, la curva ROC e l’area sotto la curva ROC (AUC) quando la diagnosi prevede due possibili esiti (tipicamente, non malato e malato), e la superficie ROC e il volume sotteso (VUS) quando la diagnosi si articola su tre classi (ad esempio, sano, stadio iniziale di malattia, stadio avanzato di malattia). Tali strumenti assumono che la vera diagnosi possa essere stabilita per ciascun paziente con certezza utilizzando un test gold standard. Nella pratica, purtroppo, la vera diagnosi potrebbe non essere acquisibile tramite un gold standard per tutti i soggetti coinvolti in uno studio, a causa per esempio del costo o della invasività del gold standard. Cosı̀, spesso, la verifica della diagnosi tramite gold standard viene condotta solo per un sottogruppo di pazienti. La valutazione statistica dell’accuratezza diagnostica di un test costruita solo utilizzando i dati dei soggetti con stato di malattia verificato è in genere distorta. Tale effetto è noto come distorsione di verifica. Esistono vari metodi per correggere tale distorsione nella stima della curva ROC e della area sottesa, sia per test diagnostici binari, che ordinali, che continui. Per quanto riguarda la superficie ROC ed il volume sotteso, esistono metodi di correzione della distorsione solo per test diagnostici ordinali. In questa tesi, si propongono diversi metodi per la correzione della distorsione di verfica per la stima della superficie ROC e del VUS per test diagnostici continui. Tali metodi sono costruiti su strategie di imputazione e riponderazione, e sono sviluppati per meccanismi di mancanza del vero stato di malattia sia casuali che non ignorabili. Viene fornito il comportamento asintotico degli stimatori. A titolo illustrativo, l’applicazione dei metodi è mostrata su due insiemi di dati relativi al cancro ovarico epiteliale. Per garantire applicabilità dei metodi, viene fornito un pacchetto R e l’applicazione web Shiny corrispondente.