Design and development of algorithms and web-based applications for the tracking of vascular structures and for the assessment of clinical parameters in retinal images

This thesis deals with the automatic analysis of color fundus images and in partic-ular with the development of image analysis algorithms and the implementation of software applications for the evaluation of hypertensive and diabetic retinopathy in adult subjects, and of retinopathy of prematurity (ROP) in newborns. Microcirculation is affected, with different time courses, by both hypertension and diabetes, and retinopathy is one of the consequences of such circulation damage. The retinal vessels are very sensitive to changes in microvascular circulation, and it has been demonstrated that single features of hypertensive retinopathy have a strong prognostic value for stroke, carotid stiffness, and coronary disease. Also in premature newborns, whose vasculature may be incomplete or may develop in an anomalous way, the retinopathy signs turn out to be important for the assessment of the gravity of the disease and for preventing possible future visual damages for the patients. Moreover, it must be considered that retinopathy in general is a social burden, with heavy direct and indirect costs: visual loss in fact reduces the capacity of working and carrying on with an independent life. Although the retina is not the only organ affected by microcirculation damage, its clinical examination has the important advantage of being non invasive, therefore enabling a cost-effective monitoring of the progression of the systemic diseases asso-ciated with retinopathy. The early detection of retinopathy at its onset is crucial in order to avoid blindness. This is particularly true in the case of diabetic retinopathy, which at the present state of pharmacology does not recede with treatment. Unfortunately, the first stages of retinopathy for both adults and infants are almost asymptomatic. It has been demonstrated that a screening program could save most of the population at risk from developing sight-threatening retinopathy. In the Western world, there are not enough resources, in terms of time and available expert ophthalmologists, for carrying out an extensive screening program. Thus, reliable au-tomatic tools for evaluating retinopathies are strongly needed. This thesis concentrates on the automatic extraction and the analysis of the features of the vascular apparatus: the vessel network identification (veins and arteries) allows the assessment of its main geometrical characteristics (length, direction, caliber, bifurcation, tortuosity, etc.). From these findings, specific indexes of diagnostic relevance are computed, providing the clinicians with information regarding the pa-tient’s retinopathy degree, whose significance is crucial for the diagnosis of retinal pa-thologies. The instrument used to acquire images of the retina is the fundus camera, a spe-cialized low power microscope with an attached camera designed to photograph the interior surface of the eye. The screening of the retina in adult patients for the diag-nosis of retinopathies is commonly done with non-handled, contact fundus cameras, which provide high resolution images with a field of view (FOV) between 30 and 60 degrees. The screening on premature infants for the detection of ROP, on the other side, is done with customized fundus cameras, presenting some peculiar features. One of them is the Nidek NM200D (Nidek Co., Gamagori, Japan), a handled, non-contact fundus camera that provides high resolution 30 degree images. Another fundus camera commonly used for acquisition on infants is RetCam (Clarity Medical System, Pleasanton, CA, USA), which provides low-resolution images for up to 120 degrees of the ocular fundus. The use of RetCam is generally limited to children without media opacity and for image quality reasons is not normally used in adults. It is worth noticing that images acquired from adults and infants present different characteristics: this is related to the anatomical variability between the two categories of subjects, but also to the different fundus cameras used for image acquisition and to the diverse acquisition protocols. As a consequence, some algorithms perform very well when analyzing adult retinal images, but turn out to be unsuitable with newborns images. Therefore, we developed algorithms customized for the different kinds of images to analyze, in order to achieve satisfactory performance regardless of the varying attributes related to the acquisition system or to the patient age. In particular, in this thesis we present three systems, designed respectively for the analysis of adult images, infant images acquired with Nidek NM200D and infant images acquired with RetCam. In order to automatically extract the retinal vasculature in adult images, acquired at different resolutions and fields of view, we propose a novel method. This is based on a multi-directional graph search approach for the detection of vessel centerlines: after a seed-finding procedure, vessel axes are detected by connecting the seeds with minimum cost paths. A fast 1-dimensional matched filter technique is employed for the vessel caliber evaluation: the information of the vessel axis is exploited as prior to determine the filter orientation, and the scale of the kernel filter is tuned with the aim of ensuring the regularity of the segmented vessel borders. Considering the great variability and the poor quality of infant images acquired with Nidek NM200D, we developed a customized semi-automatic technique to track singular vascular structures and consequently assess their geometrical features. Vessels to be analyzed are selected by manually drawing an approximate centerline inside their boundaries. Starting from this a priori information, the vessel edges are detected by means of a filtering technique based on Canny method. Refined axis and calibers along the vessel are then obtained by appropriately linking pairs of points on opposite edges. For the automatic tracking of vessels in infant images acquired with RetCam, which is particularly challenging because of the low resolution, the poor quality, the very wide field of view and the presence of choroidal structures, we propose an innovative technique. As a first step vessel structures are enhanced by means of different matched filtering techniques, and extracted from the background with a local thresholding followed by morphological operations. The second step consists in a supervised classification of vessel structures based on SVM, in order to discard segments originating from noise/artifacts or from choroidal vessels. Starting from the described algorithms for image analysis, we developed practical and easy-to-use software systems, aimed at supporting the clinicians with the screening and the diagnosis of retinopathies. In particular we developed a web based application for the analysis of retinal images of adult subjects. The tool is endowed with a user-friendly interface and it allows the user to extract the vascular network and to compute CRAE (Central Retinal Arteriolar Equivalent), CRVE (Central Retinal Venular Equivalent) and AVR (Arteriolar Venular Ratio) according to the Knudtson method. For the analysis of infant retinal images we developed ROPnet, a web tool, customized for the extraction of parameters related to ROP (such as vessel dilation and tortuosity) in premature subjects screened with Nidek NM200D. With ROPnet, vessel analysis can be performed by using a web browser with a client-server setup. Moreover, we are currently developing a similar system for the analysis of the very large field of view images acquired with RetCam. The system for the identification of retinal vascular structures in adult images was tested on different datasets and the comparison of the proposed automatic vessel segmentation versus a manual ground truth showed high sensitivity and low false de-tection rate. The proposed software is currently under clinical evaluation at the De-partment of Ophthalmology and Visual Sciences, University of Wisconsin, USA, the world leading center for clinical trial retinal image analysis, whose Fundus Photograph Reading Center is considering the adoption of the proposed system as standard tool for the extraction of diagnostic features. In addition, a recent collaboration with the Department of Twin Research & Genetic Epidemiology, of the King’s College London Division of Genetics and Molecular Medicine, St Thomas' Hospital, UK, has involved the analysis of more than 2000 retinal fundus images with our software for the estimation of clinical indexes in retinal vessels. The interface and the functionality of ROPnet have been designed in collaboration with the Departments of Ophthalmology of the Children’s Hospital and the Scheie Eye Institute of Philadelphia, US, with the aim of meeting the requirements of the clinicians for what concerns both the tool performance and usability. The accuracy of parameters extracted by ROPnet (i.e. vessel width and tortuosity) was confirmed by the high correlation obtained comparing automatic results with a ground truth manually provided by retina experts. Moreover, the web tool was already used for some preliminary clinical study and we are currently investigating the reliability of extracted clinical indexes for the diagnosis and classification of ROP. The system specifications for the analysis of ROP images acquired with RetCam were discussed directly with Clarity Medical Systems, the manufacturer of the men-tioned fundus camera. In this project, we obtained on a preliminary set of images high sensitivity and specificity in the retinal vessel segmentation, which is a particularly difficult task on RetCam infant images. The techniques for the extraction of clinical parameters starting from the vessel morphology are currently under development. In perspective, practical and easily deployable tools such as those we propose might significantly contribute to the mass-screening and the monitoring of the progression of hypertensive/diabetic retinopathies and of ROP. Their usefulness will be threefold: first of all, they will provide a diagnostic tool to aid clinical practice; secondly, they will provide quantitative details of the retinal vessel network, thus constituting a useful tool for clinical research; finally, they will endow pharmaceutical research with a quantitative and reproducible assessment of the disease evolution during pharmacological treatment. The results achieved in the preliminary trials, carried out in cooperation with rele-vant international clinical research groups, attest the quality of the developed metho-dologies and bode well for their future clinical adoption.

Questa tesi tratta l'analisi automatica di immagini a colori del fondo dell'occhio. In particolare, essa si focalizza sull’implementazione di software per l’analisi e la valutazione quantitativa delle retinopatie, prevalentemente ipertensiva e diabetica su soggetti adulti e retinopatia della prematurità (ROP) su soggetti nati prematuri. Sia l'ipertensione che il diabete colpiscono, anche se con modalità e decorso temporale differente, il microcircolo sanguigno. La retinopatia è una delle conseguenze di tale danno circolatorio. I vasi retinici sono assai sensibili a cambiamenti nella microcircolazione: è stato dimostrato che i singoli segni della retinopatia hanno un alto valore prognostico per infarto, sclerosi carotidea e danno coronarico. Anche nel caso di neonati altamente pretermine, nei quali la vascolarizzazione retinica è inizialmente incompleta e può svilupparsi succesivamente in modo anomalo, i segni della retinopatia risultano importanti per una valutazione della sua gravità e per la prevenzione di potenziali peggioramenti che possono compromettere le capacità visive del soggetto. Inoltre, la retinopatia è una malattia sociale, con una ricaduta economica (diretta ed indiretta) elevata: la perdita o la diminuzione della capacità visiva porta infatti ad una ridotta capacità lavorativa ed all’impossibilità di condurre una vita indipendente. Nonostante anche altri organi siano sensibili ad alterazioni del microcircolo sanguigno, la retina ha il grande vantaggio di essere facilmente disponibile ad un controllo non invasivo. Tale caratteristica suggerisce un modo efficiente ed efficace per seguire il decorso di malattie locali e sistemiche associate alla retinopatia. Inoltre, con riguardo alla prevenzione della perdita della vista, il riconoscimento della retinopatia al suo insorgere è il punto più critico per evitare che degeneri in cecità. Ciò è particolarmente importante nella retinopatia diabetica in cui, allo stato attuale della farmacologia, i danni alla retina non recedono con il trattamento farmacologico o col controllo del diabete. Sfortunatamente, le fasi iniziali della retinopatia, sia negli adulti che nei neonati, sono quasi asintomatiche. Un programma di screening potrebbe evitare, alla maggior parte della popolazione a rischio, lo sviluppo di retinopatie che minaccino la vista. Allo stesso tempo, nel mondo occidentale non ci sono abbastanza risorse, sia in termine di tempo e soprattutto in termine di disponibiltà di oftalmologi esperti, per organizzare uno screening di tal genere. E’ dunque forte il bisogno di strumenti che valutino automaticamente la retina, per diagnosticare la presenza e la severità dell'eventuale retinopatia. Nell’ambito di questa tesi sono state prese in esame le features dell’apparato vascolare: l’identificazione del reticolo dei vasi (arterie e vene), consente la misurazione dei suoi principali descrittori geometrici (lunghezza, direzione, calibro, presenza di biforcazioni, tortuosità, etc.); da questi vengono calcolati specifici indici di rilievo diagnostico, che forniscono ai clinici informazioni sul grado complessivo di retinopatia del paziente, la cui significatività è molto importante per la diagnosi delle patologie retiniche. Lo strumento utilizzato per acquisire le immagini del fondo retinco è la fundus camera, un microscopio a bassa potenza accoppiato con una fotocamera, progettato per fotografare la superficie interna dell’occhio. L’acquisizione su pazienti adulti per l’identificazione o lo screening di retinopatia è solitamente effettuato con fundus camere non portatili a contatto, che forniscono immagini ad alta risoluzione ad un field of view (FOV) compreso tra i 30 e i 60 gradi. Diversamente, l’acquisizione su neonati prematuri per lo screening di ROP viene fatta usando strumenti ad-hoc con caratteristiche particolari. Ne è un esempio la fundus camera portatile NidekNM200D (Nidek Co., Gamagori, Japan) che non richiede il contatto diretto con l’occhio e che produce immagini ad alta risoluzione e stretto field of view (30 gradi). Un’altra fundus camera tipicamente usata per l’acquisizione di immagini su neonati è RetCam (Clarity Medical System, Pleasanton, CA, USA), che fornisce immagini a bassa risoluzione con field of view fino a 130 gradi. L’utilizzo di RetCam è generalmente limitato ai neonati in virtù della minima opacità di cornea e cristallino e per ragioni di qualità dell’immagine non è solitamente usata con soggetti adulti. Le immagini acquisite su adulti e su neonati presentano diverse caratteristiche, legate essenzialmente alle differenze anatomiche tra le due classi di soggetti, ai diversi tipi di fundus camera usata e ai diversi protocolli di acquisizione. Di conseguenza, algoritmi che risultano molto efficienti per l’analisi di immagini di soggetti adulti, spesso si rivelano inadeguati se applicati a immagini di neonati. Per questo motivo, allo scopo di garantire sempre una stima accurata e precisa dei parametri clinici estratti, sono stati sviluppati algoritmi ad-hoc per i diversi tipi di immagini da analizzare. In particolare in questa tesi vengono presentati tre sistemi, progettati rispettivamente per l’analisi di immagini di soggetti adulti, immagini acquisite da neonati con Nidek NM200D e immagini di neonati acquisite con RetCam. Viene presentato un nuovo metodo per estrarre automaticamente la rete vascolare su immagini di adulti, acquisite a diverse risoluzioni e field of view. Questo si basa su una tecnica di ricerca multi-direzionale su grafi, per l’identificazione degli assi dei vasi: dopo la ricerca sull’immagine di punti notevoli (seed points) i cammini a costo minimo che connettono diversi seeds identificano gli assi dei vasi. . I bordi vengono poi trovati applicando filtri matched monodimensionali efficienti: la direzione del kernel è scelta perpendicolarmente agli assi trovati e la scala viene stimata mediante un’analisi preliminare dei profili trasversali ai vasi. A causa della grande variabilità e la scarsa qualità delle immagini acquisite su neonati con Nidek NM200D, è stato sviluppato un sistema semi-automatico ad-hoc per tracciare singoli segmenti vascolari e valutarne le caratteristiche geometriche. I vasi da analizzare vengono selezionati manulamente delineandone l’asse approssimativo. A partire da questa informazione a priori i bordi dei vasi vengono trovati mediante tecniche di filtraggio basate sul metodo di Canny. I calibri e l’asse preciso lungo il segmento analizzato vengono valutati associando opportunamente coppie di punti appartenenti ai bordi opposti. Il tracciamento automatico dei vasi in immagini acquisite su neonati con RetCam è un compito particolarmente complesso a causa della bassa risoluzione, dello scarso contrasto, del field of view particolarmente ampio e della visibilità dei vasi della coroide. Per questo scopo viene presentata una tecnica innovativa. Questa si basa sul miglioramento del contrasto tra strutture vascolari e sfondo utilizzando filtri matched con diversi kernel orientabili e scalabili. Una sogliatura locale e operazioni morfologiche vengono usate per l’estrazione degli assi della rete vascolare a partire dai filtraggi precedentemente menzionati. L’ultimo passaggio consiste in una classificazione supervisionata, basata su Support Vector Machines (SVM), allo scopo di riconoscere e scartare i falsi vasi, generati da rumore, artefatti o dalla presenza dei vasi della coroide sottostanti alla retina. A partire dagli algoritmi sviluppati, sono stati progettati dei sistemi software allo scopo di proporre ai clinici e ai ricercatori degli strumenti, pratici e intuitivi, per la diagnosi e lo screening di retinopatie. In particolare, per l’analisi di immagini acquisite su soggetti adulti è stato sviluppato AVRnet, un sistema web dotato di un’interfaccia grafica user-friendly che permette di estrarre la rete vascolare e calcolare a partire da essa gli indici CRAE (Central Retinal Arteriolar Equivalent), CRVE (Central Retinal Venular Equivalent) e AVR (Arteriolar Venular Ratio) secondo il metodo di Knudtson. Per l’analisi di immagini acquisite da neonati è stato sviluppato ROPnet, un’applicazione web per la stima di indici clinici (come l’allargamento vascolare e la tortuosità) utili a definire la presenza e l’eventuale gravità della ROP. Il tool in questione è specifico per l’analisi di immagini acquisite con Nidek NM200D e le analisi possono essere effettuate con un setup di tipo client-server usando un web browser. Attualmente è in fase di sviluppo un analogo strumento specifico per lavorare su immagini ad ampio field of view acquisite con RetCam. Il software riguardante l’identificazione delle strutture vascolari retiniche su immagini di adulti è stato testato su diversi datasets ed il confronto tra i risultati automatici prodotti, contro i riferimenti manuali, ha evidenziato alte sensitività e specificità. Il sistema in questione è al momento oggetto di valutazione clinica presso il Department of Ophthalmology and Visual Sciences, University of Wisconsin, USA, il cui Fundus Photograph Reading Center valuterà la possibilità di acquisire il programma come standard per la determinazione di features diagnostiche. Un’ulteriore collaborazione, con il Department of Twin Research & Genetic Epidemiology, del King’s College London Division of Genetics and Molecular Medicine, St Thomas' Hospital, UK, ha portato all’analisi con il sistema sviluppato di più di 2000 immagini di fundus retinico per scopi clinici. L’interfaccia e le funzionalità del tool web ROPnet sono state progettate in stretta collaborazione con il Department of Ophthalmology del Children’s Hospital e dello Scheie Eye Institute di Philadelphia, US, allo scopo di soddisfare le esigenze dei clinici, sia per quanto riguarda l’usabilità sia per le prestazioni dello strumento. L’accuratezza dei parametri estratti da ROPnet (calibro e tortuosità dei vasi) è stata confermata dall’elevata correlazione ottenuta confrontando i risultati automatici con quelli di riferimento, calcolati manualmente da esperti retinici. Inoltre l’applicazione web è già stata utilizzata per alcuni studi clinici preliminari e attualmente stiamo indagando l’utilità e la validità di tali parametri nella diagnosi clinica e nella classificazione della ROP. Le specifiche del sistema per la valutazione di ROP in immagini acquisite con RetCam sono state concordate direttamente con Clarity Medical Systems, la casa produttrice della fundus camera in questione. Per questo recente progetto, come risultati preliminari abbiamo ottenuto un’alta sensitività e specificità relativamente alla segmentazione automatica delle strutture vascolari, un problema particolarmente complesso su questo tipo di immagini. Le tecniche per l’estrazione di indici clinici a partire dalla morfologia dei vasi sono attualmente in fase di sviluppo. In prospettiva, strumenti pratici e dalla facile distribuzione come quelli da noi proposti potrebbero facilitare ampi programmi di screening delle retinopatie ipertensiva, diabetica e della prematurità, oltre che il controllo nel tempo del progredire della malattia. La loro utilià sarebbe triplice. In primo luogo, potrebbero essere uno strumento diagnostico di aiuto alla pratica clinica. In secondo luogo, i dettagli quantitativi sulla struttura vascolare della retina potrebbero essere utili nella ricerca medica e per meglio caratterizzare gli sviluppi della retinopatia. Infine, nell’ambito della ricerca farmaceutica, si renderebbe disponibile l'utilizzo di una misura quantitativa e riproducibile dell'evoluzione della retinopatia durante un trattamento farmacologico. I risultati conseguiti nelle sperimentazioni effettuate e le collaborazioni internazionali in atto con gruppi clinici e di ricerca di rilievo ci rendono fiduciosi riguardo la qualità delle metodologie sviluppate e i potenziali successi del loro impiego, con l’auspicio che futuri miglioramenti possano ampliarne l’utilizzabilità.