Analysis of the stereoscopic performance of the Stereo Camera for the (STC) for the BEPICOLOMBO Mission: a new method for the 3D reconstruction

In the last years, Computer Graphics, Imaging Science and technical progress of the acquisition systems have filled incredible gaps becoming, year after year, always more integrated and giving important instruments in measurements processes. In the last years even the computer process power have improved on the other side allowing to gain a more interdisciplinary use of the resources actually in the hand of Imaging Science. The work that will be described in this thesis is a result of this process and have to be read in Imaging Measurement techniques evolution. The field in the vanguard for the application of this new system is obviously the astronautic one where techniques and difficulties are more challenging and complex. Scope of this thesis is the management of a new algorithm for the 3D reconstruction in the context of the BepiColombo mission, a cornerstone mission of the ESA, oriented to the study of planet Mercury. Thanks to the interdisciplinary cohesion between ASI Italian Space Agency and INAF National Institute of Astrophysics the mission has given the possibility to obtain great results in the evolution of new methods for the imaging 3D reconstruction. In the payload of BepiColombo mission there is the brand-new camera instrument STC Stereo Channel. A camera doted of a new design, and which demands new method for the data analysis in particular for the generation of a high resolution 3D characterization of the hermitian surface. Principal contribution of the work presented in this thesis is, exactly, the description of a new algorithm for stereo reconstruction,the so called SIEM (Stereo Images Evolving Models),which want to be a weapon more adaptable and more extendible of the classical stereo-algorithm to balance the issues around the STC Stereo Channel design and the hermitian environments . The attempt of this software is to use more kind of information beyond the stereo constraint using multiple integration of different branch of image analysis and computer graphics. The first two introductive chapters are dedicated to a description of all the imaging knowledge used to the generation of this. The new algorithm is exposed in details in the Chapter 3, giving an idea of all the problems linked to the attempt to integrate branches so distant in a same pipeline process for the 3d reconstruction. The versatility needed by the algorithm is obviously linked to the optical design of STC instrument. Chapter 4 will describe the satellite context and the optical design of the instruments showing the problems around a so ambitious project which justifies the actual commitment in the project of the generation of a more robust and adaptable algorithm as the SIEM. In Chapter 5 the SIEM will be described in detail. The main idea of the algorithm is to use the different information and hypotheses usable or definable in the context of a target-camera system. The algorithm is so described even in its informatics architecture defined to manage all the information at the same time. In Chapter 6 tests for the validation of the algorithm are presented. In the last years the tests were performed in different contexts giving a strong help to the step evolution of the algorithm both from design and informatic point of view. A brief history of this tests actually still used for the choices linked to the paralleled evolution of STC camera will be so exposed. On the side of this work will exposed some different application of the knowhow acquired during the CISAS(Interdepartmental Center for Space Studies and Activities) PhD. Different toolboxes for image analysis were created in the last years of my PhD for the BepiColombo mission. Those toolbox were even used in different contexts as taxonomy in on-ground application and asteroid data analysis still in satellite field. A pair of this application will be exposed in the seventh chapter. An overall view of the work is given in a conclusive section together with highlights on the future programs. Most of the results achieved in the present work have been shown in National and International Meetings in the context of ESA European Space Agency and have brought to publications in astronautic or imaging Journals. My conclusion could be summarized in saying that a lot of job has been done: a publication for a new stereo algorithm snake based is an important goal reached but a lot of work has still to be done for a robust use of the algorithm; the iteration between this research and the actual needs in the STC on Ground Calibration pipeline will be a strong help for both the contexts: the complete integration of the method SIEM on one side and the validation of an instrument, so complex and challenging, on the other one.

La missione BepiColombo, cornerstone n. 5 dell’Agenzia Spaziale Europea (ESA), partirà nell’agosto del 2014 alla volta di Mercurio. Lo scopo della missione è un’analisi più approfondita di uno dei pianeti più interessanti del Sistema Solare e migliorare la conoscenza di alcune costanti della fisica fondamentale. Visitato poche volte nella storia (solo due sonde americane hanno finora raggiunto Mercurio: la Mariner 10 nel '75 e attualmente la MESSENGER), il pianeta presenta delle caratteristiche ambientali critiche dovute alla sua vicinanza al Sole e alla sua orbita, e risulta di enorme interesse, considerata la sua craterizzazione e la presenza di un campo magnetico. Uno strumento particolarmente ambizioso della sonda è rappresentato da STC, una stereo camera push frame (a sensore bidimensionale), compattezza progettata a partire da un disegno ottico particolare ed innovativo derivato da una collaborazione tra l’Università di Padova, l’Osservatorio Astronomico di Padova (INAF) e l’attuale Istituto di Fotonica e Nanotecnologie LUXOR UOS-Padova del CNR. A differenza delle classiche stereo camere, STC è l’unica ad avere un unico sensore e due canali di acquisizione. I due canali che acquisiranno le immagini della superficie di Mercurio sono inclinati di un angolo di 20° rispetto a nadir. La diversa orientazione dei due sistemi ottici consentirà di acquisire immagini della stessa zona della superficie di Mercurio da due direzioni diverse, e con una baseline molto lunga; questo consentirà di ottenere a posteriori una ricostruzione tridimensionale della superficie con un'accuratezza verticale di 80 metri e una risoluzione spaziale di 50 metri. Le caratteristiche ambientali del pianeta hanno obbligato il team di STC a progettare un disegno particolarmente complesso per la camera. Le escursioni termiche dovute all’irradiazione della superficie renderanno ulteriormente complicata la modellazione della camera dal punto di vista proiettivo, ovvero la sua calibrazione. Questo contesto ha anche obbligato il team di Padova ad affrontare l’implementazione di un algoritmo dedicato allo strumento più adattabile dei classici algoritmi e che potesse essere utilizzato come sistema di feedback per la calibrazione dello strumento stesso. In campo di analisi di immagini, data la relativa novità della scienza, il panorama presenta un livello di specializzazione molto settoriale. Il contributo di molti ricercatori e di lucidi visionari ha permesso, nell’ultimo secolo, di approfondire problematiche quali la ricostruzione 3D da innumerevoli fonti di informazione: la stereoscopia (ovvero la ricostruzione tramite triangolazione da punti di vista differenti), la ricostruzione da illuminazione (ovvero la ricostruzione basata sulla variazione dell’intensità luminosa di un oggetto dovuta alla sua curvatura), la ricostruzione da ombre e la ricostruzione basata semplicemente sulla forma. Tutti questi settori di ricerca hanno avuto grande successo come sistemi di misura a basso costo e compatti, ma raramente sono stati applicati?in maniera sincrona, se non all’interno di un processo iterativo lineare. L’algoritmo dedicato alla stereo camera STC rappresenta un tentativo di integrare tutte queste informazioni contemporaneamente allo scopo di avere una ricostruzione greedy (ovvero globalmente ottimale). Il metodo scelto per il raggiungimento di questo scopo è utilizzato nei processi di segmentazione di immagini, sulla base del riconoscimento di forma, esteso in un campo multidimensionale. Tale metodo, normalmente citato come Snakes o Modelli Deformabili, invece di procedere in maniera iterativa o gerarchica nella risoluzione di un problema, lo affronta in maniera più continua. Più precisamente, il classico metodo di procedere consiste nel risolvere il problema sfruttando alternativamente i vari metodi di ricostruzione e le ipotesi sul target. Quello che invece fanno gli Snakes è partire da una soluzione iniziale approssimativa al problema, per poi farla evolvere spinta da due classi di “forze” dipendenti dal tempo: le forze interne che tengono conto delle ipotesi sul target e quelle esterne rappresentative dei sistemi di equazioni che derivano dal metodo di ricostruzione utilizzato o dal modello della camera. Per questo motivo all’algoritmo è stato dato il nome di SIEM ovvero Stereo Images Evolving Model (Modelli Evolventi per le Immagini Stereoscopiche). Le forze interne ed esterne spingono il modello Snake (considerabile in un certo senso come la ricostruzione 3D del pianeta) ad una evoluzione temporale agendo “localmente” e facendolo tendere ad una soluzione ottimale. Nel caso della ricostruzione superficiale di Mercurio sono state prese in considerazione tre tipi di “forze”: - le forze interne che obbligano la soluzione ad essere continua (ovvero che soddisfano l’ipotesi di continuità del target); - le forze esterne di stereoscopia (che spingono la ricostruzione a soddisfare i vincoli di “somiglianza locale” tra le immagini stereoscopiche); - le forze esterne di shading (che spingono la ricostruzione a restituire, se illuminata con le stesse condizioni, immagini compatibili con le originali). Particolare difficoltà incontrata in questo processo è la normalizzazione di questi tre tipi di modelli in modo che la ricostruzione finale sia effettivamente ottimale in relazione alla specificità della situazione. Pure senza aver ancora affinato l’utilizzo delle forze di shading l’algoritmo ha dato dei risultati comparabili e spesso superiori all’attuale stato dell’arte. Oltre al vantaggio di avere un’effettiva ricostruzione completa della il metodo è estendibile ad altre ipotesi sul target o ad altre fonti di informazione presenti nelle immagini. Il progetto architetturale di SIEM è stato improntato esattamente a questo scopo: implementato in due linguaggi di programmazione, MATLAB (per la sua componente grafica) e C++ ( per le librerie dinamiche), ha una struttura dati a celle parallele che lo rende estendibile a nuove possibili sorgenti d’informazione eventualmente disponibili. Esso è stato testato con robusti algoritmi quali il DLRmatch realizzato al DLR di Berlino e il DenseMatcher, algoritmo stereoptico utilizzato da anni in fotogrammetria e progettato all’Università di Parma sia su immagini sintetiche che su coppie di immagini della sonda MESSENGER per Mercurio o di ASTER per la Terra. I classici algoritmi stereo necessitano l’utilizzo di finestre di confronto (matching windows) estese, dovendo usare il solo stereo come fonte d’informazione; questo introduce però un effetto di riduzione dei dettagli 3D (smoothing). Il SIEM invece, utilizzando più fonti di informazione può usare finestre di dimensioni minore evitando l’introduzione di questo effetto. Lo studio di differenti settori di analisi di immagini per l’implementazione dell’algoritmo ha permesso, inoltre, la possibilità di applicare nuove tecniche in campi disparati e diversi da quello specifico della BepiColombo. In particolare, durante il suo sviluppo il toolbox di analisi di immagini è stato utilizzato e testato nel contesto della missione Rosetta dopo il flyby con l’asteroide Steins: questo ha portato da una parte a scoprire la presenza di significative problematiche di calibrazione dell’orbita della sonda; dall’altra, i suoi risultati sono stati utilizzati per le operazione di craterizzazione dell’asteroide. Il toolbox di immagini è stato inoltre utilizzato come metodo di calibrazione di sistemi onground per la ricostruzione di reperti archeologici. In sintesi il lavoro svolto che viene presentato in questa tesi ha dimostrato le sue capacità in differenti campi di metrologia e ha contribuito a disparati progetti. Molto lavoro deve ancora essere fatto per rendere il SIEM un algoritmo robusto e autonomo per la ricostruzione di superfici planetarie ma i risultati finora ottenuti rendono avvincente e speranzoso questo percorso.