Design and testing of a vision based navigation system for a spacecraft formation flying simulator

In the last decades, Spacecraft Formation Flight (SFF) and proximity operations have aroused a great deal of interest within the international space community for the wide range of advantages generated with respect to traditional mission architectures. The idea of distributing the capabilities of space systems over multiple satellites, in general, results in lower development costs, redundancy to failure, flexibility and improved measurement performances of the payloads. Moreover, in sight of the extension of the operational lifetimes of orbiting spacecraft, performing on orbit inspections, maintenance and repair provides significant advantages from an economical point of view. Nonetheless, all these advantages comes at a cost as the execution of coordinated maneuvers between two or more spacecraft impose requirements not only on the absolute state, but also on the relative dynamic state. This reason pushes researchers and institutions to advance, from a technical and technological point of view, the development of accurate and robust Guidance, Navigation and Control (GN&C) strategies to enable the autonomous execution of relative navigation tasks on orbit. Prior to be accepted for the flight, each strategy has to be validated in a relevant and representative environment: one popular and effective way to reach this objective is means of ground-based testbeds. The current work focuses on the development of vision based estimation strategies for relative navigation tasks in the context of Spacecraft Formation Flight and proximity operations. In order to validate the developed GN&C strategies in a relevant environment, part of my activities are focused on the development and realization of the cooperating spacecraft testbed for autonomous proximity operations experiments, called SPARTANS, whose design and realization started in 2010 at the Center of Studies and Activities for Space (CISAS) "G. Colombo" of the University of Padova. SPARTANS is a ground-based hardware simulator that features robotic units that allow to reproduce the relative motion of two ore more spacecraft flying in formation or in close proximity, allowing therefore to validate advanced relative GN&C strategies developed within this context. The first activity of my Ph.D. regards the characterization of a monocular vision system for relative pose estimation in the context of cooperative spacecraft. An original custom-made set of fiducial markers is proposed along with the required image analysis procedure to extract relevant points from the acquired images. The estimation of the relative pose is obtained by solving the perspective-from-three points problem followed by a subsequent pose refinement procedure. The metrological performances of the proposed approach are assessed following an experimental approach: known displacements are imposed to a satellite mock-up and, by comparing the estimated poses with the imposed ones, the measurement error is characterized. Finally an uncertainty analysis, validated by a series of tests, was performed yielding an average accuracy of about 1 cm and 1 deg on the relative position and attitude, respectively. This activity is followed by the implementation of new features for the SPARTANS testbed. At the beginning of my Ph.D., the testbed featured only one spacecraft module capable of performing 3 degrees of freedom attitude maneuvers exploiting the measurements coming from incremental quadrature encoders and actuating control actions thanks to a cold gas thrusters system. A small contribution is initially given in the development of the Translational Module (TM), that enables low friction planar displacements to the robotic platforms, and in the design and development of the laboratory test table that provides the testbed with a planar surface on top of which the spacecraft simulators can translate. Subsequently, I was involved in the realization, from a practical point of view, of the laboratory setup: in particular, the second main activity I have been working on regards the development, the implementation and the characterization of a global navigation system that allows to estimate the position and the orientation of each spacecraft module within the laboratory operative volume. The first step of this activity consists in the development of a cost-effective prototype based on a monocular system and a set of three Optical Flow Sensors to obtain planar pose estimations of the TM. The estimation scheme relies on two sets of measurements that are conveniently merged by means of an Extended Kalman Filter. The second development phase consists in the extension of the proposed estimation approach by adapting it to the laboratory characteristics: a Motion Capture system consisting of six infrared cameras is employed to this purpose. A pose estimation strategy is proposed in this context and a proper calibration procedure is developed. The results of the characterization of the Motion Capture system shows sub-degree and sub-millimeter accuracy respectively on the estimated orientations and positions, allowing to obtain reference measurements to assess the performances of the GN&C algorithms tested with the spacecraft simulator. The last part of my activity is focused on the development of a relative navigation strategy based on an Extended Kalman Filter that exploits only visual data provided by a stereoscopic vision system. The proposed estimation scheme relies on the a priori knowledge of the geometry of the observed object (target) and it is implemented in C++ in sight of a foreseen implementation on embedded systems. The filter capabilities are assessed by means of numerical simulations in two different scenarios. In the first scenario, the relative dynamic state of two spacecraft orbiting in a leader-follower formation at short range is simulated numerically by means of a software orbital propagator. In the second scenario, the operative conditions of the laboratory setup are reproduced by means of a 3D simulated environment. Finally, the proposed navigation strategy is validated by means of laboratory testing exploiting the robotic spacecraft units. The proposed navigation algorithm proves to be capable of estimating the relative dynamic state of an observed target with centimeter-level and degree-level accuracy. In its current configuration, the SPARTANS testbed features a first complete spacecraft unit, a 3 x 2 m flat test table, a global navigation system consisting of 6 infrared cameras and an external control station. Once the construction of the second spacecraft unit will be completed, the testbed will allow to perform coordinated maneuvers between two (or more) spacecraft units for the study and validation of strategies related to SFF, automated rendez-vous and docking and, in general, proximity maneuvers.

Negli ultimi decenni, il volo in formazione e le manovre di prossimità sono applicazioni che hanno suscitato un crescente interesse in ambito spaziale per i vantaggi ad ampio spettro forniti rispetto alle tradizionali architetture di missione. L'idea di sostituire un singolo satellite con sistemi satellitari formati da più unità, in generale, ha il risultato di ridurre i costi di sviluppo, di garantire maggiore robustezza alle avarie, un maggiore livello di flessibilità e migliori prestazioni di misura. In aggiunta, la prospettiva di estendere il periodo operativo di sistemi satellitari attualmente in orbita attraverso operazioni di ispezione, manutenzione e riparazione, apre la possibilità di ottenere grandi vantaggi da un punto di vista economico. Tuttavia, i citati vantaggi si scontrano con la necessità di sviluppare adeguate strategie di Guida, Navigazione e Controllo (GN&C) con requisiti non solo sulla dinamica assoluta di ogni satellite, ma anche sul loro stato relativo. Questo aspetto spinge ricercatori e istituzioni allo sviluppo di adeguate tecniche di GN&C che permettano l'esecuzione autonoma e affidabile di manovre coordinate tra più satelliti in orbita. Perché una nuova proposta o strategia sia considerata matura per essere impiegata in uno scenario spaziale, è necessario dimostrarne l'affidabilità e l'efficacia in un ambiente rappresentativo di quello spaziale. Una delle più interessanti metodologie per raggiungere questo obiettivo prevede l'utilizzo di simulatori satellitari di terra. Il presente lavoro si focalizza sullo sviluppo di strategie di stima basate su sistemi di visione per la gestione delle fasi di navigazione relativa tra satelliti nell'ambito del volo in formazione e, più generale, delle operazioni di prossimità che coinvolgano due o più satelliti. Con il fine di validare le strategie di GN&C sviluppate, parte delle mie attività ha riguardato lo sviluppo e la realizzazione del simulatore satellitare di terra, chiamato SPARTANS, in sviluppo dal 2010 presso il Centro di Ateneo di Studi e Attività Spaziali (CISAS) "G. Colombo" dell'Università di Padova. Questo simulatore satellitare presenta unità robotiche che permettono di simulare a terra moti relativi, sia rotazionali che traslazionali, tra unità satellitari operanti in formazione o in prossimità. Questa caratteristica fondamentale permette la validazione, da un punto di vista sperimentale, delle strategie di GN&C sviluppate. La prima attività svolta durante il mio dottorato riguarda la caratterizzazione, da un punto di vista metrologico, di un sistema di visione monoculare utilizzato per stime di posa relative nel contesto di satelliti cooperanti. Un contributo originale consiste nella proposta di un set di 'fiducial markers' per i quali è stata sviluppata un apposita procedura di analisi d'immagine con lo scopo di estrarre punti salienti dalle immagini acquisite. La procedura di stima della posa si basa sulla soluzione del problema noto come 'Perspective-from-Three Points' (P3P), soluzione che successivamente viene raffinata per via di una procedura iterativa, seguita a sua volta da un'ottimizzazione non lineare. La caratterizzazione dell'algoritmo di misura proposto segue un approccio sperimentale: un modello semplificato, rappresentativo della geometria di un satellite è impiegato come satellite target la cui posa, in relazione al sistema di visione, rappresenta l'incognita da stimare. Al satellite target, in questo contesto, sono imposti spostamenti noti sia in termini traslazionali che rotazionali e, attraverso il confronto tra gli stati imposti e quelli misurati, viene determinato l'errore di stima. Infine un'analisi di incertezza è stata effettuata fornendo indicazioni, supportate dai risultati della campagna di test sperimentali, sull'accuratezza media di stima che risulta essere dell'ordine di 1 cm e di 1° sulla posizione e sull'orientazione relativa rispettivamente. La seconda attività del mio dottorato riguarda lo sviluppo e l'implementazione di nuove funzionalità per il simulatore SPARTANS. All'inizio del mio dottorato, il setup sperimentale consisteva di una sola unità satellitare capace di effettuare manovre d'assetto a tre assi utilizzando come dati di navigazione le misure fornite da un sistema di encoder ottici in quadratura, e eseguendo azioni di controllo grazie a un sistema di thrusters a gas freddo. In una prima fase, ho fornito un piccolo contributo allo sviluppo del Modulo di Traslazione (TM), che abilita spostamenti planari a basso attrito per le unità satellitari, e alla progettazione e sviluppo di una tavolo piano per il laboratorio che fornisce di fatto la base su cui le unità satellitari possono traslare. Successivamente, il mio apporto si è focalizzato sull'implementazione delle componenti hardware per di laboratorio. In particolare l'attività principale in questo contesto riguarda la progettazione, l'implementazione e la caratterizzazione di un sistema di navigazione globale con lo scopo di stimare la posizione e l'orientazione delle unità satellitari all'interno del volume operativo del laboratorio. Quest'attività consiste di due fasi principali. Dapprima un prototipo a basso costo è stato realizzato utilizzando come sensori un sistema di visione monoculare accoppiato a un set di tre sensori ottici di tipo mouse (Optical Flow Sensors - OFS) per stimare la posa planare del TM. La strategia di stima si basa su due set di misure, fornite con diverse frequenze di acquisizione, le quali sono fuse opportunamente per mezzo di un filtro di Kalman esteso (Extended Kalman Filter - EKF). La seconda fase di sviluppo estende lo schema di stima sviluppato adattandolo al setup complessivo del laboratorio. Nel fare questo, il sistema monoculare è sostituito da un sistema di Motion Capture composto da sei camere operanti nell'infrarosso e da una Control Station. In questo contesto, una strategia per la stima della posa delle unità satellitari è proposta assieme alla definizione di una procedura di calibrazione per il sistema di Motion Capture. I risultati ottenuti attestano la capacità dell'approccio di misura di fornire stime di posa con incertezze inferiori al millimetro sulla posizione e al grado sull'orientazione. Nella parte finale del mio dottorato, le mie attività si sono incentrate sullo sviluppo di una strategia di stima per la navigazione relativa tra due spacecraft basata su un filtro di Kalman esteso (EKF), il quale incorpora solamente le misure fornite da un sistema di visione stereo montato a bordo del satellite chaser. L'approccio alla stima presuppone che la geometria del target sia nota nel momento in cui le manovre di prossimità hanno inizio. Nell'ottica di una futura implementazione dello schema di filtraggio a bordo delle unità satellitari del simulatore di terra, il filtro è stato scritto in linguaggio C/C++. Le prestazioni del filtro di navigazione sviluppato sono quindi valutate in due differenti scenari. Nel primo scenario, il filtro è applicato ad un contesto spaziale nel quale il moto orbitale di due satelliti è riprodotto per via numerica. Nel secondo caso invece, le condizioni operative del setup di laboratorio sono modellate in un ambiente di simulazione 3D. La strategia di navigazione è in ultima istanza testata per via sperimentale grazie all'utilizzo del simulatore satellitare. L'algoritmo di navigazione proposto dimostra di essere capace di stimare lo stato relativo tra i due satelliti con accuratezze dell'ordine del centimetro sulla posizione e del grado sull'orientazione. Nello stato attuale, il simulatore satellitare di terra SPARTANS si compone di un'unità satellitare completa, di un tavolo di test con una superficie di 3x2 m, di un sistema di navigazione globale basato sul sistema di Motion Capture e di una Control Station esterna. Nel momento in cui la costruzione della seconda unità satellitare sarà ultimata, il simulatore permetterà l'esecuzione di manovre coordinate per l'investigazione e lo studio di problematiche relative a volo in formazione, rendez-vous and docking e, in generale, manovre di prossimità.