New frontiers of markerless motion capture: application to swim biomechanics and gait analysis

During the last decade markerless motion capture techniques have gained an increasing interest in the biomechanics community. These techniques are only based on synchronized video sequences of the subject and allow noninvasive measurements of body segments kinematics. The main advantage over commercial marker-based motion capture systems is that they do not rely on skin based markers for tracking, capturing the subject's motion in a natural and easier way. Furthermore, markerless analysis can be performed in non-controlled environments where markers cannot be employed. An exemplary case is the kinematic analysis of swimmers, which requires underwater human motion tracking, therefore it cannot rely on retro reflective marker based motion capture systems. The major drawbacks of the state of the art of swim biomechanics are the manual digitization of feature points on video sequences of the subject, which is a time consuming task, and that it has often been limited to the sagittal plane. Since the motion in front-crawl swimming occurs on different planes, for a descriptive analysis of three-dimensional motion a multi-camera setup is needed, which requires not only calibration, but also synchronization of the cameras. These procedures are hindered by the underwater experimental environment. In this context markerless systems, without requiring to draw or attach markers to the athlete skin, are suitable for underwater quantitative analysis during training or even competition. One of the aims of the present thesis is the development of a video-based, markerless system for the analysis of arm movements during front crawl swimming, On the other hand, in the clinical field, the application of markerless techniques is still debated. This is mainly due to a limited number of papers dedicated to the comparison with the state of the art of marker based motion capture, especially in term of repeatability and accuracy in the estimation of the three dimensional joint rotations. So far in the present thesis the application of markerless techniques to data acquired with a marker-based system has been investigated. The latter was employed to directly compare the joint kinematics estimated with the markerless technique with the one determined with traditional marker based systems, while excluding differences in calibration and synchronization of the cameras. In this context for marker placement the CAST protocol was adopted, which could be considered the most reliable in term of accuracy for joints rotation estimation. Indeed, a combined markerless and markerbased system could be considered a versatile solution for gait laboratories, which could perform different type of analyses based on the desired degree of accuracy and unencumbrance of the subject. The present thesis is organized as follows: the first chapter contains an introduction to markerless motion capture systems and the fields in which they have been applied. The second chapter presents the state-of-the-art of markerless techniques reported in literature, and a detailed description of the actual approach that has been employed and developed. The third and fourth chapters focus respectively on the application of the markerless technique to front-crawl swimming employing underwater cameras, and to gait analysis employing video sequences acquired with a marker-based system. Some background information is given first, presenting the open issues that are addressed in this thesis. A description of the experimental setup is provided, along with the explanation of the data processing method that has been developed to address the related issues. Finally, experimental results are presented and discussed. Conclusions and future developments are the object of the fifth chapter.

Nell’ultimo decennio le techiche di acquisizione del movimento di tipo “markerless” hanno suscitato un interesse sempre maggiore all’interno della comunità biomeccanica. Queste tecniche si basano solo su sequenze video sincronizzate del soggetto e permettono misure non invasive della cinematica segmentale. Il vantaggio principale che presentano rispetto ai sistemi di acquisizione commerciali basati su marcatori è che non è richiesta la presenza di marcatori o altri dispositivi sulla pelle del soggetto, pertanto è possibile registrarne il movimento in maniera più naturale e pratica. Inoltre le analisi markerless possono essere effettuate anche in ambienti non controllati dove i marcatori non possano essere utilizzati. Un caso esemplare è l’analisi cinematica dei nuotatori, che richiede la ricostruzione di traiettorie in ambiente subacqueo; i sistemi che sfruttano i marcatori retro-riflettenti non possono quindi essere utilizzati. Gli svantaggi principali dei metodi allo stato dell’arte della biomeccanica del nuoto sono la digitazione manuale dei punti di interesse sulle sequenze video del soggetto, compito che richiede molto tempo, e il fatto che sono spesso limitati al piano sagittale. Dal momento che il movimento, nel nuoto a stile libero, avviene su piani diversi, per ottenere un’analisi descrittiva del movimento tridimensionale è necessario un setup che comprenda molteplici telecamere; queste devono essere non solo calibrate, ma anche sincronizzate. Le procedure per la predisposizione di tale setup sono tuttavia rese difficoltose dall’ambiente sperimentale subacqueo. In questo contesto, i sistemi di tipo markerless, che non richiedono di disegnare o fissare marcatori alla pelle dell’atleta, sono adatti per analisi quantitative subacquee durante l’allenamento o addirittura in competizione. Uno degli scopi di questa tesi è lo sviluppo di un sistema markerless, basato su video, per l’analisi dei movimenti del braccio nel nuoto a stile libero. D’altra parte, nel campo clinico, l’applicazione di tecniche markerless è ancora dibattuta. Questo è dovuto principalmente alla scarsa presenza in letteratura di lavori dedicati al confronto tra questi sistemi e lo stato dell’arte dell’acquisizione del movimento basata su marker, soprattutto in termini di ripetibilità e accuratezza nella stima delle rotazioni articolari tridimensionali. In questa tesi è stata studiata l’applicazione di tecniche markerless a dati acquisiti con un sistema stereofotogrammetrico sviluppato per l’utilizzo dei marcatori. Quest’ultimo è stato sfruttato per effettuare un paragone diretto tra la cinematica articolare stimata con la tecnica markerless e quella ricostruita tradizionalmente mediante i marcatori, escludendo eventuali differenze nella calibrazione o nella sincronizzazione dei due sistemi. In questo contesto è stato adottato, per il posizionalemento dei marcatori, un protocollo di tipo CAST, che può essere considerato il più affidabile in termini di accuratezza nella stima delle rotazioni articolari. La combinazione di un sistema markerless-marker potrebbe essere invero considerata una soluzione versatile per i laboratori di analisi del movimento, che potrebbero effettuare diversi tipi di analisi a seconda del desiderato grado di accuratezza e di disagio procurato al paziente. La presente tesi è organizzata come segue: il primo capitolo contiene un’introduzione ai sistemi markerless e ai campi in cui sono stati applicati. Il secondo capitolo riporta lo stato dell’arte delle tecniche markerless presenti in letteratura e una descrizione dettagliata dell’approccio markerless che è stato impiegato e sviluppato. Il terzo e il quarto capitolo sono incentrati rispettivamente sull’applicazione della tecnica markerless all’analisi, mediante telecamere subacquee, del nuoto a stile libero, e all’analisi clinica del passo impiegando sequenze video acquisite con un sistema predisposto per l’utilizzo di marcatori. Sono innanzitutto fornite alcune informazioni introduttive, che presentano gli argomenti trattati in questa tesi. Vengono quindi descritti il setup sperimentale e i metodi di analisi dati che sono stati sviluppati per affrontare i relativi problemi. Infine vengono presentati e discussi i risultati sperimentali. Il quinto capitolo è dedicato alle conclusioni e alla discussione di possibili sviluppi futuri.