Naslov (srp)

Praćenje pokretnih objekata u sekvenci kratkotalasnih infracrvenih slika korelacionim metodama i tehnikama robusne Kalmanove filtracije : doktorska disertacija

Autor

Pavlović, Miloš S., 1995-

Doprinosi

Kovačević, Branko, 1951-

Opis (eng)

The application of cameras operating in the short-wave infrared spectral range in videosystems can provide complementary information in challenging propagation conditions wherevisible-light and thermal cameras are ineffective. Additionally, one of the most important componentsof intelligent video systems is the ability to track moving objects.The main research topic of this dissertation is the tracking of a single moving object in shortwaveinfrared video sequence. The goal is to achieve long-term tracking of a moving object in realtimein various challenging situations on the scene. The focus is on the tracking methods based oncorrelation filters, primarily due to their good performance under regular scene conditions, but alsodue to their computational efficiency. The tracking of moving object using correlation filter is basedon the detection of a peak in the correlation response obtained by correlation between the establishedcorrelation filter model and the search area in each frame. If the object is moved relative to theposition in the previous frame of the video sequence, the generated correlation response should havethe same displacement of the peak location. However, correlation filters are not robust enough to dealwith challenges such as changes in object size and orientation, changes in scene illuminationconditions, and a particular challenge is the presence of different types of occlusions. An additionalchallenge is the lack of color information and the low contrast of the short-wave infrared image.Dissertation formulates a system for moving object tracking that applies the Kalman filter asan estimator of the object state, a module for occlusion and failure detection, a module for object sizeestimation, as well as adaptive updating the context-aware correlation filter and achieves a significantimprovement in tracking performance in the specified challenging situations compared to a systembased only on a correlation filter. In particular, to overcome occlusions, recognized as the mostchallenging problem in video tracking, a Kalman filter as a predictor and an extended search areawere used, so that tracking can be continued even in the case of full occlusion. Although using anextended search area helps in better re-detection of the object after occlusion, it may also lead tooccasional errors in the measurement data that can result in object loss. These errors can be treatedas bad data or outliers. The appearance of outliers in the measurement data may cause significantdeviations from the theoretically optimal performance of the Kalman filter, since the distribution ofthe measurement data which contain outliers does not satisfy the Gaussian distribution, which is oneof the basic assumptions on which the optimal Kalman filter is based.In this dissertation, the design of a robust Kalman filtering technique that is insensitive tooutliers contaminating Gaussian distributed measurements, is presented. First, a class of Mrobustifieddynamic stochastic approximation algorithms is derived by minimizing at each step thetime-varying M-robust performance index, which is general for the family of algorithms to beconsidered. The gain matrix of a particular estimator is calculated at each step by minimizing anadditional criterion of the approximate minimum variance type, using the statistical linearizationmethod. By combining the proposed M-robust estimator with one-step optimal prediction, in termsof minimum mean-square error, a new statistically linearized M-robustified Kalman filteringtechnique has been derived. Two simple practical versions of the proposed M-robustified stateviestimator are derived by approximating the mean-square optimal coefficient of statistical linearizationwith fixed and time-varying factors.However, strong robustness to outliers may decrease the estimator’s efficiency under regularconditions. To make a balance between desired estimator efficiency and robustness to outliers, a newadaptive approach was proposed in the dissertation. Influence function of the robust estimator isadjusted depending on the situation on the scene, whereby a relationship between the saturationthreshold of Huber's influence function and the peak of the correlation response map has beenestablished. Additional improvement of the tracking system was achieved by adapting the noisestatistics in the robust Kalman filter. In this way, a comprehensive adaptation of a robust movingobject tracking system to scene conditions is provided, both in regular and challenging video trackingscenarios.

Opis (srp)

Primena kamera koje rade u kratkotalasnom infracrvenom spektralnom opsegu u videosistemima može obezbediti komplementarne informacije u izazovnim uslovima propagacije u kojimasu termalne i kamere koje rade u vidljivom opsegu neefikasne, a jedna od najvažnijih komponentisvih inteligentnih video sistema jeste sposobnost praćenja pokretnih objekata.U disertaciji je analiziran problem praćenja jednog pokretnog objekta u sekvencikratkotalasnih infracrvenih slika. Cilj je postići dugotrajno praćenje pokretnog objekta u realnomvremenu u različitim izazovnim situacijama na sceni. U fokusu disertacije su metode za praćenjezasnovane na korelacionim filtrima, prvenstveno zbog svojih dobrih performansi u regularnimuslovima scene, ali i njihove računske efikasnosti. Praćenje pokretnih objekata korelacionim filtrimase zasniva na detekciji vršne vrednosti u korelacionom odzivu dobijenog korelacijom izmeđuuspostavljenog modela korelacionog filtra i prostora pretrage na svakoj slici sekvence. Ako se tokompraćenja između sukcesivnih slika sekvence objekat pomeri u odnosu na poziciju na prethodnoj slicisekvence, generisani korelacioni odziv treba da ima isti iznos pomeraja lokacije vršne vrednosti.Međutim, korelacioni filtri nisu dovoljno robusni da se nose sa izazovima poput promene veličine iorijentacije objekta, promene u osvetljenju scene, a poseban izazov je prisustvo različitih tipovaokluzija. Dodatni izazov predstavlja nedostatak informacija o boji i generalno nizak kontrastkratkotalasne infracrvene slike.U okviru disertacije je formulisan nov sistem za praćenje pokretnih objekata koji primenomKalmanovog filtra kao estimatora stanja objekta, modula za detekciju okluzija i neregularnosti upraćenju, modula za estimaciju veličine objekta, a zatim adaptivnim ažuriranjem kontekstnoregularizovanog korelacionog filtra postiže značajno poboljšanje performansi praćenja u navedenimizazovnim situacijama u odnosu na sistem oslonjen samo na korelacioni filtar. Posebno, zaprevazilaženje okluzija prepoznatih kao najizazovniji problem u video praćenju, u disertaciji sepredlaže primena Kalmanovog filtra kao prediktora stanja objekta i metode za proširenje oblastipretrage. Proširivanje oblasti pretrage pomaže u ponovnoj identifikaciji objekta nakon okluzije, ali idovodi do povremene pojave grešaka u podacima merenja koje mogu dovesti do gubitka objekta iprestanka praćenja. Ove greške se mogu tretirati kao loši podaci ili autlajeri. Pojava autlajera umernim podacima za posledicu ima loše performanse optimalnog Kalmanovog filtra, obzirom da timenije zadovoljena Gausova raspodela šuma merenja što je jedna od osnovnih pretpostavki na kojimase optimalna tehnika estimacije zasniva.U disertaciji je predstavljen dizajn tehnike robusne Kalmanove filtracije, otporne na prisustvoautlajera koji kontaminiraju Gausovu raspodelu merenja. Prvo, klasa M-robustifikovanih algoritamadinamičke stohastičke aproksimacije je izvedena minimiziranjem u svakom koraku vremenskipromenljivog M-robusnog indeksa performansi, koji je opšti za porodicu razmatranih algoritama.Matrica pojačanja estimatora se izračunava u svakom koraku minimizacijom dodatnog kriterijumaaproksimativne minimalne varijanse, koristeći metod statističke linearizacije. Kombinovanjempredloženog M-robusnog estimatora sa jednokoračnom optimalnom predikcijom, u smislu minimalnesrednje kvadratne greške, izvedena je nova statistički linearizovana M-robustifikovana tehnikaKalmanove filtracije. Dve jednostavne praktične verzije predloženog M-robustifikovanog estimatoraivstanja su izvedene aproksimacijom optimalnog srednje kvadratnog koeficijenta statističkelinearizacije sa fiksnim i vremenski promenljivim faktorima.Međutim, povećanje robusnosti može dovesti do smanjenja efikasnosti estimatora. Kako bi senapravio balans između efikasnosti estimatora i robusnosti u odnosu na autlajere, u disertaciji jepredložen nov pristup gde se funkcija uticaja robusnog estimatora prilagođava u zavisnosti odsituacije na sceni, pri čemu je uspostavljena relacija između praga saturacije Huberove funkcijeuticaja i vršne vrednosti korelacionog odziva evaluiranog uzorka slike korelacionim filtrom. Dodatnounapređenje sistema za praćenje je postignuto i adaptacijom statistika šuma merenja u robusnomKalmanovom filtru. Na ovaj način je obezbeđena sveobuhvatna adaptacija robusnog sistema zapraćenje pokretnih objekata uslovima na sceni, kako u regularnim, tako i u scenarijima koji sesmatraju veoma izazovnim za praćenje pokretnih objekata u sekvenci slika.

Opis (srp)

Elektrotehnika i računarstvo - Upravljanje sistemima i obrada signala / Electrical Engineering and Computer Science - System Control and Signal Processing Datum odbrane: 03.10.2024.

Jezik

srpski

Datum

2024

Licenca

Ovo delo je licencirano pod uslovima licence
Creative Commons CC BY-NC-ND 3.0 AT - Creative Commons Autorstvo - Nekomercijalno - Bez prerada 3.0 Austria License.

http://creativecommons.org/licenses/by-nc-nd/3.0/at/legalcode

Predmet

OSNO - Opšta sistematizacija naučnih oblasti, Računarsko programiranje. Aplikativni programi

praćenje pokretnih objekata, kratkotalasna infracrvena slika, korelacioni filtri, Kalmanov filtar, robusna estimacija, adaptivne robusne metode

OSNO - Opšta sistematizacija naučnih oblasti, Računarsko programiranje. Aplikativni programi

moving object tracking, short-wave infrared imagery, correlation filter, Kalman filter, robust estimation, adaptive robust methods