Tez No İndirme Tez Künye Durumu
489449
Semantic video analysis for surveillance systems / Gözetim sistemleri için anlamsal video analizi
Yazar:KARANİ KARDAŞ
Danışman: PROF. DR. AHMET COŞAR ; PROF. DR. FEHİME NİHAN ÇİÇEKLİ
Yer Bilgisi: Orta Doğu Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Konu:Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin:
Onaylandı
Doktora
Türkçe
2018
137 s.
Bu tez video olaylarının anlamsal çıkarımı konusunda geliştirilmiş çalışmaları sunar. Bu bağlamda, gözetim alanında karmaşık video olaylarının otomatik algılanması ve çıkarılması için anlamsal kuralların ve olay modellerinin öğrenilebileceği veya kullanıcı tarafından tanımlanabileceği bir gözetim video analizi sistemini (SVAS) tanıtmaktadır. SVAS kapsamında, Interval-Based Spatio-Temporal Model (IBSTM) (Aralık Tabanlı Uzamsal ve Zamansal Model) adlı bir olay modeli yöntemi önerilmiştir. SVAS, önceden tanımlanmış esik değerleri olmadan eylem modellerini ve olay modellerini öğrenebilir ve anlaşılabilir ve yönetilebilir IBSTM olay modelleri üretir. Melez makine öğrenme yöntemleri önerilir ve kullanılır. Bir olayın uzamsal ve zamansal hareket analizini yansıtan Threshold Model (Esik Modeli) isimli bir küme özellik modeli, ilk model olarak tutulur. kinci model olarak, tanıma aşamasındaki arama kümesini azaltmak için Bag of Actions (BoA) (Eylem Çantası) modeli kullanılmıştır. Kullanıcılar için anlaşılabilir ve yönetilebilir mantık yüklemleri sağlayan Markov Logic Network (MLN) (Markov Mantıksal Ağ) modeli, üçüncü model olarak tutulmaktadır. SVAS, sahip olduğu aralık tabanlı hiyerarşik yapısı nedeniyle yüksek performanslı olay tanıma kabiliyetine sahiptir. IBSTM' in her ana modeli için ilgili aday aralıklarını belirler ve tüm modelleri bir bütün olarak kullanmak yerine ihtiyaç duyulduğunda ilgili ana modeli kullanır. Bu çalışmanın ana katkısı, bir yandan öğrenme kabiliyeti ile insan müdahalesini azaltmak, diğer yandan da yönetilebilir olay modeli yöntemi yoluyla gerektiğinde insan müdahalesini mümkün kılacak şekilde, insanlar ve video bilgisayar sistemleri arasındaki anlamsal boşluğu doldurmaktır. Çalışma, sahip olduğu makine öğrenme yöntemleri aracılığıyla tüm bunları en verimli şekilde başarmaktadır. Önerilen sistem CAVIAR, BEHAVE, CANTATA ve sentetik veri kümelerinden oluşan farklı olay veri kümelerine uygulanmıştır. Deneysel sonuçlar yaklaşımımızın, günümüz yaklaşımlara kıyasla olay tanıma performansını ve hassaslığını geliştirdiğini göstermektedir.
This thesis presents novel studies about semantic inference of video events. In this respect, a surveillance video analysis system, called SVAS is introduced for surveillance domain, in which semantic rules and the definition of event models can be learned or defined by the user for automatic detection and inference of complex video events. In the scope of SVAS, an event model method named Interval-Based Spatio-Temporal Model (IBSTM) is proposed. SVAS can learn action models and event models without any predefined threshold values and generates human readable and manageable IBSTM event models. The thesis proposes hybrid machine learning methods. A set of feature models named Threshold Model, which reflects the spatio-temporal motion analysis of an event, is kept as the first model. As the second model, Bag of Actions (BoA) model is used in order to reduce the search space in the detection phase. Markov Logic Network (MLN) model, which provides understandable and manageable logic predicates for users, is kept as the third model. SVAS has high performance event detection capability due to its interval-based hierarchical approach. It determines related candidate intervals for each main model of IBSTM and uses the related main model when needed rather than using all models as a whole. The main contribution of this study is to fill the semantic gap between humans and video computer systems such that, on one hand it decreases human intervention through its learning capabilities, but on the other hand it also enables human intervention when necessary through its manageable event model method. The study achieves all of them in the most efficient way through its machine learning methods. The proposed system is applied to different event datasets from CAVIAR, BEHAVE, CANTATA and our synthetic datasets. The experimental results show that our approach improves the event recognition performance and precision as compared to the current state-of-the-art approaches.