Tez No İndirme Tez Künye Durumu
237617
Automatic semantic content extraction in videos using a spatio-temporal ontology model / Konumsal ve zamansal bir ontoloji modeli kullanarak videolardan otomatik anlamsal içerik çıkarımı
Yazar:YAKUP YILDIRIM
Danışman: PROF. DR. ADNAN YAZICI
Yer Bilgisi: Orta Doğu Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Bölümü / Bilgisayar Mühendisliği Ana Bilim Dalı
Konu:Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin:Ontoloji = Ontology
Onaylandı
Doktora
İngilizce
2009
164 s.
Bir çok uygulamada video kullanımının son dönemdeki artışı, videolardan içeriğin elde edilme ihtiyacını ortaya çıkarmıştır. Ham video verisi ve alt seviye özellikler tek başına kullanıcı ihtiyaçlarını tam olarak karşılayamadığı için, içeriğin derinlemesine incelenerek anlamsal seviyede ele alınması gerekmektedir. Günümüzde, alt seviye temsili özellikler ile üst seviye anlamsal içerik arasında yer alan boşluğun kapatılması için yetersiz, öznel, zaman kaybına ve sorgu kabiliyetlerinde kısıtlamalara sebep olan manuel teknikler kullanılmaktadır. Bu nedenle, videolardan anlamsal içeriğin otomatik olarak çıkarılma ihtiyacı zorunlu hale gelmiştir. Bu ihtiyacı karşılamak üzere, nesne, olay ve kavram çıkarımını otomatik olarak yapan bir video anlamsal içerik çıkarım sistemi önermekteyiz. Olay ve kavram tanımlarında nesne tanımlarını ve konumsal ve zamansal ilişkileri kullanan, genel amaçlı ontoloji destekli anlamsal bir video modeli ortaya koymaktayız. Ontoloji sınıfları arasında yer alan bulanık konumsal ve zamansal ilişkileri tanımlamak amacı ile çeşitli ilişki tipleri oluşturulmuştur. Bu anlamsal video modeli alan ontolojilerinin oluşturulmasında kullanılmaktadır. Buna ek olarak, alan ontolojileri, konumsal ilişki hesaplama maliyetini düşürmek ve bazı karmaşık durumların daha etkin tanımlanabilmesi için kural tanımlarıyla zenginleştirilmiştir. Örnek olay incelemesi olarak basketbol ve gözetleme alanları için videolardan olay ve kavram çıkarımı üzerine deneyler yapılmıştır. Nesne, olay ve kavram çıkarımı için tatmin edici geri getirme ve duyarlılık yüzdeleri elde edilmiştir. Önerilen çatı için alan bağımsız bir uygulama geliştirilmiş ve test edilmiştir.
Recent increase in the use of video in many applications has revealed the need for extracting the content in videos. Raw data and low-level features alone are not sufficient to fulfill the user's need; that is, a deeper understanding of the content at the semantic level is required. Currently, manual techniques are being used to bridge the gap between low-level representative features and high-level semantic content, which are inefficient, subjective and costly in time and have limitations on querying capabilities. Therefore, there is an urgent need for automatic semantic content extraction from videos. As a result of this requirement, we propose an automatic semantic content extraction system for videos in terms of object, event and concept extraction. We introduce a general purpose ontology-based video semantic content model that uses object definitions, spatial relations and temporal relations in event and concept definitions. Various relation types are defined to describe fuzzy spatio-temporal relations between ontology classes. Thus, the video semantic content model is utilized to construct domain ontologies. In addition, domain ontologies are enriched with rule definitions to lower spatial relation computation cost and to be able to define some complex situations more effectively. As a case study, we have performed a number experiments for event and concept extraction in videos for basketball and surveillance domains. We have obtained satisfactory precision and recall rates for object, event and concept extraction. A domain independent application for the proposed framework has been fully implemented and tested.