Tez No İndirme Tez Künye Durumu
489488
Optical flow based video frame segmentation and segment classification / Optik akış tabanlı video çerçeve bölümlendirme ve bölüm sınıflandırma
Yazar:SAMET AKPINAR
Danışman: PROF. DR. FERDANUR ALPASLAN
Yer Bilgisi: Orta Doğu Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Konu:Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin:
Onaylandı
Doktora
İngilizce
2018
106 s.
Video bilgi getirme, çoklu ortam araştırmalarının, video verisinden istenen anlamlı bilgileri çıkarılmasını sağlayan bir alanıdır. İçerik tabanlı video bilgi getirmede, video sahnelerinden elde edilen görsel içerikler kullanılmaktadır. İçerik tabanlı video bilgi getirmeyi eylem, olay, vb. zamansal kavramlar açısından gerçekleştirmek için zamansal bilginin gösterimi kritik hale gelmektedir. Bu tezde, eylem tespiti, zamansal bir video gösterim modeline dayalı olarak ele alınmaktadır. Burada görsel özellik - optik akış - video kısımlarını zamansal bilgi olarak biçimlendirmek için kullandığımız temel yapımızdır. Önerilen modelde, video eylem tespiti, iki kısımdan oluşan parçalı bir yaklaşım üzerinden düşünülmektedir; Zamansal video bölüm sınıflandırma ve zamansal video bölümlendirme. İlk kısımda, ağırlıklandırılmış görüntü karesi hızı kavramı öne sürülmekte ve optik akış vektörleriyle ilişkilendirilmektedir. Birleştirilmiş bu gösterim, eylem tabanlı video bölüm sınıflandırmada kullanılmaktadır. İkinci kısım, genel olarak video bölüm sınıflandırma metotlarına video bölüm adaylarını sağlayan yeni bir zamansal video bölümlendirme metodolojisi içermektedir. Bu metodoloji, piksel tabanlı kesme tespit yöntemlerini, hareket tabanlı olanlarla güçlendiren bir yaklaşım getirmektedir. Optik akış vektörlerine dayalı olarak ortalama hareket vektörleri sunulmakta ve piksel eşlemede kullanılmaktadır. Bir kesme sınıflandırma, elde edilen kayan pencere tabanlı yaklaşımla zenginleştirilen gösterime uygulanmaktadır. Önerilen metotlar farklı veri kümelerine uygulanmıştır. Sonuçların literatürdeki metotlarla analizi, sunulan zamansal gösterim ve kavramların kısım ve kesme sınıflandırma performanslarını arttırdığını göstermektedir.
Video information retrieval is a field of multimedia research enabling us to extract desired semantic information from video data. In content-based video information retrieval, visual content obtained from video scenes is utilized. For developing methods to cope with content-based video information retrieval in terms of temporal concepts such as action, event, etc., representation of temporal information becomes critical. In this thesis, action detection is tackled based on a temporal video representation model. Herein, the visual feature - optical flow - is our basic construct used to formalize video parts as temporal information. In the proposed model, video action detection is considered over a pieced approach composed of two parts; Temporal video segment classification and temporal video segmentation. In the first part, weighted frame velocity concept is put forward and associated with the optical flow vectors. The associated representation is used in action based video segment classification. The second part contains a new temporal video segmentation methodology providing segment candidates to segment classification methods generally. The methodology brings an approach strengthening the pixel based cut detection methods with the motion based ones. Average motion vectors are presented based on the optical flow vectors and used in pixel matching. A binary cut classification is applied to the obtained representation enriched with a sliding window based approach. Proposed methods are applied to different data sets. Analysis of the results with the state of the art methods shows that proposed temporal representation models and concepts increased the segment and cut classification performances.