Tez No |
İndirme |
Tez Künye |
Durumu |
759162
|
|
Leveraging semantic saliency maps for query-specific video summarization / Sorguya özel video özetleme icin anlamsalbelirginlik haritalarından yararlanma
Yazar:KEMAL ÇİZMECİLER
Danışman: DOÇ. DR. MEHMET ERKUT ERDEM ; DOÇ. DR. AYKUT ERDEM
Yer Bilgisi: Hacettepe Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı / Bilgisayar Mühendisliği Bilim Dalı
Konu:Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin:Derin öğrenme = Deep learning ; Görsel belirginlik = Visual salience ; Video analizi = Video analytics ; Yapay zeka = Artificial intelligence ; Özetleme = Summarizing
|
Onaylandı
Doktora
İngilizce
2022
99 s.
|
|
Otomatik video ozetleme, büyük miktarda g örsel veriyi kolayca anlamamıza ve analiz ¨
etmemize yarayan bir tekniktir. Literaturdeki metotlar bunu videyu belli parçalara ayırarak ¨
ve bu parçalara bir onem de öeri atayarak gerçekleştirirler. Sorgu tabanlı özet çıkarmada ise ¨
sorgu terimlerinin nasıl onem de öerine dahil edilebilece şi araştırılmıştır. ˘
Bu çalışmada sorgu tabanlı ozetlemede önem de öeri atarken hangi kriterlerin etkili ˘
olabilecegi araştırılmıştır ve anlamsal öznitelikler ve g örsel belirginlik haritalarının katkı ¨
saglayabilece şiöne s ürülmüşt ür. Ayrıca sorgu terimlerinin sadece bazı aktiviteler olmaktan ¨
ziyade, aktivitenin gerçekleştirildigi mekan veya aktiviteyi gerçekleştiren akt ör olabilece öi˘
için bu kavramlar da sorgu terimlerine dahil edilmiştir. Yapılan deneylerde, optimizasyona
dahil edilen 3 fonksiyondan biri olan kapsama terimine anlamsal ve gorsel belirginlik ¨
haritalarının dahil edilmesinin olumlu katkı sagladı şı g özlemlenmiştir. Optimizasyonda ¨
dikkate alınan diger iki fonksiyon ise temsil ve sorgu terimi yakınlı şıdır. Kısaca, insanların ˘
belli bir gorev dahilinde videoyu inceledi öinde baktı şı yerlerin de şişebilece şi d üşüncesiyle ¨
(Gorev Odaklı Dikkat), videodaki ilgili yerlerin önceden belirlenmesi ve çıkarılan özetlerde ¨
iii
bu bolümlere a öırlık verilmesi faydalı olmuştur. ˘
˙Iki buyük veri k ümesi üzerinde yapılan ¨
ayrıntılı deneyler ve gorsel sonuçlar, öne s ürülen hipotezin do örulu şunu g özler önüne ¨
sermiştir.
|
|
Automatic video summarization is a technique that allows us to easily understand and
analyze large amount of visual data. Methods in the literature do this by dividing the video
into certain parts and assigning a significance value to these parts. In query-based summary
extraction, how query terms can be included in the importance value has been investigated.
In this study, it was investigated which criteria could be effective in assigning importance
value in query-based summarization, and it is suggested that semantic attributes and visual
salience maps could contribute. In addition, these concepts are also included in the query
terms, since the query terms may be the place where the activity is carried out or the
actor performing the activity, rather than just some activities. In the experiments, it has
been observed that the inclusion of semantic and visual saliency maps in the diversity
term, which is one of the 3 functions included in the optimization, makes a positive
contribution. Two other functions considered in optimization are representation and query
term relevance. In short, with the thought that the places people look at the video may
change when they view the video within a certain task (Task-Oriented Attention), it is useful
i
to predetermine the relevant parts in the video and to give extra weight to these sections in the
summaries. Detailed experiments and visual results on two large datasets have demonstrated
the correctness of the proposed hypothesis. |