Tez No	İndirme	Tez Künye	Durumu
798218		Recognizing human actions from images with attention mechanism / İmgelerde ilgi mekanizması ile insan hareketlerinin tanınması Yazar:ÇAĞDAŞ BAŞ Danışman: DOÇ. DR. NAZLI İKİZLER CİNBİŞ Yer Bilgisi: Hacettepe Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı Konu:Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control Dizin:	Onaylandı Doktora İngilizce 2022 106 s.
İmgelerde insan hareketlerini tanıma videolarda bulunan tüm hareket bilgisini içermediğinden zor bir problemdir. Sürekli bir hareketin tek bir anını, videodan sağlanan zengin bilgi ile kıyaslamak mümkün değildir. Bu tezde biz, etraftaki bilgiyi iki farklı ilgi tabanlı çoklu örnekle öğrenme mekanizması ile birleştirerek imgelerde insan hareketleri tanıma konusuna odaklandık. İnsan etrafındaki eşyalar veya sahne detayları imgelerde hareket tanıma için önemlidir. Fakat olası tüm nesneleri veya sahneleri tespit edebilmek yapılabilir değildir. Bu sebeple, bölge önerme ağları tarafından önerilen hareket ile ilgili alanları birleştirecek iki farklı ilgi mekanizması kullanmayı önerdik. Önerdiğimiz ilgi mekanizmalarından ilki olan aşağıdan-yukarıya ilgi katmanı her önerilen alan için uzamsal bir harita öğrenir. Bu harita, hareket ile ilgili olmayan pikselleri bastırırken hareket ile ilişkili piksellerin ön plana çıkmasını sağlar. Deneylerimiz yukarıdan-aşağı ilgi katmanlarının tüm modelin başarımını yükselttiğini göstermektedir. Ön plana çıkartılan alanların görsel olarak incelenmesi sonucunda da katmanın, hareketle alakalı nesne, arka plan ipuçları ve poz kesimlerini başarılı bir şekilde bulabildiği görülmüştür. Önerdiğimiz ilgi mekanizmalarından diğeri ise yukarıdan-aşağı ilgi katmanıdır. Bu katman, bölge önerme ağı tarafından önerilmiş hangi bölgelerin hareketle ilgili olduğunu öğrenir. Belirli bölgelerde bulunan ipuçları birden çok hareketle ilişkili olabileceği için aşağıdan yukarı ilgi katmanı tamamını ön plana çıkarsa da hangi bölge bileşimlerinin hareketle ilişkili olacağını yukarıdan-aşağı ilgi katmanı seçer. Bu katman bölge bileşimlerini seçer ve bölgelere ait öznitelik vektörlerini ilgiye dayalı bir şekilde birleştirerek tüm görüntüyü ifade eden tek bir öznitelik vektörü yaratır. Deneylerimiz sonucu yukarıdan-aşağı ilgi katmanının başarılı bir şekilde ilgili bölgeleri seçtiğini ve toplam başarımı arttırdığını gözlemledik. Önerdiğimiz model herhangi bir bölge önerme ağından sonra konumlandırılabilir ve uçtan uca bir öğrenme yapılmasını sağlar. Bu şekilde tüm ağ, hareket ile ilgili bölgeleri seçmeyi, bu bölgeleri uzamsal olarak ağırlıklandırmayı ve hareket ile ilişkili bölgeleri en iyi şekilde birleştirerek tüm görüntüyü ifade eden bir öznitelik vektörü oluşturmayı öğrenir. Sonuç olarak önerdiğimiz model dört farklı veri kümesinde literatürdeki en iyi yöntemlerin sonuçlarını iyileştirdi.
Human action recognition in still images is a challenging problem due to the lack of complete motion compared to videos. A single snippet of the ongoing action does not compete with the rich information provided by a video. In this thesis, we explore combining the surrounding information with two different attentional multiple instance mechanisms. The surrounding objects and scene clues are essential in still image action recognition. However, detecting every object is not feasible. For this reason, we employ two different attention mechanisms on possible action related regions proposed by a region proposal network. The first attention layer is the bottom-up attention layer. It learns a spatial attention map to refine each proposal according to ongoing action. It eliminates the background and highlights only the foreground and the pixels related to the action. Our experiments show that the bottom-up attention layer increases the models' accuracy. Visual analysis of the highlighted areas shows that it successfully finds action related objects, scene clues and poselets. The second attention layer is the top-down attention layer. It learns to select which region proposals are related to the ongoing action. There may be multiple action related clues in an image, and the bottom-up attention layer can highlight multiple image regions. However, the selection of related proposals is the top-down attention layers task. It learns to select regions and combines region features to create a single image-level descriptor. Our experiments show that the top-down attention layer successfully selects the related regions to boost the overall performance. Our proposed model can be plugged after any region proposal network and allows end-to-end learning. This way, the network simultaneously learns to propose action related regions, weights each region with an action attention map and selects and combines these regions into an image feature vector. As a result, our model improved the state-of-the-art average precision on four different datasets.