Tez No	İndirme	Tez Künye	Durumu
770914		Sinyal görüntü dönüşümleri yardımıyla çok modlu duygu tanıma sisteminin geliştirilmesi / Development of multimodal emotion recognition system with the help of signal to image transformations Yazar:BAHAR HATİPOĞLU YILMAZ Danışman: PROF. DR. CEMAL KÖSE Yer Bilgisi: Karadeniz Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı Konu:Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control Dizin:Duygu tanıma = Emotion recognition ; EEG = ; Görüntü işleme yöntemleri = Image processing methods ; Makine öğrenmesi = Machine learning ; Çoklu çözümlü öğrenme = Multimodal learning ; İşaret işleme = Signal processing	Onaylandı Doktora Türkçe 2022 183 s.
Duygu tanıma, insanlar arasında akıl yürütme ve etkileşimi geliştirmek için çeşitli uygulamalarda önemli bir yere sahiptir. Fakat duygu dış uyaranların da etkisiyle çok hızlı değişebildiğinden duygu tanıma problemlerinin klasik yöntemlerle çözülmesi oldukça zordur. Tez çalışmasında çok modlu duygu tanıma sistemleri için hem özgün açı genlik dönüşümü (AGD) yöntemleri hem de farklı türdeki giriş verilerini birleştiren özgün füzyon yöntemleri önerilmiştir. Tez çalışmasının ilk bölümünde Elektroensefalografi (EEG) ve Elektrookülografi (EOG) sinyallerine AGD'ler uygulanmıştır. Elde edilen açı genlik görüntüleri (AGG) iki farklı yaklaşımla (ÖSB-1, ÖSB-2) öznitelik seviyesinde birleştirilmiş ve destek vektör makineleriyle (DVM) sınıflandırılmıştır. İkinci bölümde ise EEG sinyalleri ve yüz görüntüleri giriş verileri olarak kullanılmıştır. EEG sinyallerine özgün iki AGD yöntemi uygulanmıştır. Yüz görüntüleri arasındaki en benzersiz görüntü ise otomatik olarak belirlenmiştir. Bu iki farklı giriş verisi Sensör Seviyesinde Birleştirme (SSB), ÖSB-3 olarak adlandırılan iki farklı yaklaşımla birleştirilmiştir. Son olarak hem k-en yakın komşuluk (K-EYK) hem de DVM ile sınıflandırma gerçekleştirilmiştir. Tüm bunlara ek olarak, çok modlu duygu tanıma çalışmaları için özgün KMED çok modlu veri seti oluşturulmuştur. Yöntemlerin performansları hem KMED hem de DEAP veri setlerinde sınanmıştır.
Emotion recognition has gained significant attention in various applications to develop reasoning and interaction between people. However, emotion recognition problems are very difficult two solve with classical methods, because emotions can change quickly because of complex external stimuli. In this thesis, both novel angle amplitude transformation (AAT) methods and fusion methods for combining different types of input data were proposed for multimodal emotion recognition. In the first part of the thesis, AAT was applied to Electroencephalography (EEG) and Electrooculogram (EOG) signals. The obtained angle amplitude graph (AAG) images were then combined with two different approaches (FLF-1 and FLF-2) at the feature level, and classified with support vector machines (SVM). In the second part, EEG signals and facial images were used as input data. Also, two new AAT methods were applied to the EEG signals. Among all face images, the most unique one is determined automatically. Then, the two different input data were combined with two newly proposed approaches (Sensor level fusion (SLF) and FLF-3). Finally, classification was performed with both k-nearest neighbor (kNN) and SVM. In addition to all these, a novel multimodal dataset KMED was created for multimodal emotion recognition studies. The performances of the proposed methods were tested on both KMED and DEAP datasets.