Tez No	İndirme	Tez Künye	Durumu
446541		EEG sinyalleri ve yüz ifadeleri kullanılarak farklı uyaran tiplerine göre duygu analizi ve sınıflandırma / Emotion analysis and classification for various types of stimuli using EEG signals and facial expressions Yazar:YAŞAR DAŞDEMİR Danışman: DOÇ. DR. SERDAR YILDIRIM Yer Bilgisi: Mustafa Kemal Üniversitesi / Fen Bilimleri Enstitüsü / Enformatik Ana Bilim Dalı Konu:Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control Dizin:Dalgacık dönüşümleri = Wavelet transforms ; Duygu = Emotion ; Elektroensefalografi = Electroencephalography ; Füzyon = Fusion	Onaylandı Doktora Türkçe 2016 94 s.
Kişiler arası iletişimde, sizinle iletişim halindeki bir kişinin belirli duygularını anlamak kolay olsa da, kişilerin duygusal durumunun insan-makine arayüzleri için otomatik olarak algılanması zor bir işlemdir. Videodan ve konuşmadan duygu algılama 90'ların ortalarından beri çok iyi çalışılan konulardandır. Son zamanlarda ise kişi tarafından kontrol edilmesi çok zor olan fizyolojik sinyaller de duygu tanıma çalışmalarında kullanılmaya başlamıştır. Bu tez çalışmasında, EEG sinyalleri ve yüz ifadeleri kullanılarak farklı uyaran tipleri için duygu analizi ve sınıflandırma çalışması yapılmıştır. Çalışmaları gerçekleştirmek için, duygusal EEG ve yüz ifadeleri içeren veritabanı tez kapsamında oluşturulmuştur. Veritabanı oluşturulurken, farklı uyaran tipleri kullanılarak hedeflenen duygu durumları tetiklenmiştir. Farklı uyaran tipleri için pozitif ve negatif duygular sırasındaki beyin bölgeleri arasında oluşan etkileşim alfa, beta ve gama bantlarında faz kilitleme değeri kullanılarak incelenmiştir. Negatif ve pozitif duygular için sağ yarıkürede özellikle frontal bölgede önemli farklılıklar ortaya çıktığı görülmektedir. Sonuçların aynı zamanda, farklı uyaran tiplerinin negatif ve pozitif duygular için alfa, beta ve gama bantlarında önemli farklılıklar gösterdiğini ortaya koymuştur. EEG sinyallerinden dalgacık dönüşümü kullanılarak, pozitif/negatif duygu durumu sınıflandırmasında, ses ve görüntü bilgisinin birlikte kullanılmasının daha etkili olduğunu gösterilmiş ve %81.6 başarım oranı elde edilmiştir. Aktivasyon boyutunda yapılan sınıflandırmada, ses bilgisinin sakinlikten heyecanlıya olan ayırımda görüntü bilgisinden daha etkin olduğu gözlenmiş ve hem ses hem de ses+görüntü uyaranları kullanıldığında %73.7 doğru pozitif oranı elde edilmiştir. Değerlik-aktivasyon uzayında dört sınıflı sınıflandırma performansları da araştırılmıştır. En iyi sonuçlar, EEG'den elde edilen öznitelikler ile yüz ifadelerinden elde edilen özniteliklerin öznitelik seviyesinde birleştirilmesiyle elde edilmiştir.
Understanding if the person you are communicating with is experiencing a particular emotion is easy most of the times during interpersonal communication. However, automatically detecting the emotional state of a person is a challenging task of human-computer interface. Emotion detection from speech and video is a very well studied topic since mid 90s. Recently, physiological signals which are hard, if not impossible, to trigger or control have gained attention for emotion recognition. In this thesis, emotion analysis and classification for various types of stimuli using EEG signals and facial expressions are performed. For this purpose, an emotional EEG and facial expression database is constructed. In the database, three stimuli types are used for emotion elicitation. The brain networks during positive and negative emotions for different types of stimulus (audio only, video only and audio+video) in alpha, beta, and gamma bands are investigated in terms of phase locking value. Results show significant differences for negative and positive emotions in right hemisphere mainly in frontal region in terms of phase locking values. Results in terms of different stimulus types also show significant differences for negative and positive emotions in alpha, beta, and gamma bands. Positive/negative emotional states are classified from EEG signals using wavelet decomposition. Better classification rates are obtained when audio+video is used as stimulus resulting in a classification rate of 81.6%. For activation dimension, similar classification rates are obtained for audio only and audio+video stimuli resulting in a classification rate of 73.7%. Classification performances for four class classification in valence-activation space are also presented. Better performances are obtained for feature level fusion of features extracted from EEG and extracted from facial expressions.