Tez No	İndirme	Tez Künye	Durumu
748275		Davranışsal ve fiziksel multi-biyometri ile kişi kimliklendirme ve hareket tanıma üzerine yaklaşımlar / Approaches to person identification and motion recognition with behavioral and physical multi-biometrics Yazar:ONUR CAN KURBAN Danışman: PROF. DR. TÜLAY YILDIRIM Yer Bilgisi: Yıldız Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı / Elektronik Bilim Dalı Konu:Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control ; Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering Dizin:Derin öğrenme = Deep learning ; Hareketli görüntü kayıtları = Moving image records ; Sayısal görüntü işleme = Digital image processing ; Video görüntüsü = Video image ; Yapay zeka = Artificial intelligence ; Yüz görüntüsü = Face image	Onaylandı Doktora Türkçe 2022 114 s.
Son yıllarda insan davranışının analizi en popüler araştırma alanlarından biri haline gelmiştir. Bu analiz, ölçülebilir davranışsal ve fiziksel hareket bilgilerini kullanarak insanların belirli bir zaman aralığındaki davranışlarını anlamayı amaçlar. Davranış analizi, gözlemin zamanına bağlı olarak hareketler, jestler, etkileşimler, etkinlik veya kişi tanıma ve doğrulama olarak sınıflandırılır. Bu analiz sadece bir kişinin davranışını değil, aynı zamanda kişilerarası ve kişiler-nesne arasındaki etkileşimi de araştırır. İncelenen davranışsal hareketler ayrıca üst veya alt beden, el veya kol hareketleri ve yüz ifadeleri gibi alt kategorilere ayrılabilir. Karmaşık insan aktivitelerinin tanınabilmesi, bazı önemli uygulamaların gerçekleştirilmesini de mümkün kılar. Anormal faaliyetleri tespit etmek için havaalanları ve metro istasyonları gibi halka açık yerlerde otomatik gözetim sistemleri; hastaların, yaşlıların ve çocukların gerçek zamanlı izlenmesi; jest tabanlı insan-bilgisayar arayüzleri bu uygulamalara örnek olarak verilebilir. Bu çalışmanın ilk aşamasında, hareket boyunca meydana gelen değişiklikleri hesaba katan ve hareketteki değişimleri daha çok ortaya koyabilecek yeni bir enerji görüntüsü yöntemi üzerinde araştırma yapılmıştır. Buna ek olarak davranışsal biyometrinin çoklu biyometriye sağladığı performansı etkileri incelenmiştir. Bu araştırmalar sonucunda RGB-D verilerinden elde edilen maskelenmiş derinlikli video akışlarındaki hareket dizisi bilgisine dayalı olarak eylem tanıma ve kişi tanımlama için yeni bir enerji görüntüsü oluşturma yaklaşımı önerilmiştir. Önerilen yöntemde, bir hareket dizisi sırasında meydana gelen değişiklikleri belirlemek için ilk kare referans alınmakta ve tüm kareler arasındaki korelasyon katsayıları hesaplanmaktadır. Elde edilen katsayılar, harekete uyumlu bir zamansal şablon oluşturmak için kullanılır. Adaptif zamansal şablon olarak adlandırılan bu fonksiyon tarafından oluşturulan enerji görüntüleri, literatürde yer alan ve sabit olarak belirli aralıkları vurgulayan mevcut zamansal şablonlara kıyasla hareketleri daha iyi bir temsil edebilmektedir. Bu şekilde, eylemleri daha iyi temsil edebilen yeni bir enerji görüntüsü ile birden fazla TT'nin füzyon ihtiyacı ortadan kaldırabilen ve işlem maliyetini azaltan pratik bir yöntem önerilmiştir. RGB-D tabanlı çalışmalar literatürde daha çok hareket tanıma için kullanılmaktadır. Bu çalışmada yer alan bir diğer katkı da, mevcut ve önerilen yöntemlerin kişi kimliklendirme içinde incelenmiş olmasıdır. Tez kapsamında önerilen fonksiyonla oluşturulan enerji görüntüleri, hareket süresince değişim olan aralıkları vurgularken, değişim olmadığı veya çok az olduğu aralıkları bastırır. Önerilen fonksiyon kullanılarak elde edilen enerji görüntüleri, evrişimli sinir ağlarına ve farklı hand-crafted sınıflandırıcılara girdi olarak verilmiştir. Önerilen yöntem BodyLogin, NATOPS ve SBU Kinect veri setleri üzerinde gözlemlenmiş ve mevcut yöntemlerle karşılaştırılmıştır. Bunun dışında davranışsal biyometrinin çoklu-biyometrik sistemlere katkısını incelemek için davranışsal, termal ve fiziksel verilerden oluşan yeni bir veri seti oluşturulmuş ve önerilen yöntem bu yeni veri seti üzerinde test edilmiştir. Elde edilen sonuçlar, önerilen adaptif zamansal şablon yönteminin, literatürde mevcut olan şablonlara kıyasla daha yüksek performans ve daha kısa işlem süresi sağladığını göstermektedir. Kişi tanımlama sonuçları, RGB-D sensörleri ile elde edilen görüntülerin kişi tanımlaması için etkin bir şekilde kullanılabileceğini göstermiştir.
In recent years, the analysis of human behaviour has become one of the most popular research areas. This analysis aims to understand people's behaviour over a period of time using measurable behavioural and physical movement information. Behaviour analysis is classified as motions, gestures, interactions, activity or person recognition and verification, depending on the time of observation. This analysis explores not only a person's behaviour but also interpersonal and person-object interactions. The behavioural movements studied can be subdivided into subcategories such as upper or lower body, hand or arm movements, and facial expressions. The ability to recognize complex human activities also makes it possible to perform some important applications. Automatic surveillance systems in public places such as airports and subway stations to detect abnormal activity; real-time monitoring of patients, the elderly and children; gesture-based human-computer interfaces are considered examples of these applications. In the first phase of this study, a new energy imaging method that takes into account the changes occurring during the motion and can emphasize the changes in the motion has been researched. In addition, the effects of behavioral biometrics on multi-biometrics performance were examined. As a result of these studies, a new energy image generation approach has been proposed for action recognition and person identification based on the motion sequence information in masked depth video streams obtained from RGB-D data. In the proposed method, the first frame is referenced to determine the changes that occur during the motion sequence and the correlation coefficients between frames are calculated. The obtained coefficients are used to create a temporal template compatible with the motion. Energy images generated by this function, called adaptive temporal template, can better represent movements compared to existing temporal templates in the literature that consistently emphasize certain intervals. In this way, a new energy image that can better represent the actions and a practical method that can eliminate the need for fusion of multiple TTs and reduce the cost of operation is proposed. RGB-D-based studies are mostly used for motion recognition in the literature. Another contribution in this study is the examination of existing and proposed methods for person identification. The energy images generated with the function proposed in the thesis emphasize the intervals that change during the motion while suppressing the intervals where there is no or little change. The energy images obtained using the proposed function are given as input to convolutional neural networks and different state-of-the-art classifiers. The proposed method was observed on BodyLogin, NATOPS and SBU Kinect datasets and compared with existing methods. Apart from this, a new dataset consisting of behavioural, thermal and physical data was created to examine the contribution of behavioural biometrics to multi-biometric systems and the proposed method was tested on this new dataset. The results show that the proposed adaptive temporal template method provides higher performance and shorter processing time compared to the templates available in the literature. Person identification results showed that images obtained with RGB-D sensors can be used effectively for person identification.