Tez No İndirme Tez Künye Durumu
534684
A low cost learning based sign language recognition system / Düşük hesap karmaşıklığına sahip öğrenme tabanlı işaret dili tanıma sistemi
Yazar:ABDULLAH HAKAN AKIŞ
Danışman: PROF. DR. GÖZDE BOZDAĞI AKAR
Yer Bilgisi: Orta Doğu Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
Konu:Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering
Dizin:
Onaylandı
Yüksek Lisans
İngilizce
2018
105 s.
İşaret Dili Tanıma (İDT) insan bilgisayar iletişiminde önemli bir rol alması sebebiyle aktif bir araştırma konusudur. Bu çalışma el, kol ve parmak hareketlerinden oluşan el işaretlerini tanımayı amaçlamaktadır. Bu amaç için öznitelik tabanlı ve Konvolüsyonel Sinir Ağları (CNN) tabanlı iki İDT sistemi gerçeklenmiştir. Öznitelik tabanlı İDT sistemi el bölgesi bölütleme, öznitelik vektörlerini çıkarma, ve SVM kullanarak sınıflandırma aşamalarından oluşmaktadır. CNN tabanlı İDT sistemi ise el bölgesi bölütleme ve CNN aşamalarından oluşmaktadır. Sistemlerin başarımı 8 işaret dili jesti içeren eNTERFACE veritabanı ile test edilmiştir. İki sistemin her aşamasını değerlendirmek için detaylı analiz yapılmıştır. Öznitelik tabanlı sistem ve CNN tabanlı sistem ile sırasıyla %95.31 ve %93.12 tanıma oranı elde edilmiştir. Veritabanı büyüklüğünü artırmak için veri artırma yöntemi kullanıldığında CNN tabanlı sistemin tanıma yüzdesi %94.29'a yükselmiştir.
Sign Language Recognition (SLR) is an active area of research due to its important role in Human Computer Interaction (HCI). The aim of this work is to automatically recognize hand gestures consisting of the movement of hand, arm and fingers. To achieve this, we studied two different approaches, namely feature based recognition and Convolutional Neural Networks (CNN) based recognition. The first approach is based on segmentation, feature extraction and classification whereas the second one is based on segmentation and CNN which learns the signs from the image itself. In order to calculate the recognition rate of the systems, tests are conducted using eNTERFACE dataset of 8 American Sign Language (ASL) signs. Detailed analysis is done to evaluate each step of both approaches. Experimental results show that the feature based SLR system and CNN based SLR system achieved recognition rate of 95.31% and 93.12%, respectively. Experimental results also show that CNN based SLR system achieved recognition rate of 94.29% when data augmentation is used to increase the training dataset.