Tez No |
İndirme |
Tez Künye |
Durumu |
534684
|
|
A low cost learning based sign language recognition system / Düşük hesap karmaşıklığına sahip öğrenme tabanlı işaret dili tanıma sistemi
Yazar:ABDULLAH HAKAN AKIŞ
Danışman: PROF. DR. GÖZDE BOZDAĞI AKAR
Yer Bilgisi: Orta Doğu Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
Konu:Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering
Dizin:
|
Onaylandı
Yüksek Lisans
İngilizce
2018
105 s.
|
|
İşaret Dili Tanıma (İDT) insan bilgisayar iletişiminde önemli bir rol alması sebebiyle
aktif bir araştırma konusudur. Bu çalışma el, kol ve parmak hareketlerinden oluşan
el işaretlerini tanımayı amaçlamaktadır. Bu amaç için öznitelik tabanlı ve Konvolüsyonel
Sinir Ağları (CNN) tabanlı iki İDT sistemi gerçeklenmiştir. Öznitelik tabanlı
İDT sistemi el bölgesi bölütleme, öznitelik vektörlerini çıkarma, ve SVM kullanarak
sınıflandırma aşamalarından oluşmaktadır. CNN tabanlı İDT sistemi ise el bölgesi bölütleme
ve CNN aşamalarından oluşmaktadır. Sistemlerin başarımı 8 işaret dili jesti
içeren eNTERFACE veritabanı ile test edilmiştir. İki sistemin her aşamasını değerlendirmek
için detaylı analiz yapılmıştır. Öznitelik tabanlı sistem ve CNN tabanlı sistem
ile sırasıyla %95.31 ve %93.12 tanıma oranı elde edilmiştir. Veritabanı büyüklüğünü
artırmak için veri artırma yöntemi kullanıldığında CNN tabanlı sistemin tanıma yüzdesi
%94.29'a yükselmiştir.
|
|
Sign Language Recognition (SLR) is an active area of research due to its important
role in Human Computer Interaction (HCI). The aim of this work is to automatically
recognize hand gestures consisting of the movement of hand, arm and fingers. To
achieve this, we studied two different approaches, namely feature based recognition
and Convolutional Neural Networks (CNN) based recognition. The first approach
is based on segmentation, feature extraction and classification whereas the second
one is based on segmentation and CNN which learns the signs from the image itself.
In order to calculate the recognition rate of the systems, tests are conducted using
eNTERFACE dataset of 8 American Sign Language (ASL) signs. Detailed analysis
is done to evaluate each step of both approaches. Experimental results show that the
feature based SLR system and CNN based SLR system achieved recognition rate of
95.31% and 93.12%, respectively. Experimental results also show that CNN based
SLR system achieved recognition rate of 94.29% when data augmentation is used to
increase the training dataset. |