Bu tezde, dinamik el hareketleri gibi zaman dizilerinin modellenmesi konusunu inceliyoruz.
Modelleme problemine otomata ve simgesel dil teorileri kullanarak yaklaşıyor
ve el hareketlerinin modellenmesi açısından önemli özelliklerin tanımlanmasını sağlıyoruz.
Bu sayede önerilen modellerin başarımları ve yeteneklerini ayrıntılı şekilde inceleyecek
bir yaklaşım geliştirmiş oluyoruz. Bu yöntemle varolan modellerin eksikliklerini
tanımlıyor ve hangi özelliklere ihtiyaçları olduğunu keşfediyoruz. Özellikle saklı
Markov modelleri, girdi-çıktı Markov modelleri, belirli süre modelleri, saklı koşullu rassal
alanlar ve saklı yarı Markov modelleri inceliyor ve karşılaştırıyoruz. Bunların sonucunda
araştırmamızda ortaya çıkan tüm önşartlara uyan bir saklı yarı Markov model
örneği öneriyoruz. Ayrıca sol-sağ yapıdaki bir modelin izole el hareketleri için en uygun
model olduğunu gösteriyoruz. Son olarak bütün modelleri karşılaştırıyor ve sonuçlarını
belgeliyoruz. Tezin ikinci kısmında rassal karar ormanları kullanarak el şekli ve pozu
tanıma problemine yoğunlaşıyoruz. Bilinen bir beden pozu kestirim yöntemini ele
uyarlıyoruz, ve aynı yöntemi geliştirerek el şeklini bir defada tanıyan bir yöntem öneriyoruz.
Ayrıca çok katmanlı bir uzman karar ormanı ağı kullanarak başarım oranını
artıran veya hafıza kullanımını düşüren bir model öneriyor ve karşılaştırıyoruz.
|
In this thesis, we focus on the problem of modelling sequential data, and particularly
hand gestures. We approach the modelling problem using automata theory and
theory of formal languages, which allows us to determine the crucial aspects of hand
gestures. Furthermore, we show how this approach can help us assess the capabilities
of candidate models. The resulting framework can identify problems of models, and set
requirements for models to properly represent the gestures. We use this approach to examine
common graphical models such as hidden Markov models (HMM), input-output
HMMs, explicit duration models, hidden conditional random fields, and hidden semi
Markov models (HSMM). We also devise an efficient variant of HSMMs that conforms
to all of the requirements set by our previous analysis. We further show that mixtures
of left-right models is the most suitable setting for gestures. Finally, we compare all
the mentioned models and report the results. In the second part of the thesis, we focus
on modelling hand shape with randomized decision forests (RDF). In particular, we
extend a known body pose estimation method to hand pose, and then introduce a novel
RDF that directly estimates the hand shape. Furthermore, we propose a multi-layered
expert network consisting of RDFs that either considerably increases the accuracy, or
reduces memory requirements without sacrificing accuracy. |