Tez No	İndirme	Tez Künye	Durumu
798212		Action quality assessment with multivariate time series / Çok değişkenli zaman serileri ile eylem kalite değerlendirmesi Yazar:BURÇİN BUKET OĞUL Danışman: PROF. DR. SUAT ÖZDEMİR Yer Bilgisi: Hacettepe Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı Konu:Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control Dizin:	Onaylandı Doktora İngilizce 2022 88 s.
Eylem kalite değerlendirmesinde bilgisayarlı yöntemlerin kullanılması, sağlık, spor ve eğitim gibi çeşitli alanlardaki eylemlerin objektif olarak değerlendirilmesinde umut verici bir yön olarak kabul edilmektedir. Tipik bir eylem kalite değerlendirme mimarisinde amaç, herhangi bir eylemin önceden tanımlanmış bir kategoriye veya o eylemin kalite seviyesini belirleyen sürekli bir etikete atanması amacıyla bir sınıflandırma veya regresyon sistemi geliştirmektir. Bu tür sistemler manuel olarak, üstelik işaretleme yapan kişinin olası tutarsız etiketlemeleri ile eğitildiğinden, kalite düzeyini kategorize etme veya eylemin kalite başarı seviyesini tam olarak tahmin etme girişimi, potansiyel olarak az sayıda ve dengesiz eğitim verileriyle hatalı sonuçlara sebebiyet verebilir. Bu tezde, eylem kalitesi değerlendirme problemini, eylemlerin mutlak seviyelerini doğrudan değerlendirmek ve tahmin etmek yerine, daha iyi performansı belirlemek için iki girdi eylemini göreceli olarak değerlendirdiğimiz ikili bir sıralama görevi olarak ele alıyoruz. Bu amaçla, hareket sensörlerinden elde edilen çok değişkenli zaman serisi türünde iki eylem verisini girdi olarak alan ve bir sorgu örneğinin referans olandan daha iyi kalitede olma olasılığını rapor eden yeni bir model öneriyoruz. Bu ikili sıralama modeli, zaman serisi verilerinin parçalı toplam yaklaşımıyla (piecewise aggregate approximation) eğitilen bir dikkat mekanizması (attention-enhanced) tabanlı Siyam Uzun Kısa-Süreli Bellek (Siamese Long Short-Term Memory) Ağı üzerine kurulmuştur. Mimarinin final katmanında, nihai göreceli değerlendirmeyi yapmak için de yenilikçi bir olasılıksal sıralama katmanı önerilmiştir. Ayrıca geliştirilen bu ikili model, eylem kalite değerlendirmesi problemini bir regresyon modeli olarak ele almak istediğimizde, o modelin eğitimindeki öznitelik kümesini oluşturmak için daha da genişletilmiştir. Model sırasıyla, Parkinson hastalarında ayak sensörleri kullanılarak hastaların yürüyüşlerinin değerlendirmesi, kinematik sensörler kullanılarak cerrahi beceri değerlendirmesi ve video kayıtlarından elde edilmiş pozlar kullanılarak olimpik dalış kalitesi değerlendirmesi olmak üzere üç farklı uygulamada test edilmiştir. Deneysel sonuçlara göre, önerilen modelin, bu veri setlerini kullanan mevcut modellerden daha yüksek doğruluk sonuçlarına eriştiği görülmüştür. Ayrıca geliştirdiğimiz sıralama tabanlı deneysel öznitelik temsiline sahip yeni regresyon modelinin, aynı deneysel düzenekte uygulandığında mevcut modellerden daha iyi performans değerlerine ulaştığı da gösterilmiştir. Modelin ayrıca bireysel gelişim takibinde de anlamlı sonuçlar verdiği izlenmiştir. Model, girdilerin çok değişkenli zaman serisi sinyalleri biçiminde olması sebebiyle, ikili sıralama görevi için genel bir model olarak düşünülebilir. Uzun Kısa-Süreli Bellek katmanı, modeli tüm sıralı sinyaller için uygulanabilir hale getirirken, dikkat mekanizması, farklı ölçüm türlerinden elde edilen yeni sinyalleri benimseme yeteneğini genişletir. Olasılıksal kayıp fonksiyonuna sahip önerilen sıra katmanı, Siyam modelinin, girdi eylemlerin benzerliklerini hesaplamak için doğrudan değerlendirmeleri yerine, bu eylemlerin birbirlerine göre göreceli olarak karşılaştırılmasına imkân sağlar. Bu göreceli değerlendirme yaklaşımı, kalite seviyelerini tanımlamak için yeterli etiketlemeye sahip olamamanın dezavantajlarının üstesinden gelebilir ve nesnel beceri değerlendirmesi için daha yorumlanabilir bir araç sağlayabilir. Ayrıca model, farklı zaman noktalarında iki aktiviteyi karşılaştırarak bireylerin beceri gelişiminin izlenmesine olanak tanır. Bu modelin çeşitli alanlarda, ancak özellikle spor ve sağlıkta geniş bir uygulama yelpazesi bulmasını bekliyoruz.
Action quality assessment using computerized methods is considered to be a promising direction in objective evaluation of actions in several domains including health, sport and education. In a typical architecture for quality assessment, a classification or regression system is asked to assign a query action to a predefined category or a continuous label that determines its quality level. Such systems are still trained manually, and they may have inconsistent annotations. Hence, an attempt to categorize or quantify the quality level can be biased due to potentially scarce or skewed training data. In this thesis, we approach the quality assessment problem as a pairwise ranking task where we relatively assess two input actions to identify better performance instead of assessing their absolute levels. To this end, we propose a novel computational model that takes two action data in the form of multi-variate time-series acquired from motion sensors and reports the probability of a query sample having a better quality than a reference one. The ranking model is built upon an attention-enhanced Siamese Long Short-Term Memory (LSTM) Network fed by piecewise aggregate approximation of time-series data. A probabilistic ranking layer is proposed to make the final relative assessment. The pairwise model is further extended to create an empirical feature representation in a regression setup. The model is adopted in three different applications, namely, gait assessment in Parkinson's Disease (PD) patients using foot sensors, surgery skill assessment using kinematics sensors and diving quality assessment using estimated pose from video recordings. According to experimental results, the proposed model achieves higher assessment accuracy than the existing models for pairwise ranking in all common datasets. The new regression model with new ranking-based empirical feature representation also outperforms the existing models when applied in their experimental setup. The proposed model is further shown to be accurate in individual progress monitoring. The model that is developed in this thesis can be considered as a generic model for several pairwise ranking tasks provided that the inputs are in the form of multi-variate time-series signals. While LSTM layer makes the model applicable for all sequential signals, attention enhancement extends its ability to adopt novel signals obtained from different measurement modalities. Proposed rank layer with probabilistic loss function allows the Siamese model to handle relative comparison of inputs instead of their direct evaluation for similarity. This relative assessment approach may overcome the limitations of having consistent annotations to define quality levels and provide a more interpretable means for objective skill assessment. Moreover, the model allows monitoring the skill development of individuals by comparing two activities at different time points. We expect that this model will find a wide range of applications in several domains, but more particularly in sports and healthcare.