Tez No	İndirme	Tez Künye	Durumu
688190		Recursive deep learning for Turkish sentiment analysis / Yinelemeli derin öğrenme teknikleri ile Türkçe duygu analizi Yazar:SULTAN ZEYBEK Danışman: PROF. DR. AYDIN SEÇER ; DR. ÖĞR. ÜYESİ EBUBEKİR KOÇ Yer Bilgisi: Yıldız Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Matematik Mühendisliği Ana Bilim Dalı / Matematik Mühendisliği Bilim Dalı Konu:Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control ; Matematik = Mathematics ; Mühendislik Bilimleri = Engineering Sciences Dizin:Bilgi işleme = Information processing ; Bilgi çıkarımı = Information extraction ; Doğal dil işleme = Natural language processing ; Duygu = Emotion	Onaylandı Doktora İngilizce 2021 156 s.
Bu tez çalışmasında, yinelemeli (recursive) derin öğrenme mimarileri kullanılarak Türkçe'nin biçimbilimsel ve anlambilimsel özelliklerinin bileşkesel modellenmesi amaçlanmıştır. Önerilen yinelemeli derin öğrenme modelleri Türkçe duygu analizi görevi üzerinden test edilmiştir ve geleneksel zincir-yapılı (recurrent) modeller ve makine öğrenmesi modelleri karşılaştırılmıştır. Yinelemeli derin öğrenme mimarilerinin eğitilmesi için öncelikle ağaç-yapılı etiketlenmiş veri kümelerinin oluşturulması gerekmektedir. Bu bağlamda, kelimelerin morfolojik özellikleriyle kök + ekler, kök, kelime ve doküman seviyeleri olmak üzere dört farklı seviyede etiketlenmiş yeni bir duygu bankası (MS-TR) oluşturulmuştur. MS-TR gelecekteki Türkçe yinelemeli derin öğrenme modellerinde kullanılabilecek ilk etiketlenmiş duygu ağacı olması nedeniyle literatüre oldukça önemli bir katkıda bulunmuştur. Yinelemeli Tensör Sinir Ağı, MS-TR üzerinden ikili ve ince-taneli duygu analizi görevi için cümle temsillerini modellemiştir. Yinelemeli Tensör Sinir Ağı modeli, SVM, NB ve MaxEnt gibi makine öğrenmesi modellerine kıyasla en yüksek başarı oranlarını göstermiştir. Yinelemeli Tensör Sinir Ağı modelinin performansını iyileştirmek için ACT-LSTM adlı yeni bir ağaç-yapılı sinir ağı modeli önerilmiştir. ACT-LSTM dikkat ve hafıza mekanizmalarını birleştirerek verinin daha önemli olan kısımlarına odaklanarak öğrenmeyi sağlamaktadır. Böylece kutupluluk içeren kelimeler ağırlıklandırılmış yorum temsiline daha fazla katkı sağlamaktadır. ACT-LSTM, diğer zincir-yapılı modeller ile karşılaştırılarak hangi mimarinin daha iyi olduğu araştırılmıştır. Tezin son kısmında eğitim sırasında sıklıkla ortaya çıkan kaybolan ve patlayan türev (vanishing and exploding gradient) problemine çözüm önerisi olarak yeni bir metasezgisel öğrenme algoritması önerilmiştir. Bu amaçla, her bir arının ayrı bir öğrenme modelini temsil ettiği geliştirilmiş üçlü arı algoritması (BA-3+) önerilmiştir. BA-3+, stokastik gradyan inişi ve tekil değer ayrıştırma mekanızmasını birleştirerek kaybolan ve patlayan türev problemi nedeniyle bilginin kaybolmasını önler. Lokal arama, stokastik gradyan inişi ve tekil değer ayrıştırma kombinasyonu ile en iyi parametre değerlerine yakınsamayı garantilerken, aynı zamanda global arama ile lokal optimum değerine takılıp kalmayı önlemektedir. Önerilen eğitim algoritması, yalnızca stokastik gradyan inişi kullanan diğer modellere kıyasla Türkçe duygu analizi için çok daha iyi doğruluk sonuçları elde etmiştir.
In this thesis, Recursive Deep Learning models have been implemented for Turkish sentiment analysis. Although natural language processing has made progress recently, representing compositional meanings is a challenging task. The traditional deep learning methods claim sentences as an ordinary linear structure, i.e. chains or sequences. In this thesis, tree-structured representations of the language have been developed to improve the compositional semantics of the Turkish language considering the morphological structure of the words. To this end, a novel Morphologically Enriched Turkish Sentiment Treebank (MS-TR) has been constructed to encode sentences structure. MS-TR is the first fully-labelled sentiment analysis treebank, which has four different annotation levels, including morph-level, stem-level, token-level, and review-level. Recursive Neural Tensor Networks (RNTN), which operate over MS-TR, have achieved much better results compared to the machine learning methods. In addition to the RNTN model, an advanced tree-structured LSTM model (ACT-LSTM) has been proposed as a novel recursive deep architecture. ACT-LSTM combines both attention and memory mechanisms over recursive tree structures, which learn latent structural information while learning more important parts of the sentences. ACT-LSTM has been compared with advanced chain-structured models to decide which architecture is better. As a third main contribution, a novel metaheuristic training algorithm has been proposed to overcome the vanishing and exploding gradients (VEG) problem, which is usually observed while training models. An enhanced ternary Bees Algorithm (BA-3+) has been implemented, which maintains low time complexity for large dataset classification problems by considering only three individual solutions in each iteration. The algorithm utilises the greedy selection strategy of the local solutions with exploitative search, stabilises the problem of VEGs of the decision parameters using SGD learning with singular value decomposition, and explores the random global solution with explorative search. BA-3+ has achieved faster convergence, avoiding getting trapped at local optima compared to the classical SGD training algorithm.