Tez No	İndirme	Tez Künye	Durumu
760613	12.08.2024 tarihine kadar kullanımı yazar tarafından kısıtlanmıştır.	Deep wavelet neural network for spatio-temporal data fusion / Uzamsal-zamansal veri füzyonu içinderin dalgacık sinir ağları Yazar:AJLA KULAGLIC Danışman: PROF. DR. BURAK BERK ÜSTÜNDAĞ Yer Bilgisi: İstanbul Teknik Üniversitesi / Lisansüstü Eğitim Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı / Bilgisayar Mühendisliği Bilim Dalı Konu:Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control Dizin:Veriler = Data ; Yapay zeka = Artificial intelligence ; Zaman serileri = Time series ; Zaman uzamı analizi = Time domain analysis ; Zaman-frekans analizi = Time-frequency analysis ; Zaman-mekan = Time-space ; Zamansal veri modeli = Time data model	Onaylandı Doktora İngilizce 2022 140 s.
Makine öğrenimi algoritmaları günümüzde tahmin konularında oldukça önem kazanmıştır. Güçlü bir makine öğrenmesi oluşturabilmek; modelin karmaşıklığı ve isabetliğinin yanında, veri sayısının çokluğu ve verinin işlenme doğası gereği, oldukça zorlayıcı bir süreç olabilmektedir. Bu çalışmada zamansal ve uzamsal-zamansal tek değişkenli ve çok değişkenli tahmin problemleri için yeni bir makine öğrenimi yapısı tanıtılmakta olup bu amaçla, uzamsal-zamansal veriyi harmanlayan, uzamsal zamansal hata kompanzasyonlu yapay sinir ağı modeli (PECNET), geliştirilmiştir. Zamansal veriler, gözlenen süre penceresinde ki verileri içerir ve örnekleme oranı bantgenişliğini sınırlar. Öte yandan, uzamsal veriler uzamsal konumla ilgili veriler sağlarken, bu iki veri uzamsal-zamansal veri kombinasyonu çözünürlüğü sağlar. PECNET modeli, çoklu boyutlarda ve farklı örnekleme çözünürlüklerini birleştirerek zamana bağlı ve uzamsal ilişkili farklı veri tiplerini yakalar. PECNET, görece düşük model karmaşıklığı ile güvenilir tahmin performansı elde eder ve bunun yanında fazla ve eksik uydurma sorunlarını en aza indirmeyi amaçlamaktadır. Önerilen modelde, önceden eğitilen ağların hata oranını tahmin eden ek ağlar kullanılarak, nihai tahminin optimizasyonu sağlanır. Ana ağ, çoklu ölçeklerde hareketli çerçeveler aracılığıyla yüksek korelasyon verisi kullanır. PECNET, ortogonal özellikleri genişleterek zaman serisi tahmin isabet oranını geliştirmektedir. Bu çalışmada, sistemin gücünün ve isabetinin doğrulanması için, benzer yapı ve hiperparametre örnekleri birçok değişik alanda uygulanmaktadır. PECNET modelini değerlendirmek için literatürden kök bölgesi toprak nemi tahmini, rüzgar hızı tahmini, finansal zaman serisi verileri, durağan ve durağan olmayan zaman serileri kıyaslama problemleri gibi konular seçilmiştir. Sonuçlar; farklı türdeki problemler için çoklu sinir ağları kullanımının, tahmin doğruluğunun artırılmasında ve fazla uydurmanın önlenmesinde büyük katkı sağladığını göstermiştir. Bu tezin ilk bölümünde, önerilen PECNET modelinin dizaynı ve uygulamasına odaklanılmıştır. Algoritma Python programlama dilinde uygulanmış ve önerilen algoritmanın performansı literatürde bulunan stokastik ve kaotik zaman serisi kıyaslama problemleri üzerinde değerlendirilmiştir. Sonuçlar, PECNET uygulamalarının bazı avantajlarını öne çıkarmaktadır. Önerilen modelin farklı tip zaman serilerinde (stokastik ve kaotik) çoklu yapay sinir ağları kullanımının, isabet oranını artırması en önemli kazanım olarak görülmektedir. Bu ağ önceki ağın kaydırılmış zaman serisi tahmin hatalarının girdi olarak eğitilmesi ile oluşturulur. Tekrarlama kaynaklı geri bildirimin kontrolsüz artışından dolayı fazla uydurmadan kaçınılmaktadır. Aynı yapı ve hiperparametre örnekleri geniş bir alanda zaman serisi tahmin problemlerinde hareketli zamanlarda çoklu ölçülerde uygulanmıştır. Ayrık dalgacık dönüşümü (DWT) tahminsel hata kompanzasyonu yaparken, yapay sinir ağına zaman serisi verisini direk uygulamaktansa veriyi önce işleyerek isabet oranını artırır. İkinci bölümde, PECNET modelinin hisse fiyatı tahmininde kullanımı ortaya konmuştur. Seçilen veri durağan olmayan zaman serisi verisini temsil etmektedir. Durağan olmayan zaman serisi verisini ele alan geleneksel normalleştirme tekniklerinin zorluğundan dolayı, ortalama normalleştirme metodu kullanılmıştır. Yapay sinir ağına gelen mevcut girdinin ortalama değeri hesaplanarak belirli girdi verilerinden çıkarılır. Önerilen normalleştirme yöntemi, her bir girdi dizisi içindeki orijinal özelliklerin farklı oynaklıklarını ve orijinal özelliklerin korunmasını temsil etmektedir. Farklı frekanslardaki hisse fiyatı zaman serisi verileri tek bir ağda kullanılırken, ek bir ağ önceki artık hataları girdi olarak kullanılır. Güncellenen öğrenme metodu bu bölümde uygulanır ve böylece nihai tahmin performansının artırılması amaçlanmaktadır. Üçüncü kısımda, geliştirilen PECNET modeli veri füzyon uygulamalarında ortogonal özniteliklerin seçilebilmesine olanak verilmektedir. Çok değişkenli zaman serisi verilerinden faydalı bilgiler elde edilerek farklı veri türleri tek bir modelde birleştirilebilmektedir. Değerli bilginin elde edinimi, kalan özellikler ve ortaya çıkan hatanın korelasyonunun kontrol edilmesiyle sağlanır. PECNET modeli önceki eğitilen ağdan ortaya çıkan hata ile en çok korele veriyi seçmektedir. Uyumsuz özellikler tahmin modellemelerinde fazla uydurmaya neden olduğu iyi bilinmektedir. Örneklerin sayısı ve mevcut özelliklerin sayısı göz önüne alındığında bu kritik bir mesele olarak karşımıza çıkmaktadır. Bu nedenle uygun ve gerekli özellik örneklerinin seçimi, öğrenme işlemlerinin hesaplama maliyetini düşürerek fazla uydurmanın önüne geçilmesi ve isabet oranını artırmada kilit rol oynamaktadır. Dördüatörleri birlikte kullanılmıştır. İlk olarak merkez nokta ve bilinen istasncü kısımda PECNET modeli kök bölgesi toprak nem oranı ölçümlerine uygulanmıştır. Bu amaçla, yerinde ölçümler ve uydusal uzaktan ölçüm indikyonlar arası mesafe ölçülmüştür. Kök bölgesi toprak nem tahmini, sadece gelen arazi verisini girdi olarak alarak, sadece uydu indikatörleri verisi alarak ve son olarak ikisini kombine ederek yapılmaktadır. PECNET modelinin uzamsal-zamansal kök bölgesi toprak nemi tahmin problemine uygulanması gelecek vadeden sonuçlar göstermektedir. Elde edilen veriler sensör bilgisinin olmadığı komşu noktaların haritasının çıkarılmasında kullanılabilmektedir. Beşinci kısımda önceki kısmı genişletip giriş verisinin frekans analizine odaklanmaktadır. Model performansının iyileşip iyileşmediğinin kontrolü için Butterworth filtresi eklenmiştir. Ayrıca bu kısımda Uzakdoğu borsa endeks bilgisi uzamsal boyuta ek parametre olarak eklenmiştir. Genel sonuçlar, uzamsal ve zamansal verilerin ayrı ayrı eğitilmiş kademeli bir PECNET modelinde birleştirilmesi ile, aşırı uydurma problemlerine yol açmadan ve model performansını düşürmeden umut verici sonuçlar elde edilebileceğini göstermiştir. Önerilen ön işleme tabi tutulmuş dalgacık dönüşümlü PECNET, farklı sinir ağlarının yanı sıra çeşitli ön işleme tekniklerinin iyileştirilmesine de ışık tutmaktadır.
Machine Learning (ML) algorithms have recently gained prominence in prediction problems. The construction of an accurate machine learning model becomes a real challenge concerning the nature of the data, the number of data samples as well as the accuracy and complexity of the model. This study introduced a new machine learning structure for temporal and spatio-temporal, univariate, and multivariate prediction problems. The predictive error compensated neural network model (PECNET), which combines spatio-temporal data, has been developed. Temporal data contains information within the observation time window, and its bandwidth is limited by the sampling rate. On the other hand, spatial data provide information regarding spatial location, while spatio-temporal data combine temporal and spatial resolution together. The PECNET model can capture both time dependencies and the spatial relationships between different data resources by fusing multivariate input patterns at multiple lengths and the sampling resolution. The PECNET achieves reliable prediction performance with relatively low model complexity and minimizes the overfitting and underfitting problems. In the proposed model, additional networks are used to predict the error of previously trained networks to compensate the overall prediction. The main network uses high correlation data with the target through moving frames in multiple scales. The PECNET improves time series prediction accuracy by enhancing orthogonal features within a data fusion scheme. The same structure and hyperparameter sets are applied to quite different problems to verify the proposed model's robustness and accuracy. Root-zone soil moisture, wind speed, financial time series data, and stationary and non-stationary time series benchmark problems are selected to evaluate the PECNET model. The results have shown improvement in the prediction accuracy and overfitting prevention using multiple neural networks for distinctive types of problems. The first part of this dissertation focuses on designing and implementing the proposed PECNET model. The algorithm is implemented in the Python programming language, and the performance of the proposed algorithm is evaluated on stochastic and chaotic time series benchmark problems found in the literature. Results have highlighted some aspects of PECNET implementations. The major contributions of the proposed method can be seen in improving the prediction accuracy for distinct types of time series data (chaotic and stochastic) using multiple neural networks where the secondary network is trained by shifted time series prediction error of the primary network. The overfitting is avoided due to an increase in recurrence-related feedback. The same structure and hyperparameter sets are applied for a wide range of time series prediction problems with moving frames in multiple scales. The discrete wavelet transform (DWT) used for preprocessing the input data yields better accuracy improvement than directly applying the time series data to the neural network in predictive error compensation. The PECNET for the stock price prediction problem is introduced in the second part of the dissertation. The selected data represent the non-stationary time series data. Due to the difficulties in the traditional normalization techniques that deal with non-stationary time series data, the average normalization method is proposed. The average value of the current input to the neural networks is computed and subtracted from particular input data. The proposed normalization method is able to represent the different volatilities and preservation of the original properties within each input sequence. The different frequencies of stock price time series data are used together in one neural network, while an additional network uses the previous residual errors as inputs. The updated learning method is applied in this part, enhancing the overall prediction performance. In the third part, the improved PECNET model enables choosing orthogonal features in data fusion applications. Different data types can be fused into one single model by extracting valuable knowledge from multivariate time series data. The extraction of valuable knowledge is done by checking the correlation between the remaining features and residual error. The PECNET chooses the highest correlating data to the residual error acquired by the previously trained network. It is well known that irrelevant features cause overfitting in forecasting models, representing a critical issue considering the number of samples and the number of available features. Because of that, selecting the proper feature set to the essential ones will reduce the learning process's computational cost and improve the accuracy by minimizing the overfitting. In the fourth chapter, the root-zone soil moisture problem is introduced. For this purpose, in-situ agrometeorological measurements and satellite remote sensing indices are used. The distance between the central point and known stations is calculated. The root-zone soil moisture estimation is done using only accumulated ground-based measurements as input data, using only remotely sensing indices, and combining both. Applying the PECNET to the spatio-temporal root-zone soil moisture estimation problem shows promising results. The results can be used to obtain the soil moisture map of neighboring points where sensor information is unavailable. The fifth part examines the decomposition into frequency bands of input time series data and the applicability of different filtering methods. For this purpose, the Butterworth filter is implemented and used as an additional filtering method. Besides the closing stock price as input data, the Far-Eastern stock market indices to obtain the spatial dimensional for the financial time series forecasting example has been included. The overall results showed that fusing spatial and temporal data together into a separately trained cascaded PECNET model can achieve promising results without causing overfitting or reducing the model performances. The proposed wavelet preprocessed PECNET also leaves room for improvement using various preprocessing techniques as well as different types of neural networks.