Tez No İndirme Tez Künye Durumu
453504
Robust adaptive learning approach of artificial neural networks / Yapay sinir ağları için sağlam adaptif öğrenme yaklaşımı
Yazar:ALAA ALI HAMEED HAMEED
Danışman: YRD. DOÇ. DR. BARIŞ KOÇER
Yer Bilgisi: Selçuk Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Konu:Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin:Yapay sinir ağları = Artificial neural networks
Onaylandı
Doktora
İngilizce
2017
152 s.
Adaptif filtre tekniklerin sinyal işlemede sıklıkla kullanılmaktadır. Genellikle adaptif filtrenin kararlı durum hataların-karelerinin ortalaması (HKO) ve yakınsama hızı arasında bir seçim yapmak gerekir. Bu seçim genelde adım boyutu parametresi ile ayarlanır. Küçük adım sayısı yavaş yakınsama ve düşük kararlı durum hatasına sebep olurken tersi durum ise hızlı yakınsama ve yüksek kararlı durum hatasına sebep olur. Bu sorunu aşabilmek için rekürsif invers (RI) ve ikinci seviye rekürsif inverse RI algoritmalarının konveks kombinasyonları kullanılmıştır. Geliştirilen bu yeni metot sistem tanımlama ve gürültü engelleme uygulamalarında kullanılmıştır. Önerilen metot, hataların karelerinin ortalaması (HKO) ve yakınsama hızı bakımından "normalize en küçük ortalama kareler" (NEKOK)'nın konveks kombinasyonu ile karşılaştırılmıştır. Deneysel sonuçlar, toplanır beyaz Gaussian gürültüsü (TBGG) ve toplanır ilişkili Gaussian gürültüsü (TIGG) eklenmiş ortamlarda çalıştırıldığında, önerilen algoritmanın daha hızlı yakınsadığını ve daha küçük HKO değerleri ortaya koyduğunu göstermiştir. Manyetik rezonans görüntülerindeki (MRI) gürültüleri azaltmak tıbbi teşhiş alanında ilgi çekici bir alan olmaya başlamış ve bu konuyla ilgili birçok metot önerilmiştir. Fakat bu algoritmaların çoğu düşük kalite veya yavaş çalışmaktan muzdariptirler. Bu sorunu çözmek için önerilen tek boyutlu konveks kombinasyon, iki boyutlu konveks kombinasyona dönüştürülmüştür. İki boyutlu konveks kombinasyon, gürültü azaltma konusunda yüksek performans sunmaktadır. Algoritmanın performansını ölçmek için bir MR görüntüsünün toplanır beyaz Gaussian gürültüsü (TBGG) ile bozulduğu varsayılmış ve bu bozulma önerilen algoritma ile düzeltilmeye çalışılmıştır. Simülasyonlar algoritmanın görüntüyü başarılı bir şekilde düzelttiğini göstermektedir. Bu tezde bir öğretici ve bir öğreticisiz olmak üzere iki yeni yapay sinir ağı metodu önerilmiştir. Öğreticili öğrenmede "değişken adaptif momentumlu geri yayılım algoritması" (DAMGY) adında yeni bir sınıflandırıcı önerilmiştir. Bu algoritma geri yayılım algoritmasının modifiye edilmiş bir halidir ve kararlı durum hataya yakınsama hızını arttırırken hata oranınıda düşürerek desen tanıma performansını arttırmayı amaçlar. Bu algoritma girişin oto korelasyon matrisinin katsayılarını kontrol eden öğrenme katsayısı tarafından kontrol edilir. Bu katsayı sayesinde ağırlıklar güncellenirken düşük hata oranı yakalanmaktadır. Algoritmanın performansını ölçmek için k-en yakın komşu (k-EYK), Naive Bayes (NB), doğrusal ayırteden analizi (DAA), Destek Vektör Makineleri (DVM), geri yayılım ve adaptif momentumlu geri yayılım algoritması (AMGY) kullanılmış ve performans, yakınsama hızı, hataların karelerinin ortalaması ve doğruluk bakımından değerlendirilmiştir. Öğreticisiz öğrenmede, birçok yapay zekâ uygulamasında kullanılan kendi kendini düzenleyen harita (KDH) algoritması birçok araştırmacının ilgisini çekmektedir. Bu tezde klasik KDH algoritmasına adaptif bir öğrenme becerisi kazandıran bir algoritma önerilmiştir. Önerilen KDH algoritması değişken öğrenme katsayısı ile optimal ağırlıkları ve kazanan nöronları kısa sürede bularak klasik KDH'un dezavantajlarını yok etmektedir. Önerilen KDH algoritmasının optimum ağ ağırlıklarını bulma hızı diğer öğreticisiz algoritmalarla karşılaştırılmıştır. Ayrıca önerilen KDH algoritması klasik KDH, kendi kendini düzenleyen harita ile Gauss fonksiyonu (KDHGF) ve parametre-az kendi kendini düzenleyen harita (PAKDH) algoritmalarıyla da karşılaştırılmıştır. Önerilen KDH algoritması yakınsama hız, niceleme hızı, bulunan ağın topoloji hatası ve doğruluk kriterlerinde üstün performans gösterdiği gösterilmiştir. DAMGY ve önerilen KDH algoritmasının performansı UCI ve KEEL veritabanlarından alınan veri setleri ile de test edilmiştir.
Adaptive filtering techniques are frequently used in signal processing applications. In adaptive filters, usually there is a trade-off between the steady-state mean-square error (MSE), and the initial convergence rate of the filter. This trade-off is usually controlled by the step-size. A small step-size leads to a relatively slow convergence rate with low MSE and vice versa. A new convex combination of recursive inverse (RI) and second-order RI algorithms is developed to overcome this trade-off. The new method used in system identification and noise cancellation applications. Proposed method is compared to convex combination of the normalized least-mean-square (NLMS) algorithms in terms of mean-square error (MSE) and rate of convergence. Simulations show that the proposed algorithm provides faster convergence rate with lower MSE than combined NLMS algorithms in both additive white Gaussian noise (AWGN) and additive correlated Gaussian noise (ACGN) environments. De-noising magnetic resonance images (MRI) has recently become an interesting topic in medical diagnosis applications. Many algorithms have been proposed for this purpose. However, these algorithms usually suffer from poor performance or time consumption. In order to improve the MRI images, the proposed 1-D convex combination method extended to 2-D convex combination. The 2-D convex combination provides high performance in terms of noise removal. A de-noising experiment has been conducted on MR image that is assumed to be corrupted by an additive white Gaussian noise (AWGN) for testing purposes. Simulations show that the proposed algorithm successfully recovers the image. In this thesis we present two modified neural network algorithms. One of them is supervised and the other is unsupervised learning. In the supervised learning, a novel machine learning classifier of back-propagation algorithm with variable adaptive momentum (BPVAM) is proposed. The proposed algorithm is a modified version of the BP algorithm to improve its convergence behavior in both sides, accelerate the convergence process for accessing the optimum steady-state and minimizing the error misadjustment to improve the recognized patterns superiorly. This algorithm is controlled by the adaptive momentum parameter which is dependent on the eigenvalues of the autocorrelation matrix of the input. It provides low error performance for the weights update. To discuss the performance measures of the BPVAM algorithm and the other supervised learning algorithms such as K-nearest neighbours (K-NN), Naive Bayes (NB), linear discriminant analysis (LDA), support vector machines (SVM), BP, and BP with adaptive momentum (BPAM) have been compared in term of speed of convergence, sum of squared error (SSE), and accuracy. In the unsupervised learning, the self-organizing map (SOM) has attracted attention of many researchers, where it has successfully applied to a wide range of artificial intelligence applications. In this thesis, new intelligent adaptive learning of the conventional SOM algorithm is proposed. The proposed SOM overcomes the disadvantages of the conventional SOM by deriving a new variable learning rate that can adaptively achieve the optimal weights and obtain the winner neurons in a short time. Performance of the proposed SOM was compared with other unsupervised algorithms by examining the speed of finding optimum network weight update. The proposed SOM algorithm was also compared with conventional SOM, Gaussian-function with self-organizing map (GF-SOM), parameter-less self-organizing map (PLSOM) algorithms. The proposed SOM algorithm showed superiority in terms of convergence rate, quantization error (QE), topology error (TE) of preserving map and accuracy during the recognition process. The BPVAM, and proposed SOM algorithms experiments were conducted using different databases from UCI and KEEL repository.