Tez No	İndirme	Tez Künye	Durumu
790277		Metasezgisel algoritmalar ve derin öğrenme kullanılarak çok kaynaklı görüntü füzyonu / Multi-source image fusion using metaheuristic algorithms and deep learning Yazar:ASAN IHSAN ABAS ABAS Danışman: DOÇ. DR. NURDAN BAYKAN Yer Bilgisi: Selçuk Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı / Bilgisayar Mühendisliği Bilim Dalı Konu:Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control Dizin:	Onaylandı Doktora Türkçe 2023 130 s.
Yapay zekâ ve teknolojinin gelişimiyle birlikte günümüzde askeri, tıp, uzaktan algılama, yeraltı kaynakların bulunması, hedef izleme, mikroskobik görüntüleme ve güvenlik uygulamaları gibi farklı alanlarda net ve daha detaylı görüntülere ihtiyaç duyulmaktadır. Ancak bazen tek bir sensörden gelen görüntüler analiz için yeterli değildir ve görüntülerdeki özelliklerin tespit edilmesi mümkün olamamaktadır. Bu nedenle aynı anda farklı sensörlerden alınan ve farklı özellikteki görüntülerin birlikte kullanılması gerekmektedir. Bu amaçla, görüntü füzyonu (birleştirme) büyük bir önem kazanmaktadır. Görüntü füzyon işlemi sonunda elde edilen görüntünün daha anlamlı ve net bilgiler içermesi amaçlanmaktadır. Başarılı bir görüntü füzyon yönteminden beklenen özellikler, kaynak görüntülerin en baskın ve ayırt edici bilgilerini koruması ve füzyon işlemlerinde meydana gelebilen hatalardan ve bozulmalardan etkilenmemesidir. Bu tez çalışmasında metasezgisel algoritmalar ve derin öğrenme algoritmaları ile Çok Ölçekli Dönüşüm (ÇÖD) yöntemleri hibrit kullanılarak yeni füzyon yöntemleri önerilmiştir. Hibrit yöntemlerin geliştirilmesinde literatürde en çok kullanılan çok ölçekli Laplasyan Piramit (LP), Curvelet (CvT) ve Alt-Örneklenmemiş Shearlet Dönüşümü frekans uzayı yöntemleri kullanılmıştır. Metasezgisel algoritmalara dayalı hibrit görüntü füzyon yöntemi için Parçacık Sürü Optimizasyonu (PSO) veya Yarasa Algoritması (YA) ile frekans uzayındaki füzyon işlemindeki optimal en iyi katsayı değerleri seçilmiş ve daha sonra bu değerler düşük frekans katsayıları ile iki görüntüyü birleştirmek için kullanılmıştır. Derin öğrenme algoritmasına dayalı görüntü füzyonu için de, ÇÖD yöntemleri ile Siyam Evrişimsel Sinir Ağı'nı (SESA) birleştiren bir hibrit yöntem önerilmiştir. Önerilen yöntemde çok ölçekli dönüşümde kullanılan ağırlık haritasını elde etmek için Evrişimsel sinir ağına (ESA) dayalı yeni bir görüntü birleştirme algoritması önerilmiştir. Daha sonra bu ağırlık haritası görüntü füzyonu için kullanılmıştır. Tez kapsamında önerilen hibrit yöntemlerin hepsi uzaktan algılama, çok odaklı ve tıbbi görüntü veri seti olmak üzere üç ayrı veri setinde test edilmiştir. Tıbbi görüntülerde spektral (Pozitron Emisyon Tomografisi-PET) ve anatomik (Manyetik Rezonans-MR) detayları kaybetmeden tek bir birleşik görüntü için en iyi görsel ve yüksek detaylara sahip füzyon görüntüsü elde edilmeye çalışılmıştır. Uzaktan algılama görüntülerinde ise yüksek çözünürlüklü Pankromatik (PAN) görüntünün uzamsal bilgilerinin MultiSpektral (MS) görüntüye aktarılması sağlanmış ve düşük çözünürlüklü MS görüntüden gelen renk bilgilerinin korunması amaçlanmıştır. Çok odaklı görüntülerde ise, iki görüntüden (Odak1 ve Odak2) gelen önemli bilgilerin tek bir görüntüde birleştirilerek birden fazla odaklanmış nesne elde edilmesi amaçlanmıştır. Tez çalışmasında önerilen yöntemler ile elde edilen füzyon görüntüye maksimum oranda anlamlı bilginin kaynak görüntülerden taşınması sağlanarak füzyon görüntüsünün kalitesi arttırılmış ve literatüre göre daha iyi sonuçlar elde edilmiştir. Karşılaştırma için Korelasyon Katsayısı (KK), Ortalama Karesel Hatanın Karekökü (OKHK), Entropi, Yapısal Benzerlik İndeksi (YBİ), Gürültü Oranı (GO), Objektif Kenar Tabanlı Ölçü (OKTÖ), Füzyon Faktör (FF), Standart Sapma (SS) ve Peilla ölçütleri kullanılmıştır. Elde edilen sonuçlar ÇÖD yöntemleri ile hem metasezgisel algoritmalar hem de ESA tabanlı önerilen hibrit füzyon yöntemlerinin yüksek başarı verdiğini ve farklı özelliklerdeki görüntülerde kullanılabileceğini göstermiştir.
With the development of artificial intelligence and technology, clear and more detailed images are needed in different fields such as military, medicine, remote sensing, underground sources, target tracking, microscopic imaging and security applications. However, sometimes the images from a single sensor are not enough for analysis and it is not possible to detect the features in the images. For this reason, images taken from different sensors at the same time and with different characteristics should be used together. For this purpose, image fusion gains great importance. It is aimed that the result image obtained from the image fusion contains more meaningful and clear information. The expected properties from a successful image fusion method are that it protect the most salient and distinctive information of the source images and is not affected by the errors and distortions that may occur in fusion. In this thesis, new hybrid fusion methods are proposed by using metaheuristic algorithms and deep learning algorithms with Multi-Scale Transform (MST) methods. Multi-scale Laplacian Pyramid (LP), Curvelet (CvT) and Non-Sampled Shearlet Transform (NSST) frequency domain methods, which are the most widely used in the literature, were used in the development of hybrid methods. For the hybrid image fusion method based on metaheuristic algorithms, the optimal best coefficient values for the fusion in the frequency domain were selected with Particle Swarm Optimization (PSO) or Bat Algorithm (BA) and then these values were used to fusion the two source images using low frequency coefficients. For image fusion based on deep learning algorithm, a hybrid method is proposed that use MST methods and Siamese Convolutional Neural Network (SCNN). In the proposed method, a new image fusion algorithm based on Convolutional Neural Network (CNN) is proposed to obtain the weight map used in multiscale transformation. This weight map was then used for image fusion. All of the hybrid methods proposed in the thesis were tested on three different datasets as remote sensing, multifocus and medical image datasets. It has been tried to obtain the best visual and highly detailed fusion image for a single fusion image without losing spectral (Positron Emission Tomography-PET) and anatomical (Magnetic Resonance-MR) details in medical images. In remote sensing images, the spatial information of the high-resolution Panchromatic (PAN) image is transferred to the MultiSpectral (MS) image and it is aimed to get the color information from the low-resolution MS image. In multifocus images, it is aimed to obtain more than one focused object by fusing important informations from two source images (Focus1 and Focus2) to a single fusion image. The quality of the fusion image was increased by carrying the maximum amount of meaningful information from the source images to the fusion image obtained with the methods suggested in the thesis study, and better results were obtained compared to the literature. Correlation Coefficient (CC), Root Mean Square Error (RMSE), Entropy, Structural SIMilarity Index (SSIM), Peak Signal to Noise Ratio (PSNR), Objective edge-based measure (QAB/F), MI/Fusion Factor, Standard Deviation and Peilla measures were used for comparison. The obtained results showed that both metaheuristic algorithms and CNN based hybrid fusion methods are highly successful and can be used for different image types.