Tez No	İndirme	Tez Künye	Durumu
778019		Sensör füzyonuna dayalı derin öğrenme yöntemleri ile nesne tanıma başarısının artırılması / Increasing object detection success with deep learning methods based on sensor fusion Yazar:AHMET ÖZCAN Danışman: DR. ÖĞR. ÜYESİ ÖMER ÇETİN Yer Bilgisi: Milli Savunma Üniversitesi / Atatürk Stratejik Araştırmalar ve Lisansüstü Eğitim Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı Konu:Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control Dizin:Derin öğrenme = Deep learning ; Görüntü işleme = Image processing ; Sensörler = Sensors ; Yapay sinir ağları = Artificial neural networks	Onaylandı Doktora Türkçe 2023 102 s.
Nesne ve özellik tespit yöntemleri, otonom araçlar, video gözetleme, kurtarma sistemleri gibi çeşitli alanlarda yaygın olarak kullanılmaktadır. Etkili bir tespit yöntemi geliştirmek için optik, termal ve derinlik gibi farklı sensör veri türleri hibrit bilgi olarak bir arada kullanılabilir. Optik verilere derinlik ve termal veriler eklenerek geliştirilecek sistemlerde tespit başarısının artmasıyla beraber tespit edilen nesneye yönelik mesafe ve sıcaklık bilgileri de belirlenebilir. Bu tez çalışmasında daha doğru bir nesne tespiti ve tespit edilen nesnelerden bilgi çıkarımı için RGB-D veriler ile termal sensör verilerini birleştirmek için basit ve etkili bir yöntem geliştirilmiştir. Sensör verilerini birleştirmek için sensörler birbirine fiziksel olarak sabitlenmiş ve aralarındaki ilişkiler önerilen yöntem ile belirlenmiştir. Görüntü işleme yöntemleri ile optik ve termal görüntülerde konumları belirlenen öznitelik noktaları başarılı bir şekilde eşleştirilmiştir. Geliştirilen yöntem sensör marka ve modellerinden bağımsız, uygulanması basit ve gerçek zamanlı uygulamalarda kullanılabilecek performanstadır. Görüntü işleme yöntemleri ile geliştirilen sensör füzyon yöntemi yapay sinir ağları ile kullanılarak çeşitli uygulamalar geliştirilmiştir. İlk uygulamada ortamda bulunan nesneler tespit edildikten sonra sıcaklık, uzaklık ve renk bilgileri belirlenmiştir. Bu çalışmada elde edilen tecrübe sayesinde bilgi çıkarımının doğruluğu için kullanılan nesne tespit yönteminin aynı zamanda nesne sınırlarını doğru biçimde çıkarabilmesi gerektiği görülmüştür. İkinci uygulamada optik derinlik ve termal veriler üzerinde örnek nesne tespiti ve özellik çıkarımı üzerinde durulmuştur. Literatürde var olan ağ yapılarından biri termal ve optik verilerle eğitilmiş ve her bir veride ayrı ayrı tespit yapılarak ortamdaki nesne konumu belirlenmiştir. Belirlenen ve sınırları çizilen nesnenin uzaklık ve sıcaklık bilgileri de çıkarılmıştır. Çalışmanın ilerleyen bölümlerinde sensör füzyonunu sınayabilmek ve karşılaştırmalar yapabilmek için örnek nesne olarak insan belirlenmiştir. Belirlenen nesne olan insan odağında özgün hibrit veri seti oluşturulmuştur. Özgün veri seti 8 farklı ortamda 11 farklı zamanda toplanan 3310 adet optik, termal ve derinlik verisinden oluşmaktadır. Toplanan veriler özgün sensör füzyonu yöntemi ile eşleştirilerek ilgi alanları çıkarılmıştır. Veri setinden elde edilen ilgi alanı resimleri ve bu resimlerin çeşitli oranlarda birleşimi ile sınamalar yapılmıştır. Optik verilerin 0,3 ağırlığındaki termal verilerle desteklendiği görsellerin en iyi tespit sonuçlarını ürettiği görülmüştür. En iyi sonucu elde edilen veriler ile sınamada kullanılan yapay sinir ağı eğitildiğinde ise başarımın daha da arttığı gözlenmiştir. Çalışmanın son bölümünde herhangi bir ön işleme gerek duymadan termal ve optik verileri girdi olarak alabilen ve nesne tespiti yapabilen çok modlu bir ağ tasarlanmıştır. Çok modlu ağ özgün veri seti ile eğitildikten sonra sınamalar yapılmıştır. Tüm sınama sonuçları tekil verilerle karşılaştırılarak açıklanmış ve özgün sensör füzyon yönteminin başarımı gösterilmiştir. Önerilen sensör füzyon yöntemi ve çok modlu yapay sinir ağı literatürdeki yeni çalışmalara öncülük edecektir.
Object and feature detection methods are widely used in various fields such as autonomous vehicles, video surveillance, and rescue systems. Different types of sensor data such as optical, thermal, and depth can be used together as hybrid information to develop an effective detection method. In systems that will be developed by adding depth and thermal data to the optical data, the distance and temperature information for the detected object can be determined together with the increase in detection success. In this thesis, a simple and effective method has been developed to combine RGB-D data with thermal sensor data for more accurate object detection and information extraction from detected objects. In order to combine the sensor data, the sensors are physically fixed to each other and the relationships between them are determined by the proposed method. The feature points whose positions were determined in optical and thermal images with image processing methods were successfully matched. The developed method is independent of sensor brands and models, is simple to implement, and has the performance to be used in real-time applications. Various applications have been developed by using the sensor fusion method developed with image processing methods with artificial neural networks. In the first application, after the objects in the environment were detected, temperature, distance, and color information was determined. Thanks to the experience gained in this study, it has been seen that the object detection method used for the accuracy of information extraction should also be able to correctly extract the object boundaries. In the second application, sample object detection and feature extraction on optical depth and thermal data are emphasized. One of the existing network structures in the literature was trained with thermal and optical data, and the object location in the environment was determined by detecting each data separately. The distance and temperature information of the determined and drawn object is also extracted. In the following parts of the study, the human was determined as a sample object in order to test the sensor fusion and make comparisons. An original hybrid data set was created with a focus on the determined object, the human. The original data set consists of 3310 optical, thermal, and depth data collected at 11 different times in 8 different environments. The areas of interest were extracted by matching the collected data with the original sensor fusion method. The tests were carried out with the pictures of interest obtained from the data set and the combination of these pictures in various proportions. It has been seen that the images in which the optical data are supported by thermal data weighing 0.3 produce the best detection results. It was observed that the performance increased, even more, when the artificial neural network used in the test was trained with the data obtained with the best results. In the last part of the study, a multi-mode network that can take thermal and optical data as input and detect objects without any preprocessing is designed. After the multimodal network was trained with the original data set, the tests were carried out. All test results are explained by comparing with single data and the performance of the original sensor fusion method is shown. The proposed sensor fusion method and multimodal neural network will lead to new studies in the literature.