Tez No İndirme Tez Künye Durumu
753211
Depth guided 3D descriptor for object classification / Obje sınıflandırması için derinlik güdümlü 3D tanımlayıcı
Yazar:ERKUT ARICAN
Danışman: DR. ÖĞR. ÜYESİ TARKAN AYDIN
Yer Bilgisi: Bahçeşehir Üniversitesi / Lisansüstü Eğitim Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Konu:Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin:Derinlik = Depth ; Görüntü işleme = Image processing ; Makine öğrenmesi = Machine learning ; Sınıflandırma = Classification ; Veri setleri = Data sets
Onaylandı
Doktora
İngilizce
2022
82 s.
Nesne algılama, bilgisayarlı görü alanında önde gelen ve aktif araştırma alanlarından biridir ve birçok uygulama alanı mevcuttur. Görünüm veya özellik tabanlı olarak adlandırılan yöntemlerin çoğu, 3B sahnelerin 2B görüntülerinin parlaklık bilgisinde öğrenilen deseni arar. Ancak bu yöntemler, nesnenin kendisi hakkında güçlü bilgiler içeren nesne yapısı hakkında bilgiden yoksundur. 3B görüntü verilerinin mevcudiyeti ile, benzer kavramlar 2B problem örneğine uygulanabilir. Bu doktora tezi, doku, aydınlatma, şekil, bakış açısı, dağınıklık ve tıkanıklık gibi nesne algılama ile ilgili birçok zorluğu elimine etmek için 3B verilerdeki bilgileri kullanan yapısal tabanlı bilgilerle görünüm tabanlı bilgileri birleştirmeyi amaçlamaktadır. Araştırmamızda, 3B tanımlayıcılar önermek için SUN3D veri seti ve Washington RGB-D veri seti ile geleneksel yöntemlerden bazılarını kullandık. Derinlik ve RGB görüntülerini birleştirerek ve Gradyan Histogramıyla Yerel Öz Benzerlik metodlarını da kullanarak 3B tanımlayıcımızı oluşturuyoruz. Önerilen yöntemleri referans yöntemlerle karşılaştırmak bize derinlik eklemenin doğruluk sonucu pozitif yönde desteklediğini gösteriyor. Önerilen geleneksel 3B tanımlayıcıların sonuçlarından memnunuz. Konvansiyonel çalışmalarımızı geliştirmek için üç füzyon yöntemi önerdik. Öncü füzyon yöntemi, RGB ve derinlik bilgisini ağdan önce birleştirir ve önerilen diğer füzyon yöntemlerde, RGB ve derinlik bilgisi ağ içinde birleştirir. Füzyon metotlarımızı referans metot ile test ediyoruz. Ayrıca, öncü füzyon yöntemi bir kaç sinir ağlarında da karşılaştırılmış olup, yalnızca RGB kullanmaktan daha iyi doğruluk sonucu verdiğini gösterir. Sonuçlar, öncü füzyon yönteminin, çeşitli sinir ağları kullanılarak 3B nesne tespiti için kullanılabilir bir yöntem olduğunu göstermektedir. Bu tezde, nesne sınıflandırması için işlevsel, rasyonel ve yeni bir 3B tanımlayıcı geliştirdik.
Object detection is one of the leading and active research areas in computer vision, and many application areas exist. Most of the methods, called appearance or feature-based, search for the learned pattern in brightness information of 2D images of 3D scenes. These methods, however, lack information about object structure, which holds strong information about the object itself. With the availability of 3D image data, similar concepts can be applied to the 2D instance of the problem. This doctoral thesis aims to combine appearance-based with structural-based information that exploits the information in 3D data to address many difficulties associated with object detection, such as variations of texture, illumination, shape, viewpoint, clutter, and occlusion. In our research, we used some of the conventional methods with the SUN3D dataset and the Washington RGB-D dataset to propose 3D descriptors. We combined depth and RGB images with a Histogram of Gradient and Local Self Similarity in our 3D descriptors. Comparing proposed methods with reference methods show us that adding depth promotes accuracy. We are pleased with the proposed traditional 3D descriptors' results. We proposed three fusion methods to improve our conventional studies. The initial fusion method combines the RGB and depth before the network, and other proposed methods combine RGB and depth inside the network. We test our fusion methods with the reference method. Moreover, comparing the initial fusion method on some neural networks shows us better accuracy than using only RGB. Results show that the initial fusion method is a useable method for 3D object detection using various neural networks. In this thesis, we developed a functional, rational, and novel 3D descriptor for object classification.