Tez No	İndirme	Tez Künye	Durumu
383272		Accurate 3D tracking using visual and depth data / Görsel ve derinlik verileri kullanılarak hassas 3B takip Yazar:OSMAN SERDAR GEDİK Danışman: PROF. DR. ABDULLAH AYDIN ALATAN Yer Bilgisi: Orta Doğu Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Elektrik-Elektronik Mühendisliği Ana Bilim Dalı Konu:Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering Dizin:Görüntü işleme-bilgisayarlı = Image processing-computer assisted	Onaylandı Doktora İngilizce 2014 174 s.
Nesnelerin 3B takibi, robotik ve arttırılmış gerçeklik (AG) gibi bir çok uygulama için kritik öneme sahip olmakla birlikte, yüksek hassasiyette poz kestirimleri, robotik uygulamalarda güvenilirliği artırırken, AG uygulamalarında ise titreşimi azaltmaktadır. Son zamanlarda almaç teknolojisindeki gelişmeler yüksek kare hızına sahip senkron KYM ve derinlik verisi yakalamayı mümkün kılmıştır. Bu motivasyon ile, görsel ve derinlik almaçlarının eş zamanlı kullanımına dayanan ve yüksek performansa sahip otomatik bir 3B takip algoritması sunulmuştur. Derinlik verisi hem ham hem de, yapısal detayları öne çıkardığı ve her iki tip verinin bir arada kullanılmasına olanak sağladığı gözlemlendikten sonra, Şekil İndis Haritası (ŞİH) formunda kullanılmıştır. Uygulama alanını kısıtlayabilecek çevrimdışı elde edilmiş Bilgisayar Destekli Tasarım modellerine olan ihtiyacın elimine edilmesi amacıyla, nesne modeli olarak ilk anda elde edilen renkli nokta kümesi kullanılmıştır. Tipik bir 3B takip algoritması şu bloklardan oluşmaktadır: Öznitelik seçimi, ardışık kareler arasında öznitelik eşleştirilmesi ve eşlenen öznitelikler kullanılarak 3B poz kestirimi. Amaç kullanıcı tarafından seçilen herhangi bir nesnenin hassas 3B takibi olduğundan, daha fazla hassasiyet ve gürbüzlük için, sürecin her adımında her iki almaç verisi de kullanılmaktadır. Bu amaçla ilk olarak, yüksek dokusal ve uzamsal köşelik özelliklerine sahip öznitelikleri saptayan yeni bir öznitelik seçim yöntemi önerilmiştir. Yöntemde, noktaların uzamsal dağılımını arttırmak amacıyla, ilgi alanı düzgün kafeslere bölünür. Her kafes içerisinden, parlaklık ve ŞİH verileri kullanılarak, maksimum dokusal ve uzamsal köşeliğe sahip öznitelik seçilir. Uzamsal/dokusal kısıtların bir arada kullanılması daha ayırt edici özniteliklerin seçilmesini sağlarken, kafes-temelli yaklaşım poz kestirimleri üzerindeki yanlılığı azaltmaktadır. Sonrasında, seçilen öznitelikler ardışık kareler arasında, 3B takip performansını arttırmak amacıyla, her özniteliği parlaklık ve ŞİH verisi kullanarak bağımsız ve eş zamanlı olarak takip eden yeni bir öznitelik takip yöntemi ile eşleştirilir. Yöntem, nihai öznitelik eşleştirmesine, takipçilerin gerçek zamanlı olarak kestirilen güvenilirliklerini kullanarak karar verir. Bu paralel yöntemin almaç gürültüsüne ve takipçi kusurlarına karşı gürbüzlüğü arttırdığı gözlemlenmiştir. Son olarak, tayin edilen özniteliklere ait KYM ve derinlik ölçümleri ünlü İlerletilmiş Kalman Filtresi (İKF) ile kaynaştırılır. Bu sistemde, Kalman kazanç terimini değiştirerek yüksek kaliteye sahip öznitelikleri destekleyen ve ölçüm hatalarına karşı gürbüzlük sağlayan yeni bir ölçüm ağırlıklandırma yöntemi önerilmiştir. Bu yöntem, bilgisayarla görü ve Bayes filtreleme disiplinleri arasında bir bağlantı kurarak, önceden tanımlanan almaç parametrelerine ve özdeş ölçüm hataları varsayımına olan bağımlılığı ortadan kaldırmaktadır. Önerilen her alt-sistem tarafından 3B takip hassasiyetinde sağlanan artış deneysel sonuçlarla gösterilmiştir. Ayrıca, önerilen 3B takip yönteminin performansı literatürdeki bir çok bilinen yöntemle karşılaştırılmış ve performans üstünlüğü gözlemlenmiştir. Son olarak, yöntemle elde edilen poz kestirimleri renkli nokta kümelerini birleştirerek 3B harita elde etmek amacıyla kullanılmıştır. Herhangi bir döngü kapatım veya art-işlem yöntemi kullanılmamasına rağmen, ciddi sayıda nokta kümesinin yüksek hassasiyetle birleştirildiği gözlemlenmiştir.
3D tracking of objects is essential in many applications, such as robotics and augmented reality (AR), and availability of accurate pose estimates increases reliability in robotic applications whereas decreases jitter in AR scenarios. As a result of the recent advances in the sensor technology, it is possible to capture synchronous high frame rate RGB and depth data. With this motivation, an automated and high accurate 3D tracking algorithm based on simultaneous utilization of visual and depth sensors is presented. The depth sensor data is utilized both in raw format and in the form of Shape Index Map (SIM), after the observation that the latter transformation emphasizes structural details and provides a proper basis to jointly utilize both sensor data. As the object model, the initial object colored point cloud is utilized, which eliminates dependency on any offline generated Computer Aided Design (CAD) models that might limit the application areas. A typical 3D tracking algorithm composes of the following stages: Feature selection, feature association between consecutive frames and 3D pose estimation by the feature correspondences. Since the main aim is to perform highly accurate 3D tracking of any user selected object, data from both sensors is exploited in every stage of the process for improving accuracy, as well as robustness. First of all, a novel feature selection method, which localizes features with high textural and spatial cornerness properties, is proposed. In this method, in order to increase the spatial spread of features around the object, the region of interest is divided into regular grids. Within each grid a single feature with maximum cornerness measure in terms of both intensity and SIM data is selected. Imposing spatial-textural constraints jointly selects more discriminative features, whereas a regular grid-based approach decreases bias on pose estimates. Then, the selected features are associated between consecutive frames by a new feature tracking approach, which tracks each feature independently and simultaneously on intensity and SIM data for improving 3D tracking performance. The method decides on the final feature association based on the reliabilities of individual trackers estimated online. Such a parallel approach is observed to increase robustness against sensor noise and individual tracker failures. Finally, RGB and depth measurements of localized features are fused in a well-known Extended Kalman Filter (EKF) framework. In this framework, we propose a novel measurement weighting scheme, based on the manipulation of Kalman gain term, which favors high quality features and provides robustness against measurement errors. This scheme, establishing a connection between computer vision and Bayes filtering disciplines, eliminates sole dependency on predefined sensor noise parameters and identical measurement noise assumption. The increase in 3D tracing accuracy due to each proposed sub-system is shown via experimental results. Furthermore, the accuracy of the proposed 3D tracking method is tested against a number of well-known techniques from the literature and superior performance is observed against such approaches. Finally, the resulting pose estimates of the proposed algorithm is utilized to obtain 3D maps after combining colored point clouds at consecutive time instants. We observe that, although loop closure or post-processing algorithms are not exploited, significant number of 3D point clouds are combined with a quite high accuracy.