Tez No	İndirme	Tez Künye	Durumu
557855		Alternative navigation methods: Fusion of optical flow and visual-inertial pose estimation using EKF / Alternatif navigasyon metotları: EKF kullanılarak, poz tahmini için optik akışı ile görsel ataletliyi füzyon etmektedir Yazar:ABDEL SALAM BAWARSHI Danışman: DR. ÖĞR. ÜYESİ EMRE KOYUNCU Yer Bilgisi: İstanbul Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Uçak ve Uzay Mühendisliği Ana Bilim Dalı / Uçak ve Uzay Mühendisliği Bilim Dalı Konu:Havacılık Mühendisliği = Aeronautical Engineering Dizin:	Onaylandı Yüksek Lisans İngilizce 2019 123 s.
Yerelles¸tirme ve navigasyon mobil robotlar için en önemli iki görevdir. Robotu iki problemi çözme yeteneg˘i ile donatmaya çalıs¸ıyorlar: Bir amaçlanan hedefe nasıl ulas¸ılmasını, ve nasıl robotun belirli bir anda çevresine göre nerede bulundug˘unu belirleme.Elbette, bu iki soru birbirinden bag˘ımsız deg˘il ama oldukça sıkı bir s¸ekilde bag˘lıdır. Amaçlanan bir yolun bas¸langıcındaki bir robot dog˘ru pozisyonunu bilmiyorsa, sonraki, amaçlanan hedefe ulas¸ma görevini yerine getirme konusunda sıkıntılarla kars¸ılas¸acaktır. Geçmis¸te, lokalizasyon, navigasyon ve haritalama için çes¸itli algoritmik yaklas¸ımlar önerildi. Son zamanlarda, bütün problem kompleksini bir kerede çözmeyi amaçlayan (örneg˘in, SLAM, es¸zamanlı lokalizasyon ve haritalama) ve belirsizlig˘i en aza indiren olasılıksal yöntemleri kullanarak farklı teknikler uygulanmaktadır. Yerelles¸tirme mobil robot biliminin temel konularından biri haline geldi, çünkü konumasl algılama kullanmadan, robotun sadece hareketsiz görevleri gerçekles¸tirmesi engellenecek ve çevresini dolas¸ma kapasitesine sahip olmayacak ve çarpıs¸ma gibi ciddi durumlardan kaçınamayacaklardır. GPS sistemleri, günümüzde robotik alanında görülen en yaygın navigasyon sistemleridir. Ancak ne yazık ki, tüm konumlara GPS sinyalleri tarafından hizmet verilmemektedir (örneg˘in, binalarda, su altında, yer altında navıgasyon veya GPS sıkıs¸ması varlıg˘ında navigasyonda) ve bu alternatif navigasyon yöntemleri bulma ihtiyacını uyandırdı, ataletsel navigasyon sistemine yardımcı olabilecek GPS tabanlı olmayan bir sistem. Otonom araç navigasyonu için, hem kameralar hem de atalet sensörleri çevreye algılanabilir herhangi bir enerji yansıtmadıkları için ideal bir aday gibi görünmektedir, altı serbestlik dereceli hareket tahmini, kesintilere veya sıkıs¸malara maruz kalmamakta ve sınırlandırılmamaktadır. Ayrıca, yalnızca bir monoküler kamera kullanan yaklas¸ımlar, küçük boyutları, düs¸ük maliyetli ve kolay donanım kurulumları nedeniyle bu alanda önemli ilgi görmüs¸tür. Bununla birlikte, yalnızca monoküler görme kullanan sistemler, metrik ölçeg˘i kurtarma kabiliyetine sahip deg˘ildir. Dolayısıyla, gerçek dünyada robotik uygulama kullanımları sınırlıdır. Son zamanlarda, monoküler kameraya yardımcı olmak için görsel sistemle birlikte çes¸itli sistemlerde bir atalet ölçüm birimi (IMU) kullanılmıs¸ ve metrik ölçek, yuvarlanma ve eg˘im açılarını gözlemleme özellig˘ine sahip entegre bir görsel eylemsizlik sistemi (VINS) ile sonuçlanmıs¸tır . Hangi sırayla metrik durum tahminlerinin gerekli oldug˘u görevleri yerine getirmek için navigasyon sistemini nitelendirir. Ayrıca, hareket izleme performansı, görsel kayıplar arasındaki bos¸lug˘u kaplayan bu IMU ölçümleri entegrasyonu ile büyük ölçüde gelis¸tirilebilir. xxvii Bu kavram, insanların ve genel olarak hayvanların hassas navigasyon yeteneklerini gözlemlerinden ilham alır. Aras¸tırma, farklı bilgi kaynaklarının sadece bu kombinasyonunu bilinçli olarak deg˘il, refleks olarak da gerçekles¸tirdiklerini göstermis¸tir. Aslında, bilginin bilinçaltı kombinasyonu, çok sayıda sensörün tüm çıktılarını is¸leyerek sürekli olarak ortaya çıkar. Geleneksel olarak ög˘retilen duyuların yanı sıra is¸itme, görme, tat alma, dokunma ve koku almanın- hayvanlar aynı zamanda eklemlerinin birbirlerine göre ve daha pek çok pozisyondaki konumlarında eg˘im ve dönme hissine sahiptir. Havada, karada ve denizde hassasiyetle gezinmek için görsel ve ataletsel gözlemlerden yararlanır [4]. Navigasyon prensiplerinin bu güçlü dog˘al gösterimi, bu çalıs¸mayı görsel ve ataletsel ölçümleri kullanarak hassas navigasyonu mümkün kılar. Bu tez, otonom navigasyon için optik ve atalet sensörlerini birles¸tirmeye odaklanmıs¸ bir aras¸tırma çabasını göstermektedir. GNSS'nin engellendig˘i ortamlarda otonom navigasyon gereklilig˘i ile motive edilen yaklas¸ım, bir kamerayı ataletsel bir algılayıcıya entegre etmektir. Muazzam derecedeki önemli bir avantajı, sensörlerin tamamen pasif olması ve radyo sinyallerinin iletilmesi (veya alınması) gerekmemesidir. Hangi verim, spektrumdaki bozulmalara kars¸ı bir bag˘ıs¸ıklık. Bu tezin ana tes¸viki, optik ve atalet sistemlerinin birles¸tirilmesiyle mevcut hassas navigasyon yöntemleri sınırlamaları konusunu ele alabileceg˘iz. VINS sistemimiz gibi navigasyon sistemlerine birden fazla sensörün entegre edilmesinin güçlü özellig˘i, yalnızca herhangi bir sensörle elde etmenin oldukça zor olacag˘ı yüksek seviyede performans göstermesini sag˘lar. Aslında, genel olarak sonucun iyiles¸tirilmesi için çes¸itli bilgi kaynaklarının birles¸tirilmesi konsepti neredeyse her bilimsel ve bilimsel olmayan alanda her yerde bulunmaktadır. Ayrıca, VINS'lerin lineer olmadıkları gerçeg˘inin de farkında olarak, tahminci bas¸latması açısından önemli zorluklar görüyoruz. Bu nedenle, bu çalıs¸mada, sensör füzyonu için genis¸letilmis¸ Kalman filtre (EKF) algoritması kullanılmıs¸tır, bu da bize özellikle sistemdeki yedek sensörlerle dog˘rulug˘unu arttırmada yardımcı olur. Görüntüleme sistemleri için, özellikle robotik uygulamalarında, genis¸ açılı imge elde edebilme her zaman önemli bir hedef olmus¸tur. Geleneksel kameraların çok kısıtlı bir görüs¸ alanı vardır. Bu alanı arttırmak için kameranın döndürülmesi bir çözüm olabilir ancak bu sistem hareketli parçalara ve hassas konumlandırmaya ihtiyaç duyar. En önemli kusuru genis¸ açı elde etmek için gereken zamandır. Bunun nedenle gerçek zamanlı uygulamalar için uygun deg˘ildir. Balıkgözü mercekli kameralar ise çok kısa odak mesafesi olan dolayısıyla bir yarım küre içindeki objeleri görmemize olanak sag˘layan kameralardır. Ancak bu kameraların zorlug˘u tüm gelen ana ıs¸ınların tek bir noktada kesis¸mesini sag˘layacak merceg˘in tasarımıdır. Sahnenin bozunumsuz olarak perspektif s¸ekilde görüntülenmesi gerekir. Bir dig˘er çözüm ise aynaların (kataoptrik elemanlar) merceklerle (dioptrik elemanlar) birlikte kullanıldıg˘ı katadioptrik sistemlerdir. Bu sistemlerde çok genis¸ görüs¸ açısı tek seferde elde edilebilmektedir. Fiyatlarının da ucuzlamasıyla bu sistemler gün geçtikçe yaygınlas¸maktadır. Tüm yönlü kameraların ˙IHA'larda kullanımı son birkaç yılda görülmektedir. Kata- dioptrik kamerayı otonom hava aracına ilk uygulayanlar Hrabar ve Sukhatme'dir. ˙Ilk çalıs¸malarında helikopterin üç adet 'H' harfinin merkezine yönlenmesi sag˘lanmıs¸tır. Ancak yaptıkları çalıs¸mada katadioptrik imgelerin bozulma gibi karakteristik özel- likleri dikkate alınmamıs¸tır. Uygulamada yapay görsel hedeflere ihtiyaç duyulmakla birlikte aracın sadece iki boyutlu kontrolü yapılmıs¸tır. Dig˘er çalıs¸malarında ise helikopter üzerine yerles¸tirilmis¸ katadioptrik kamera ile balıkgözü mercekli iki kameranın kıyaslaması yapılmıs¸tır. Bir dig˘er grup aras¸tırmacı ise ˙IHA'larının üç boyutlu pozunun tahmini üzerine çalıs¸maktadır. çalıs¸maları yunuslama ve yalpalama açılarının katadioptrik imgede ufkun Rasgele Markov Alanı (Random Markov Field) veya KYM (RGB) tabanlı Mahalanabis mesafesinin büyütülerek bulunmasına dayanır. Ancak bu çalıs¸malarda ufkun açıkça görünebildig˘i farz edilmis¸tir. Ayrıca bu ufka dayalı yöntemler sapma açısının belirlenmesine olanak vermedig˘inden tam bir durum saptaması yapılamamaktadır. birlikte kullanan hibrit bir yaklas¸ım öne sürmüs¸lerdir. Ancak üç dönme açısı hesaplanırken düz araziye ihtiyaç duyulmaktadır ve hata birikmesini sıfırlamak için büyük oranda ufkun çıkarılmasına dayanmaktadır. Daha sonra ufka bag˘ımlılıktan kurtulmak için kentsel çevrelerde kullanılmak üzere çizgiye dayalı bir metot gelis¸tirilmis¸tir. Dikey yönü yeryüzü düzleminin normali gibi düs¸ünerek yöntemlerle yine yalpalama ve yunuslama açıları tahmin edilebilmektedir. Ancak hala önemli kısıtlamalar vardır. Sapma açısı hesaplanamadıg˘ı gibi dikey yönün belirlenebilmesi için gökyüzünü temsil eden bölgelerin belirlenmesi gerekmektedir. Dolayısıyla bu yöntem yog˘un kentsel bölgelerde ve kapalı alanlarda uygulanamamaktadır. Aynı zamanda gökyüzü ve yer piksellerinin ayrılması kolay bir is¸lem deg˘ildir. En son olarak yayınında bu eksiklikleri tamamlayacak bir yöntem sunulmus¸tur. Kentsel bölgelerde kullanılabilen ve hatanın birikmedig˘i bu yayında katadioptrik imgelerdeki kaçıs¸ noktaları ve bu imgeler arasında sonsuz homografi kullanılmıs¸tır. Bu yöntemle tüm dönme açıları belirlenebilmektedir. Gerçek görüntü dizileriyle yaptıkları deneylerin sonuçları gerçek deg˘erlere çok yakındır.
Localization and navigation are the two most important tasks for mobile robots. They try to equip the robot with the ability to solve two problems: how to reach a target destination, and how to determine where the robot is located with respect to its environment at a specific moment. The GPS systems are the most common navigation systems seen in the robotics field nowadays. But unfortunately, not all locations are serviced by GPS signals (e.g., navigation in buildings, underwater, underground or in navigation in presence of GPS jamming) and that evoked the need to find alternative navigation methods, a non-GPS based system which can aid an inertial navigation system. For autonomous vehicle navigation both cameras and inertial sensors seem to be ideal candidate because they do not project any detectable energy into the environment, estimate six degrees of freedom motion, are not subject to outages or jamming, and are not limited in range. This thesis outlines a research effort focused on fusing optical and inertial sensors for autonomous navigation. Motivated by the requirement for autonomous navigation in GNSS denied environments, the approach is to integrate a camera with an inertial sensor. One tremendously important advantage is that the sensors are completely passive and no transmission (or reception) of radio signals is required. Which yields, an immunity to disruptions in the spectrum. The main incentive of this thesis is, by fusing optical and inertial systems we will be able to tackle the issue of the current precision navigation methods limitations. The powerful characteristic of integrating more than one sensor in navigation systems, such as our VINS system, provides the capacity for it to perform at high level which with either sensor alone would be rather difficult to attain. In fact, this concept of combining various information sources to improve the overall outcome is omnipresent in almost every scientific and non-scientific field. Also recognizing the fact that VINSs are highly nonlinear, we see significant challenges in terms of estimator initialization. This why in this work, the extended Kalman filter (EKF) algorithm for sensor fusion has been used which gives us further assistance to improve the accuracy of the system with the backup sensors especially in the non-linear systems. The EKF additionally incorporates inertial measurement unit (IMU) data to increase the output framerate, which is important for control tasks of high level. The proposed method utilizes (EKF) algorithm to estimate recursively the navigation state and the errors associated by tracking the locations of stationary objects in an image-aided INS.