Tez No İndirme Tez Künye Durumu
744205
2-step indoor localization for "smart AGVs" / "Akıllı AGV'ler" için iki aşamalı iç mekan konumlama yaklaşımı
Yazar:ABDURRAHMAN YILMAZ
Danışman: PROF. DR. HAKAN TEMELTAŞ
Yer Bilgisi: İstanbul Teknik Üniversitesi / Lisansüstü Eğitim Enstitüsü / Kontrol ve Otomasyon Mühendisliği Ana Bilim Dalı / Kontrol ve Otomasyon Mühendisliği Bilim Dalı
Konu:Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control ; Bilim ve Teknoloji = Science and Technology ; Mekatronik Mühendisliği = Mechatronics Engineering
Dizin:Hareketli robotlar = Mobile robots ; Robot yönlendirme = Robot navigation ; İç mekan = Interior space
Onaylandı
Doktora
İngilizce
2022
203 s.
Fabrikalardaki geleneksel üretim anlayışı seri üretim odaklıdır, ancak son zamanlarda yeni bir üretim paradigması gün yüzüne çıkmıştır. Dördüncü endüstriyel devrim bir başka deyişle de Endüstri 4.0 olarak bilinen bu paradigma ile seri üretimden kişiye özel üretime geçiş başlamış, daha son kullanıcı odaklı, daha verimli ve yeni teknolojilerle donatılmış bir mimari kurgulanmıştır. Endüstri 4.0 kapsamında kurulması planlanan akıllı fabrikaların bileşenlerinden birisi siber fiziksel sistemlerdir. Siber fiziksel sistemler akıllı üretim adası, akıllı bir lojistik aracı, akıllı bir depo gibi etmenler olabilir. Günümüz fabrikalarında lojistiği sağlamak için kullanılan araçlar Endüstri 4.0 uyumlu fabrikalarda çalışmaya hazır değildir. Hali hazırda kullanılan ve otomatik yönlendirmeli araç (OYA) olarak bilinen lojistik araçları önceden tanımlanmış rotalar dahilinde hareket etmektedir. Fabrika zeminine renk kodları, manyetik çizgiler gibi yollarla işlenmiş bu rotalar dahilinde hareket halindeyken de herhangi bir engelle karşılaştıklarında beklemektedirler. Akıllı fabrikalarda kullanılacak yeni nesil OYA'ların ise bir görev verildiğinde mevcut konumundan hedef konuma gitmek için gereken tüm planlamayı kendi kendine yapması ve otonom olarak bu görevleri ifa etmesi beklenmektedir. Bu sayede fabrikalardaki tüm boş alanların kullanılması ve üretimde verimliliğin artması hedeflenmektedir. Böyle bir tam otonom yapının kurulabilmesi için çözülmesi gereken en temel problemlerden birisi konumlamadır. Konumlama robotun bulunduğu ortamın neresinde olduğunun anlık olarak kestirilmesi şeklinde tanımlanabilir. Fabrika ortamında otonom lojistik operasyonu yürütecek akıllı OYA'lar başlangıçtan hedefe başarıyla yol alabilmek için gerçek zamanlı olarak konum ve yönelim bilgisine ihtiyaç duyarlar. Konumlama problemi iç ve dış ortam robotları için çokça çalışılmış bir konu olsa da halen çözülmesi gereken problemler mevcuttur. Bir lojistik görevinde karşılaşılabilecek konumlama problemleri en genel manada üçe ayrılır. Bunlardan ilki lojistik aracının ilk çalıştırılması anında ortamın neresinde olduğunun belirlenmesidir. Bu problem literatürde global konumlama ya da uyanma konumlaması şeklinde ifade edilmektedir. Burada amaç aracın sensörleri ile çevreden alınan bilgiler ışığında ortam haritasının neresinde olduğunun tespit edilmesidir. İkinci problem ise anlık olarak robotun konum ve yönelimi bilinirken robotun hareketlerine bağlı olarak bu bilginin güncellenmesidir. Buna da literatürde pozisyon takibi ismi verilmektedir. Üçüncü ve son problem ise kaçırılmış robot problemidir ki bu durum herhangi bir bilgi verilmeksizin robotun bir yerden başka bir yere taşınması gibi durumlarda ortaya çıkar. Bu problem globalde robotun taşınması gibi sebeplerle ortaya çıksa da lokalde ortaya çıkma nedenleri arasında patinaj, kayma, bir nesneye çarpma gibi durumlar yer almaktadır. Lokaldeki bu yanıltıcı bilgiler nedeniyle de robotun konum tahmininde hatalar ortaya çıkabilmektedir. Sonuç olarak fabrika ortamında kullanılacak konumlama algoritmalarının tüm bu problemlerin üstesinden gelmesi beklenir. Literatürde bu üç problemin de üstesinden gelebilen yöntemler mevcuttur. Ancak lojistik problemini iki safhaya ayırma yoluna gidilecek olursa bunlardan ilki akıllı OYA'nın yükü taşıma aşaması iken diğeri yükü alması veya bırakması aşaması olur. Bunlara kısaca taşıma aşaması ve yanaşma aşaması isimleri verilecek olursa, görevin taşıma aşamasında yükün bir noktadan diğerine güvenli ve optimal şekilde götürülmesi hedeflenir ve bu aşamada en hızlı şekilde ve minimum enerji harcayarak en kısa yoldan gitmek daha önemlidir. Bu aşamada belirlenen rota dahilinde kalmak yeterlidir ancak rotanın yüksek doğrulukla takip edilmesi gerekmez. Dolayısıyla taşıma aşamasında OYA konum ve yöneliminin kabaca tespit edilmesi yeterli olacaktır. Öte yandan yanaşma aşamasında ise amaç, hedef konuma endüstriyel standartları gözeterek yüksek doğrulukla ulaşmaktır. Endüstri 4.0 ile birlikte bu ister santimetre altı hata ile hedefe ulaşma şeklinde tanımlanmıştır. Dolayısıyla yanaşma aşamasında hedef harcanan enerjiyi azaltmak, en hızlı şekilde varmaktan ziyade yüksek doğrulukla yanaşmaktır. Bu durumda yanaşma aşamasında konum ve yönelim tahmininin yüksek doğrulukla yapılması bir zorunluluktur. Taşıma aşamasında kullanılacak yöntemlerin hesaplama yükü düşük olmalıdır ve tüm çalışma bölgesinde benzer konumlama performansı göstermeleri beklenmektedir. Öte yandan yanaşma bölgesinde kullanılacak algoritmaların ise tüm çalışma bölgesinde olmasa dahi yanaşma bölgesinde yüksek doğrulukla konum tahmin etmesi gereklidir. Bu tez kapsamında taşıma aşaması ve yanaşma aşaması için farklı algoritmalar önerilmiş ve kullanılmıştır. Öte yandan taşıma aşamasından yanaşma aşamasına geçiş için de olasılıksal bir karar mekanizması önerilmiştir. Taşıma aşamasında parçacık filtresi temelli Monte Carlo Konumlama (MCK) yaklaşımının bir türevi olan Kendinden Uyarlamalı MCK (KU-MCK) yöntemi baz alınmıştır. KU-MCK yaklaşımının seçilmesinin nedenleri arasında daha önce bahsedilen üç ana konumlama probleminin üstesinden gelebilmesi en başta gelmektedir. KU-MCK yaklaşımı ile enerji haritaları aracılığıyla global konumlama yapmak mümkündür. Böylece fabrika ortamında ilk anda çalıştırılan (uyandırılan) lojistik aracının başlangıçta haritanın neresinde konuşlandığı tespit edilebilir. Öte yandan aracın hareketine bağlı olarak konum ve yönelimi hızlı bir şekilde takip etmek de mümkündür. Bu esnada odometre kaynaklarından ve çevre algılamalarından faydalanılır. Parçacık filtresindeki parçacıkların ağırlıklarından hareketle de aracın konumunun haber verilmeksizin değiştirilmesi problemine çözüm getirilebilir. Tüm bunlar bir arada düşünüldüğünde KU-MCK yaklaşımının taşıma aşaması için ideal olduğu söylenebilir. Ancak geleneksel KU-MCK yaklaşımındaki enerji haritası kavramı robot üzerindeki mesafe ölçerlerin robot merkezine göre simetrik şekilde konuşlandırıldığını varsaymaktadır. Fabrikalarda lojistik amacıyla kullanılan OYA'larda ise genellikle önde ve arkada olmak üzere lazer mesafe algılayıcılar kullanılmaktadır ve lazer tarayıcı sensörünün her bir ışını bir mesafe ölçer olarak düşünüldüğünde bu varsayım geçersiz olmaktadır. Ayrıca geleneksel KU-MCK'nın enerji tanımı sadece iki boyutlu (2B) düzlemde ölçüm alan sensörler için geçerlidir. Ancak otonom araç teknolojisinin ilerlemesiyle birlikte üç boyutlu (3B) ölçüm alan sensörler yaygınlaşmaya başlamıştır. Akıllı fabrikalarda 3B sensörlerin de kullanılması beklenmektedir. Tüm bu nedenlerle bu tez kapsamında KU-MCK yaklaşımının akıllı OYA'larda da kullanılabilir olması için enerji tanımına ufak ama etkili bir güncelleme önerilmiştir. Elips tabanlı enerji modeli olarak ifade edilen bu güncellenmiş enerji tanımı ile OYA üzerindeki lazer tarayıcılar araç merkezine göre simetrik şekilde yerleştirilmemiş olsa dahi enerji haritasını çıkarmak ve global konumlamada kullanmak mümkün hale gelmiştir. KU-MCK yaklaşımı doluluk ızgara haritaları üzerinden çalışmaktadır ve literatürdeki çalışmalar konum takip doğruluğunun haritanın ızgara boyutu ile ilişkili olduğunu göstermektedir. Haritanın ızgara boyutlarını küçültmek konum tahmin doğruluğunu artıracak olsa da haritadaki piksel sayısını artırdığından işlem yükünü artıracaktır. Fabrika gibi büyük bir alanda işlem yükünü artırmamak ve daha makul boyutlarda haritalarla çalışmak için ızgara boyutlarını yanaşma aşamasında beklenen konumlama doğruluğu seviyelerine kadar indirmek mümkün değildir. Bu nedenle aynı yöntemin yanaşma aşamasında kullanılması mümkün olmaz. Literatürde yüksek doğrulukla konumlama bir başka deyişle hassas konumlama için tarama eşleştirme tabanlı yaklaşımlar kullanılmaktadır. Literatürde tarama eşleştirme algoritmaları ile konum tahmini yaparken arka arkaya alınan iki ölçüm eşleştirilmekte ve aralarındaki farktan hareketle göreceli olarak konum ve yönelim tahmini yapılmaktadır. Ancak bu şekilde mutlak olarak OYA'nın ortamda nerede olduğunun bulunması mümkün değildir. Tez çalışması kapsamında önerilen yapıda ise yeri bilinen herhangi bir yanaşma noktasından daha önce alınmış bir ölçüm seti ile şu andaki ölçümler kıyaslanarak mutlak konum tahmin edilebilmektedir. Arka arkaya alınan iki lazer ölçümünü kıyaslarken sorun teşkil etmese de hedef konum ile OYA'nın şu anki konumu arasındaki uzaklık arttıkça nokta kümeleri arasındaki rijit ilişki az da olsa bozulmaktadır. Bu nedenle bu tez kapsamında ilk defa afin ardışık en yakın nokta (AEN) yaklaşımı konumlama problemine adapte edilmiş ve yanaşma aşamasında hassas konum tahmin algoritması olarak kullanılmıştır. Afin AEN yaklaşımına ek olarak korelasyon entropisi tabanlı bir metriğin de sisteme entegre edilmesi ile bozucu, gürültü gibi gerçek dünyanın kaçınılmaz problemlerine karşı daha dayanıklı bir konumlama yaklaşımı elde edilmiştir. Afin AEN yaklaşımının konum tahmininde kullanılmasının bir diğer avantajı ise konum tahmininde meydana gelebilecek hatalarında kestirilebilmesidir. Her ne kadar rijitlik bozulsa da rijite yakın bir dönüşüm hesaplanması bulunan konum verisine güvenilebileceğini gösterirken hesaplanan dönüşümün rijit düzlemden uzak olması hesaplanan konuma güvenilemeyeceğini işaret eder. Böylece hataya karşı da dayanıklı bir konumlama sistemi kurgulamak mümkün hale gelmiştir. Sonuç olarak taşıma aşamasında global konumlama, pozisyon takibi ve kaçırılmış robot problemlerinin çözümü için elips tabanlı enerji modeli ile güncellenmiş KU-MCK yöntemi, yanaşma aşamasında ise pozisyon takibi için afin AEN tarama eşleştirme yöntemi tabanlı hassas konumlama yaklaşımı önerilmiştir. Öte yandan taşıma aşaması ile yanaşma aşamasının sınırları keskin bir şekilde belli olmayabilir. Örneğin yanaşma bölgesini hedefe çok yakın bir bölge ile sınırlandırmak akıllı OYA'ların muhtemel fiziksel kısıtları nedeniyle taşıma aşamasındaki konumlama hatalarının tolere edilebilmesi için ekstra manevralar yapılmasını gerektirebilir. Çok geniş bir alanın yanaşma bölgesi şeklinde tanımlanması durumunda ise hassas konumlama yaklaşımının performansının hedeften uzağa gittikçe düşebilmesi nedeniyle bekleneni karşılamayabilir. Bu nedenle uygulamaya özel olarak adapte olabilen taşıma aşamasından yanaşma aşamasına geçildiğine karar verecek bir anahtarlama mekanizmasına ihtiyaç vardır. KU-MCK tabanlı konumlama yaklaşımının tüm harita üzerinde konum tahmin performansı kabaca benzerdir. Bu durumda yanaşma aşamasına geçişte karar verici unsur yanaşma aşamasında kullanılan hassas konumlama yönteminin performansıdır. Literatürde tarama eşleştirme tabanlı yöntemlerin başarılı sonuçlar vermesi için eşleştirilen nokta kümelerinin (her bir lazer ölçümünün bir noktaya karşılık geldiği düşünülecek olursa) örtüşme miktarının %50'nin üzerinde olması gerektiği vurgulanmaktadır. Literatürdeki örtüşme oranı tahmin yaklaşımları nokta kümeleri arasındaki dönüşüm yüksek doğrulukla biliniyorsa düzgün çalışmaktadır. Yapılan deneysel çalışmalar KU-MCK'nın konum tahmin hata seviyelerinde örtüşme oranı tahmini için literatürdeki yöntemlerin yeterli olmadığını göstermiştir. Bu nedenle tez kapsamında korelasyon entropisi tanımından hareketle lazer ölçüm setleri iki rastgele değişken olarak düşünülmüş ve bu değişkenler arasındaki benzerlik oranı hesaplanmıştır. Benzerlik oranının belli bir eşik değerin üzerine çıkması durumunda yanaşma aşamasına gelindiğine karar veren bir olasılıksal anahtarlama karar mekanizması kurulmuştur. Olası kararsızlıkların önüne geçmek için de taşıma aşamasından yanaşma aşamasına ve yanaşma aşamasından tekrar taşıma aşamasına geçerken Histerezis eğrisinden hareketle bir aralık bırakılmıştır. Tez kapsamında akıllı fabrikalarda kullanılması planlanan yeni nesil OYA'lar için geliştirilen bu iki aşamalı konumlama yöntemi diferansiyel tahrikli bir mobil robot üzerinde deneysel olarak test edilmiştir. Öncelikle KU-MCK yöntemine yapılan elips tabanlı enerji modeli eklentisi saha testleri ile doğrulanmış ve enerji haritası çıkarmadaki üstünlüğü gösterilmiştir. Ardından yanaşma aşamasında kullanılacak afin AEN tabanlı konumlama yöntemi saha testleri ile dokuz ayrı senaryo üzerinden test edilmiş ve santimetre altı hassasiyetle konumlama yapmanın ve hedefe ulaşmanın mümkün olduğu gösterilmiştir. Ayrıca literatürde mevcut olmayan bir afin AEN yöntemi de önerilmiş ve nokta kümesi eşleştirme performansı sentetik nokta kümeleri üzerinden gösterilmiştir. Nokta kümesi eşleştirmedeki performansının anlaşılmasının ardından hassas konumlama amacıyla da kullanılmıştır. Son olarak tüm sistem birlikte denenerek öncelikle KU-MCK ile taşıma yapılmış ve daha sonra karar mekanizmasının belirlediği anda yanaşma aşamasına geçilmiştir. Üç ayrı senaryo üzerinden görüldüğü üzere önerilen yöntemin kullanılmasıyla fabrikalarda taşıma ve yanaşma aşamalarındaki konumlama görevlerinin yerine getirilmesi mümkündür.
With the fourth industrial revolution, in other words, Industry 4.0 (I4.0), the transition from traditional mass-production to personalized production started in factories. One of the components of the next-generation factories compatible with I4.0 is cyber-physical systems (CPSs). Smart manufacturing islands, smart warehouses, and smart material handling vehicles are examples of CPSs. The material handling vehicles employed in today's factories, such as automated guided vehicles (AGVs), are not ready for use in smart factories, as the digital transformation has not been completed and the vehicles are not equipped with software to perform fully autonomous operations. In smart factories, it is aimed that the new generation AGVs will do all the planning themselves while performing a given task. Thus smart AGVs will be able to use the whole free space in the factory instead of being restricted to the routes reserved for them. With this development, it will be possible to increase flexibility and efficiency in production. There may be no physical difference between the traditional and smart AGVs, but thanks to the capabilities of the embedded software, smart AGVs will be able to operate autonomously. One challenging problem to be overcome for smart AGVs to effectively realize an assigned logistic task is localization. Although localization is an extensively studied topic for both indoor and outdoor environments, there are still open problems. Considering the logistics problem, the localization problem can be divided into three in the general sense. The first is global localization, which means determining where the smart AGV is in the environment at the time the vehicle wakes up. The second problem is position tracking, which means updating the pose information depending on the movements of the robot, while the instantaneous pose of the robot is known. The third and last problem is the kidnapped robot problem, which occurs when the robot is moved from one place to another without informing. Cases that reduce the reliability of the calculated pose, such as instantaneous skidding, slipping, and crashing an object, can also be addressed under this problem. The localization approach to be utilized in smart factories is supposed to overcome these three sub-problems. There are two main tasks in a logistic operation. The first is the docking stage, which covers the cases of taking a load to the smart AGV or dropping the load of the smart AGV. At this stage, the aim is to reach the target (destination) where the load will be taken or left with industrial standards. With I4.0, reaching the target with sub-centimeter precision has become a goal. Therefore, estimating the pose with high accuracy and precision is expected from the docking localization algorithm. The second is the delivery stage, which covers carrying the load to the destination in the fastest and safest way in the parts outside the docking region. It is not essential to follow the planned route exactly in this stage, so rather than the high accuracy of the localization approach, showing similar positioning performance in the entire operating field is more important. Within the scope of this thesis, different localization algorithms have been proposed for the delivery and docking stages. In addition, a probabilistic decision mechanism that determines the boundary between the delivery and docking stages is designed. A variant of the particle filter-based Monte Carlo Localization (MCL) approach, Self-Adaptive MCL (SA-MCL), is taken as the basis localization method for the delivery stage. The main reason for choosing SA-MCL is that it can solve all aforementioned sub-problems of localization. While performing the traditional SA-MCL global localization task, it uses energy maps and assumes that all range sensors are uniformly placed on the robot in energy map generation. However, this assumption is not valid for many real applications, such as AGVs with two-dimensional (2D) laser scanners front and rear. Moreover, three-dimensional (3D) sensing technology is developing day by day with the widespread use of autonomous vehicle technology. With the ellipse-based energy model proposed in this thesis, the energy map-generating part of the traditional SA-MCL has been updated to overcome both of these constraints. The pose estimation accuracy of the SA-MCL approach performs more or less the same across the entire environment, making it suitable for the delivery stage. However, since the pose estimation accuracy level is proportional to the grid dimensions of the occupancy map, it may not be possible to reach the expected sub-centimeter precision within the docking region in large areas such as factories. Therefore, it was decided to use a scan matching-based precise localization algorithm in the docking region, and for this purpose, the affine iterative closest point (ICP) algorithm was adapted to the localization problem. To make the developed method robust against factors such as noises, disturbances, and/or outliers, the correntropy criterion was utilized while constructing the cost function of affine ICP. As a result, an updated SA-MCL method with an ellipse-based energy model is proposed for the solution of global localization, position tracking, and kidnapped robot problems in the delivery stage. On the other hand, an affine ICP-based precise localization approach is presented for position tracking in the docking stage. However, the boundary between the delivery stage and the docking stage may not be clear. For example, limiting the docking stage to a zone very close to the target may require extra maneuvers to tolerate positioning errors during the delivery stage due to the physical constraints of smart AGVs. If a larger area is specified as a docking stage, it may not meet the expectations since the performance of the precise localization approach may decrease further away from the target. For this reason, there is a need for a switching mechanism that can be adapted specifically to the application and decides whether to switch from the delivery stage to the docking stage. Since the pose estimation performance of the SA-MCL-based localization approach is roughly similar on the entire map, the deciding factor in the transition to the docking stage is the performance of the precise localization method used in the docking stage. In the literature, it is emphasized that the amount of overlap between matched point sets is supposed to be above 50% for the scan-matching-based methods to yield successful results. Within the scope of the thesis, a correntropy-based similarity rate definition, which gives better results than the overlap ratio calculation methods in the literature, is presented and utilized as the decision parameter of the switching approach. To avoid instabilities, a gap is left according to Hysteresis curve behavior while switching from the delivery stage to the docking stage or vice versa. Within the scope of the thesis, the two-stage localization method developed for the next-generation AGVs to be used in smart factories has been experimentally tested on a differential drive mobile robot. First, the ellipse-based energy model addition to the SA-MCL method has been verified by field tests, and its superiority in global localization has been demonstrated. Then, the affine ICP-based localization method used in the docking stage has been tested over nine separate real-world scenarios and it has been shown that it is possible to compute pose with sub-centimeter precision and reach the target at industrial standards. In addition, an affine ICP method, which is not available in the literature, was proposed, and the point set matching performance was demonstrated over synthetic point sets. After validating its performance in point set registration, it was also used for precise localization. Finally, the whole system was tested together. The delivery was carried out with improved SA-MCL, and the switching point from delivery to docking stage was determined by the decision mechanism. As seen through three different scenarios, it is possible to complete the localization tasks in the delivery and docking stages in the smart factories by using the proposed methods.