Tez No	İndirme	Tez Künye	Durumu
730441		Takviye öğrenme kullanarak merkezi olmayan toplu robot navigasyonu / Decentralized swarm navigation using reinforcement learning Yazar:TEKİN Danışman: DOÇ. DR. MEHMET SERDAR GÜZEL Yer Bilgisi: ANKARA ÜNİVERSİTESİ / FEN BİLİMLERİ ENSTİTÜSÜ / BİLGİSAYAR MÜHENDİSLİĞİ ANABİLİM DALI Konu:Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control Anahtar Kelime:Makine öğrenmesi = Machine learning ; Takviyeli öğrenme = Reinforced learning ; Uzay problemi = Space problem ; Çok ajanlı sistemler = Multiagent systems	Onaylandı Doktora Türkçe 2022 89 s.
Bu tez çalışmasında, kısmen dağınık ortamlarda merkezi olmayan çok ajanlı sistemlerde gezinme sorunu ele alınmaktadır. İlgili problemi çözmek için özgün bir makine öğrenimi tabanlı yaklaşım bu çalışma kapsamında önerilmektedir. Bu yaklaşım temelinde, yeni Q-Öğrenme tabanlı sağlam ve esnek bir model önerilmiştir. Bu yöntem sürekli uzay problemini ele almaktadır. Takviyeli Öğrenme algoritmalarında olduğu gibi, Q-Öğrenme bir çevre modeli gerektirmez. Ayrıca, Q-Öğrenme, basit tasarım ve hızlı olma avantajlarına sahiptir. Bununla birlikte, Q-Öğrenmenin bir dezavantajı, çok büyük miktarda belleğe ihtiyaç duyması ve durum alanına eklenen her yeni özellik ile bu bellek ihtiyacının katlanarak büyümesidir. Bu araştırmada, kısmen dağınık ortamlarda sürekli bir alan sorununu çözmek için ajan düzeyinde merkezi olmayan çarpışmadan kaçınma için düşük maliyetli bir model tanıtıyoruz, ardından boyutunu önemli ölçüde (%70) azaltmak için örtüşmeyen Q-Öğrenme özelliklerini birleştirmek için bir yöntem tanıtıyoruz. Ek olarak, bu çalışmada denetleyici tarafından kullanılan duyusal verileri en aza indirmek için başka bir yöntem önerilmiştir. Bu yöntemlerin bir birleşimi, en az 18 adet robotla, düşük bellek maliyetiyle sürü gezinimin üstesinden gelebilir. Bu yöntemler aynı zamanda derin q-öğrenme mimarilerine uyarlanabilir ve performanslarını artırmak ve aynı zamanda öğrenme süresini azaltmak için kullanılabilir. Deneyler, önerilen yöntemin karmaşık senaryolarda çok ajanlı sistemler için de yüksek derecede doğruluk sağladığını ortaya koymaktadır.
This thesis addresses the problem of navigating decentralized multi-agent systems in partially cluttered environments and proposes a new machine-learning-based approach to solve it. On the basis of this approach, a new robust and flexible Q-learning-based model is proposed to handle a continuous space problem. As in reinforcement learning (RL) algorithms, Q-learning does not require a model of the environment. Additionally, Q-Learning (QL) has the advantages of being fast and easy to design. However, one disadvantage of QL is that it needs a massive amount of memory, and it grows exponentially with each extra feature introduced to the state space. In this research, we introduce an agent-level decentralized collision avoidance low-cost model for solving a continuous space problem in partially cluttered environments, followed by introducing a method to merge non-overlapping QL features in order to reduce its size significantly by about 70% and make it possible to solve more complicated scenarios with the same memory size. Additionally, another method is proposed for minimizing the sensory data that is used by the controller. A combination of these methods is able to handle swarm navigation low memory cost with at least18 number of robots. These methods can also be adapted for deep q-learning architectures so as to increase their approximation performance and also decrease their learning time process. Experiments reveal that the proposed method also achieves a high degree of accuracy for multi-agent systems in complex scenarios.