Tez No	İndirme	Tez Künye	Durumu
758295		Automated video game testing using reinforcement learning agents / Pekiştirmeli öğrenme yöntemleri kullanarak oyunların otomatik test edilmesi Yazar:SİNAN ARIYÜREK Danışman: DOÇ. DR. ELİF SÜRER ; DOÇ. DR. AYSU BETİN CAN Yer Bilgisi: Orta Doğu Teknik Üniversitesi / Enformatik Enstitüsü / Bilişim Sistemleri Ana Bilim Dalı Konu:Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control Dizin:	Onaylandı Doktora İngilizce 2022 109 s.
Bu tez çalışmasında bilgisayar oyunu test yöntemlerini otomatize etmek ve geliştirmek için birçok metodoloji tanıtılmaktadır. Bu yöntemler, Pekiştirmeli Öğrenme (RL) ajanlarına dayanmaktadır. Öncelikle, video oyunu testini otomatize etmek için sentetik ve insan-benzeri test ajanları önerilmiştir. Sentetik ajan, oyun senaryolarından oluşturulan test hedeflerini kullanmaktadır. İnsan-benzeri ajan ise test edenin izlediği yollardan çıkarılan test hedeflerini kullanmaktadır. Bu test ajanları, Sarsa ve Monte Carlo Ağaç Araması (MCTS) kullanılarak türetilmekledir. Geleneksel oyun oynama ajanları oyun skorlarını maksimize etmeye odaklanmışken, test ajanlarının odağı hataları bulmaya yöneliktir. İkinci olarak, MCTS'nin hata bulma yetisini geliştirmek için çeşitli MCTS modifikasyonları önerilmiştir. Üçüncü olarak, oyun testini iyileştirmek için gelişen karakter tasarımı sunulmuştur. Gelişen karakter, bir ajanın kişiliğini geliştirmeye olanak sağlar ve böylece daha doğru oyun testleri elde edilir. RL algoritmalarının amacı toplam ödülü maksimize edecek yolları bulmaktır. Bununla birlikte aynı hedefe ulaşan alternatif yolları keşfetmek de oyun testi için önemlidir. Bu nedenle, RL ajanlarının bu alternatif yolları da keşfedebilmesi için, Alternatif Yol Bulucu (APF) tanıtılmıştır. Önerdiğimiz metodolojileri Genel Video Oyun Yapay Zeka (GVG-AI) ve VizDoom ortamlarını kullanarak test etmekteyiz. Deneyler, insan-benzeri ve sentetik ajanların, gerçek insanların yaptıkları testlerdeki hata bulma performanslarıyla rekabet ettiğini ortaya koymaktadır. Ayrıca deneyler, hata bulma performansının MCTS modifikasyonları sayesinde iyileştirildiğini göstermektedir. Dahası, deneyler gelişen karakterin oyuna ve farklı oyuncuların oyunu nasıl oynayacağına dair daha iyi bir fikir sağladığını göstermektedir. Son olarak, APF tarafından bulunan alternatif yollar sunulmuş ve geleneksel RL ajanlarının neden bu yolları bulamadığı açıklanmıştır.
In this thesis, several methodologies are introduced to automate and improve video game playtesting. These methods are based on Reinforcement Learning (RL) agents. First, synthetic and human-like tester agents are proposed to automate video game testing. The synthetic agent uses test goals generated from game scenarios, and the human-like agent uses test goals extracted from tester trajectories. Tester agents are derived from Sarsa and Monte Carlo Tree Search (MCTS) but focus on finding defects, while traditional game-playing agents focus on maximizing game scores. Second, various MCTS modifications are proposed to enhance the bug-finding capabilities of MCTS. Third, to improve playtesting developing persona is introduced, enabling development in an agent's personality and more robust playtesting. RL algorithms aim to find paths that maximize the total accumulated reward. However, discovering various alternative paths that achieve the same objective is equally essential for playtesting. Consequently, Alternative Path Finder (APF) is introduced to let RL agents discover these alternative paths. We experiment with our proposed methodologies using the General Video Game Artificial Intelligence (GVG-AI) and VizDoom frameworks. The experiments reveal that human-like and synthetic agents compete with human testers' bug-finding performances. Furthermore, the experiments indicate that MCTS modifications improve bug-finding performance. Moreover, the experiments show that developing personas provide better insight into the game and how different players would play. Lastly, the alternative paths found by APF are presented and reasoned why traditional RL agents cannot discover those paths.