Tez No	İndirme	Tez Künye	Durumu
513545		Multilayer mean field differential games in multi-agent systems and an application in intelligent transportation / Çoklu-karar vericili sistemlerde çoklu düzlem ortalama alan diferensiyel oyunları ve akıllı ulaşımda bir uygulama Yazar:ALPER ÖNER Danışman: DOÇ. DR. GÜLAY ÖKE GÜNEL Yer Bilgisi: İstanbul Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Kontrol ve Otomasyon Mühendisliği Ana Bilim Dalı / Kontrol ve Otomasyon Mühendisliği Bilim Dalı Konu:Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control ; Ulaşım = Transportation Dizin:Akıllı ajanlar = Intelligent agents ; Akıllı denetim = Intelligent control ; Akıllı sistemler = Intelligent systems ; Akıllı taşıma sistemleri = Intelligent transportation system ; Ayrışık denetim = Decentralized control ; Oyun teorisi = Game theory ; Stokastik diferensiyel denklemler = Stochastic differential equations ; Stokastik dinamik programlama = Stochastic dynamic programming ; Stokastik kontrol = Stochastic control ; Çok amaçlı karar verme = Multiobjective decision making	Onaylandı Doktora İngilizce 2018 133 s.
Son yıllarda çoklu karar vericili sistemlerin kontrol uygulamaları hızla artmaktadır. Teknolojinin gelişmesi ile insanlık için bir çok uygulama alanı ortaya çıkmaktadır. Bil- gisayarlardaki hesaplama kapasitelerinin her geçen gün artması, geçmişte hesaplama zorluğu olan çalışma alanında daha fazla çözüm üretilmesine olanak sağlamaktadır. Dünyadaki ekolojik düzenin hızla bozulduğu günümüzde akıllı şehirlerin, insanlığa getirdiği optimum çözümler ile ekolojik bozulmanın azalmasını sağlamaktadır. Bir çok parametrenin aynı anda değerlendirilmesi gereken uygulamalarda çoklu karar verici sistemlere şiddetle ihtiyaç vardır. Akıllı enerji dağıtım sistemlerinde aynı anda bir çok şebekeye dağıtılması gereken enerjinin optimizasyonu amaçlanmaktadır. Enerji kaynaklarından yüzbinlerce kullanıcıya enerji kayıplarını minimuma indirecek şekilde bir dağıtım yapılması bir çoklu karar verici problemidir. Enerji problemini ele alırsak, günümüzde doğayı korumak için kullanılması hayati olan rüzgar ve güneş ̧ enerjisi gibi sistemler gerekmektedir. Bireysel kullanıcıların ürettikleri ihtiyaç fazlası enerjiyi şebekeye verirken aynı optimizasyonun gerçekleşmesi ve bu enerjinin değişken dinamik koşullar altında fiyatlanması da bir çoklu karar verici problemidir. Aynı şekilde son yıllarda çalışmaları hızla artan elektrikli araçların şarj istasyonlarına bağlanması durumunda ortaya çıkacan sistemin benzer şekilde bir çoklu kontrol problemi olarak çözülmesi gerekmektedir. Çoklu karar vericili sistemlerin akıllı şehirlerde sıklıkla kullanılması gereken bir başka alan da akıllı ulaştırma sistemleridir. Şehir içindeki yollarda; bir akıllı kavs ̧akta aynı anda sistemin göz önüne alması gereken yayalar, araçlar, kurallar ve ortam koşulları gibi bir çok parametre vardır. Daha büyük akıllı otobanlarda ise aynı anda bir çok aracın değerlendirilmesi gerektiği gibi zaman ve enerji ile ilgili bir çok parametre de göz önüne alınmalıdır. Karayollarının yanı sıra havalimanında uçakların zaman ve yakıt optimizasyonu yaparak koordine edilmesi bir çok araştırmacı tarafından son yıllarda fazlalıkla çalışılan bir çoklu karar verici sistem problemidir. Benzer problem deniz limanlarında da mevcuttur. Akıllı sehirlerde insanları optimum şekilde gidecekleri yere ulaştıracak problemlerin çözümü dünyada en çok çalışılan konulardan biridir. Evinden işine gitmeyi amaçlayan yüzbinlerce kişinin yaşadığı bir ortamda karar vericileri enerji, zaman, yoğunluk veya farklı önceliklere göre mantıklı bir dağıtım yapmak önümüzdeki yıllarda çözülmesi gereken en önemli sorunlardan biri olacaktır. Çoklu karar verici problemlerinin günlük hayatta doğrudan insanlığın karşısına çıktığı anlarda bu optimizasyonun yapılabilmesi için en önemli gereklilik veridir. Yüzbinlerce karar vericinin etkilendiği sistemlerde problemin hızla çözülmesi gerekirken kullanıcılardan verilerin uygun bir biçimde toplanması, daha sonra elde edilen sonucun aynı şekilde zamanında dağıtılması önümüzdeki yıllarda çözülmesi gereken en önemli çoklu karar vericili sistem problemidir. İnternet ağlarında büyük verinin toplanması, filtrelendirilmesi, sınıflandırılması ve anlamlandırılması temelde çözülmesi gereken en önemli çoklu karar verici problemlerinden biridir. Veri hızının fiziksel imkanlar ile her geçen yıl arttığı günümüzde matematiksel yöntemler ile bu fiziksel artış desteklenmeli, bu sayede optimum çözümler veri karmaşıklığına, anlamlandırılmasına ve hızına yeni çözümler üretilmelidir. Bu tezin öncelikli amaçlarından biri de bu veri karmaşıklığını azaltacak bir optimum çoklu kontrol yöntemi önermektir. Önerilen çoklu kontrol yöntemi Ortalama Alan Oyun temelli bir oyun teorisidir. Oyun Teorisi akıllı karar vericilerin en uygun kararı vermesini sağlayan matematiksel modelleri oluşturan bir optimizasyon yöntemidir. Oyun Teorisi; ekonomi, politik bilimler, psikoloji, bilgisayar bilimleri ve biyoloji alanlarında sıklıkla kullanılmaktadır. Temel olarak bir oyuncunun kazandığı kadar diğer oyuncunun kaybettiği sıfır-toplam oyunundan geliştirilmiştir. Modern oyun teorisi John von Neumann'ın iki oyunculu sıfır-toplam karışık stratejili oyunun çözümünün var oluşunu ispatından sonra gelişmiştir. Von Neumann'ın sürekli kompakt konveks kümelerde Brouwer sabit-nokta (fixed-point) teorisini kullanarak geliştirdiği ispatı oyun teorisi ve ekonomi matematiği alanında standart bir yöntem olmuştur. Oyun teorisinde, oyunlar eğer oyuncular arasında maliyeti düşürmek için bir yardımlaşma varsa iş birlikçi oyun; oyuncular arasında yardımlaşma yoksa ve hepsi kendi maliyetlerini göz önünde bulunduruyorsa rekabetçi oyun türü olarak adlandırılırlar. Nash Dengesi ise iki ya da daha çok oyuncunun bulunduğu rekabetçi oyunlarda her oyuncunun diğer rakiplerinin stratejilerini göz önünde bulundurarak kendi stratejilerini hesapladığı durumda, strateji değiştirmenin hiç bir oyuncuya daha fazla kazanç kazandırmadığı denge durumudur. Yani eğer her bir oyuncu bir strateji belirlediği durumda hiç bir oyuncu stratejisini değiştirerek herhangi bir kazanç saylayamadığı için diğer oyuncuların kararları sabit kalıyor ise Nash Dengesi sağlanmış demektir. Nash dengesi oyun teorisi içerisindeki en temel kavramlardan biridir. Nash dengesinin gerçekliği uygulamalı ekonomi yöntemleri test edilerek görülebilir. Çoklu kontrol problemleri temel olarak iki şekilde ele alınır. Tek bir merkezde kontrol algoritmasının geliştirildiği, merkezi kontrol yöntemi bunlardan ilkidir. Merkezi kontrolde çok sayıda karar verici olması durumunda her bir karar vericinin verilerinin toplanması ciddi bir zaman problemine yok açmaktadır. Ayrıca çok sayıda toplanan verinin bir kontrol stretejisine dönüştürülmesi hesap karmaşıklığı büyük olan bir problemin çözümünü gerektirmektedir. Bu problemi çözmek için son yıllarda dağıtılmış kontrol yöntemi geliştirilmiştir. Dağıtılmış kontrol yönteminde bütün verilerin tek bir merkezde toplanmasına gerek yoktur. Her bu karar verici kendi verilerini göz önüne alarak merkezden ayrı kontrol stratejisini geliştirir. Çoklu kontrol yöntemi olarak Nash denklemi kullanılmak istendiğinde çoklu karar vericilerin Nash Dengesine ulaşması için birbirlerinin en doğru stratejilerini bilmeleri gerekmektedir. Bu sebeple çoklu karar vericili bir sistemde karar verici sayısı arttıkça Nash Dengesine ulaşmak hesaplanamayacak kadar karmaşık bir boyuta ulaşmaktadır. Nash dengesinin çoklu karar vericilerde hesaplanmasının zorluklarından dolayı mantıklı bir yaklaşık Nash Oyunu geliştirme ihtiyacı ortaya çıkmıştır. Bu yaklaşık Nash Oyununa; Ortalama Alan Oyun yöntemi geliştirilerek bir çözüm getirilmiştir.  Ortalama Alan Oyun Yönteminde her bir karar verici ortalama kütle değeri tarafından etkilenmektedir. Bu etkiyi Ortalama Değer Terimi temsil etmektedir. Karar vericiler Nash Oyununu bu ortalama alan terimini kullanarak oynarlar. Diğer bir deyişle her karar verici ortalama alan değeri sayesinde birbirine zayıf olarak bağlıdır. Karar verici sayısı sonsuza gittiği zaman karar vericilerin durumları deneysel olarak belirli bir limite yakınsar. Bu sebeple yeterli sayıda fazla karar verici olduğu durumlarda optimal kontrol probleminde kullanılan ortalama alan değeri dışarıdan girilen bir değer olarak değerlendirilir. Bu şekilde bir yaklaşımla çoklu karar vericili dağıtılmış karmaşıklığı yüksek Nash Oyunu, tek karar vericili bir optimal kontrol problemine dönüştürülebilir. Bu optimal kontrol problemi ortalama alan değeri ile tutarlıdır ve problemin çözümü yaklaşık olarak Nash Oyunun çözümüne eşittir. Optimal kontrol probleminin sonucu, yaklaşık olarak Nash oyunu sonucuna yakın olmasına rağmen ortalama alan oyunun çözümü matematiksel olarak farklı denklemlerin çözülmesini gerektirir. Tek karar vericili optimal kontrol probleminden farklı olarak ilerleyen zamanda Fokker-Planck kısmı diferensiyal denkleminin çözümü ve geri zamanda ise Hamilton-Jacobi-Bellman kısmı diferensiyal denkleminin çözümü gerekmektedir. Bu tip denklemlere ilişkili ileri-geri kısmı diferansiyel denklemler denmektedir. Literatürde çalışılan Ortalama Alan Oyunları sıklıkla rekabetçi Nash türünden oyunlardır. Bu çalışmalarda çoklu hiyerarşik katmanlar kullanılmamıştır. Bizim bu tezde yaptığımız yeniliklerden biri de çoklu hiyerarşik bir yapıda Stackelberg Ortalama Alan Oyunu geliştirmektir. Stackelberg Oyununun ismi Heinrich Freiherr von Stackelberg'den gelmektedir. Oyun teorisinde, Stackelberg Oyunu hem lider hem de takip edici içeren bir oyundur. Lider bazı durumlarda pazar lideri olarak da nitelendirilebilir. Stackelberg oyununda lider takipçilere kendi stratejisini ilan eder ve takipçiler kendi kazançlarını liderin stratejisine göre optimize ederler. Lider de kendi stratejisini belirlerken takipçilerin kendi stratejisini göz önüne alacağını da hesaba katarak oyunu oynar ve karını maksimize eder. Lider takipçileri hakkında her veriyi bilirken, takipçilerin böyle bir bilgisi yoktur. Bu tezde biz öncelikle açık çevrim lineer-ikinci dereceden (quadratic) çoklu hiyerarşik katmanlı ortalama alan Stackelberg oyunu geliştirip, daha sonra yeni teorik modeli, C++ ile geliştirdiğimiz simülasyon programında Akıllı Ulaşım Sistemlerine uyguladık. Geliştirdiğimiz model üç katmandan oluşmaktadır. En üst katman sistemin genel lideridir. Bu akıllı ulaşım sisteminde kontrol merkezi olarak nitelendirilebilir. Genel lider alt katmanlar ile Stackelberg Oyunu oynayarak kendi stratejisini sisteme empoze eder. Ara katman alt lider ya da akıllı ulaşım sistemi için yol bölümleri olarak düşünülebilir. En alt katmandaki takipçiler, akıllı ulaşım uygulamasında araçlar, ara katman ile Stakelberg Ortalama Alan Oyunu oynar. Bu şekilde genel lider en alt katmandaki takipçileri doğrudan kontrol edemez, ara katman sayesinde dolaylı olarak kontrol edebilir. Her takipçi ve ara lider sistemin genel ortalama alan değeri ile birbirleriyle ilişkili iken her ara liderin kontrol ettiği gruplar da kendi ortalama alan değerleri ile takipçilerini ilişkilendirir. Bu yeni lineer-ikinci dereceden çoklu hiyerarşik katmanlı ortalama alan Stackelberg oyunu algoritması sayesinde genel lider sistemi ara liderlerden farklı maliyet koşullarında optimize edebilmektedir. Ara liderlerin farklı çevre koşullarından etkilendiği problemlerde ortalama alan oyununu katmanlara bölüp ara liderler kullanmak zor çevre koşullarına adaptasyonu sağlamaktadır. Bu yöntemin akıllı ulaşım sistemlerinde kullanılması ile gelecekte insanlık için çok önemli olan akıllı şehirlerde, trafik akışı optimize edilerek karbon salınımının azalması sağlayacaktır.
In this thesis, we describe the results we have obtained on linear-quadratic hierarchical Mean Field Stackelberg differential games with open-loop information structure. We name this new class of games as Mean Field (MF) Multilayer Stackelberg Games (MSG). The model that we have developed consists of three levels of decision making. There is a leader at the top, sub-leaders are at the intermediate level, and followers are at the lowest level. In this structure, Stackelberg Game is played between the leader, sub-leaders and followers in turn. Firstly the leader plays with the sub-leaders and then sub-leaders play with their followers. Consequently, the leader can control the followers not directly, but only through the sub-leaders. The followers are weakly coupled through a Mean Field term, affecting their individual costs. The main novelty in this thesis is to extend the Mean Field Game to multi layer framework. Theoretically, Mean Field Equilibrium arises in the infinite population limit. In our approach, instead of computing the exact Stackelberg equilibrium, the Mean Field equilibrium policies are obtained with the assumption of infinite population. When the population size is sufficiently large, the resulting policy can be regarded as an approximate Stackelberg equilibrium by the law of large numbers, therefore we apply this resulting policy to the original problem in the finite population case. The performance of the developed method is evaluated by a numerical example. In the second part of the thesis, we adapt and apply the developed methodolgy to Intelligent Transportation Systems (ITS) for future Smart Cities. So, another important novelty of the thesis is to apply The Mean Field Game Theory to Automated Highway System (AHS), in order to minimize both total consumed energy and travel time. In this model, there is a Control Center which acts as a leader, Road Links in the intermediate level act as sub-leaders and finally Vehicles are followers. The Control Center, Road Links and Vehicles which are in consecutive layers play Mean Field (MF) Multilayer Stackelberg Games (MSG). Although, the Control Center cannot manipulate the Vehicles directly, it imposes its strategy through the Road Links in the intermediary layer. The Vehicles of each Road Link are weakly coupled through a Mean Field term, which affects their individual cost functions. In order to implement this algorithm to ITS, we have developed our highly realistic simulation environment, Istanbul Technical University City Transportation Simulation (ITUCiTSim) program. The effectiveness of the proposed method is justified by simulations performed in ITUCiTSim.