Tez No	İndirme	Tez Künye	Durumu
778127		Artificial intelligence based and digital twin enabled aeronautical AD-HOC network management / Yapay zeka tabanlı ve dijital ikiz destekli geçici havasal ağ yönetimi Yazar:TUĞÇE BİLEN Danışman: PROF. DR. BERK CANBERK Yer Bilgisi: İstanbul Teknik Üniversitesi / Lisansüstü Eğitim Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı / Bilgisayar Mühendisliği Bilim Dalı Konu:Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control Dizin:	Onaylandı Doktora İngilizce 2022 200 s.
Günümüzde hava yolu kullanan yolcu sayısı giderek artmaktadır ve yolcu sayısının artmasıyla birlikte ihtiyaçlarında da önemli değişiklikler olmaktadır. Uçak içi bağlantı (IFC), gelişen havacılık teknolojisi ile birlikte yolcular için çok önemli bir gereklilik haline gelmiştir. Yolcular bulundukları konum ve zamandan bağımsız olarak internete kesintisiz olarak bağlanmak istemektedir. Bu nedenlerden ötürü havacılık ağları hem endüstrinin hem de akademinin ilgisini oldukça çekmektedir. Şu anda, uydu bağlantısı ve havadan karaya (A2G) ağlar, mevcut uçak içi bağlantı çözümleri arasında en ön sıralarda gelmektedir. Ancak uyduların kurulum/ekipman maliyetleri ile gecikme sürelerinin yüksek olması verimliliklerini düşürmektedir. Ayrıca, havadan karaya ağ istasyonlarının karasal alanlarda konuşlandırılması, özellikle okyanus üzerindeki uzak uçuşlar için kapsama alanını azaltmaktadır. Uydu ve havadan karaya ağların sorunlarını da çözerek uçak içi bağlantının büyük talebini karşılamak için sunulan oldukça yeni çözümlerden biri geçici havasal ağlardır (AANETs). Geçici havasal ağlar, uçak içi bağlantıyı etkinleştirmek için uçaklar arasında havadan havaya (A2A) bağlantılar oluşturmaya ve bu bağlantılar üzerinden paketleri iletmeye dayanmaktadır. Geçici havasal ağlar, kurulan bu havadan havaya bağlantılar sayesinde kapsama alanını genişleterek uçakların internet erişim oranlarını önemli ölçüde artırmaktadır. Ancak, havasal ağlar üzerindeki hareketlilik ve atmosferik etkiler uçakların sık sık yer değiştirmesine ve bağlantı kalitesinin düşmesine yol açarak uçaklar arasındaki bağlantı kopmalarını artırır. Yani, hareketlilik ve atmosferik etkiler, geçici havasal ağların kendine özgü özelliklerinin ortaya çıkmasına öncülük eder. Bu noktada daha spesifik olarak düşünürsek, yüksek yoğunluktaki uçakların oldukça dinamik bağlantı özellikleri, geçici havasal ağlar için üç boyutlu uzayda yapılandırılmamış ve kararsız bir topoloji yaratır. Dolayısıyla geçici havasal ağların kendilerine özgü özelliklerinin üstesinden gelebilmek için önce daha kararlı, organize ve yapılandırılmış bir ağ topolojisi oluşturmamız gerekmektedir. Ardından, uçaklar arasında sıklıkla kopan havadan havaya bağlantıları düşünerek, oluşturulan bu geçici havasal ağ topolojisinin sürekli olarak sürdürülebilirliğini ve uçaklara atanmasını sağlamamız gerekmektedir. Son olarak, paketleri bu oluşturulmuş, sürdürülmüş ve uçaklara atanmış geçici havasal ağ topolojisi üzerinden yönlendirebiliriz. Bununla birlikte, yukarıda açıklanan geçici havasal ağlara özgü özellikler, bu ağların karmaşıklığını artırarak geleneksel topoloji ve yönlendirme yönetimi algoritmalarının uygulanabilirliğini kısıtlar. Daha açık bir ifadeyle, geçici havasal ağlara özgü özellikler, geçici havasal ağların daha yüksek aktarım gecikmesi ile paket teslim başarısını azaltarak yönetimini zorlaştırmaktadır. Bu noktada, akıllı yapılar ve mimariler sağlayarak yüksek yönetim karmaşıklığı ile başa çıkmak için yapay zeka (AI) tabanlı çözümler geçici havasal ağlara uyarlanabilmektedir. Yapay zeka tabanlı yönetim yaklaşımları karasal ağlarda yaygın olarak kullanılmasına rağmen, geçici havasal ağlar için yapay zeka tabanlı çözümleri destekleyen kapsamlı bir çalışma eksikliği vardır. Bu noktada, yapay zeka tabanlı geçici havasal ağlar, öğrenme işlemleri sayesinde kendine özgü özellikleri göz önünde bulundurarak topoloji oluşturma, sürdürülebilirlik ve yönlendirme yönetimi kararlarını otomatik bir şekilde alabilir. Yani, yapay zeka tabanlı metodolojiler, geleneksel yöntemlerin dezavantajlarının üstesinden gelerek akıllı yönetim mimarilerini destekledikleri için, bu takip edilmesi zor geçici havasal ağ ortamının yönetim karmaşıklığının ele alınmasında önemli bir role sahiptir. Öte yandan, bu metodolojiler geçici havasal ağların hesaplama karmaşıklığını artırabilir. Bu noktada, yapay zeka tabanlı metodolojilerin hesaplama karmaşıklığı sorunlarını ele almak için dijital ikiz (DT) teknolojisinin kullanılmasını öneriyoruz. Bunlara dayanarak, bu tezde, geçici havasal ağlar için yapay zeka tabanlı ve dijital ikiz destekli bir yönetim önermeyi amaçlıyoruz. Bu sistem temel olarak geçici havasal ağ Topoloji Oluşturma Yönetimi, Topoloji Sürdürülebilirlik Yönetimi, Topoloji Atama Yönetimi ve Yönlendirme Yönetimi olmak üzere dört ana modelden oluşmaktadır. Burada ilk amacımız kararlı, organize ve yapılandırılmış bir geçici havasal ağ topolojisi oluşturmaktır. Ardından oluşan bu topolojinin sürdürülebilirliğini sağlayacağız. Ayrıca oluşturulan ve sürdürülen geçici havasal ağ topolojisini sürekli olarak uçaklara atayacağız. Son olarak, uçak paketlerini bu oluşturulan, sürdürülen ve süreki olarak uçaklara atanan geçici havasal ağ topolojisi üzerinde yönlendireceğiz. Bu dört modeli farklı yapay zeka tabanlı metodolojilerle oluşturacağız ve son adımda hepsini dijital ikiz teknolojisi altında birleştireceğiz. Topoloji Oluşturma Yönetiminde, geçici havasal ağlar için denetimsiz öğrenmeye dayalı üç aşamalı bir topoloji oluşturma modeli önereceğiz. Denetimsiz öğrenme tabanlı bir algoritma önermemizin temel nedeni, topolojiyi oluşturmadan önce geçici havasal ağların bağımsız olarak konumlanmış ve yapılandırılmamış özelliklere sahip uçaklardan oluşmasıdır. Bu uçaklar, denetimsiz öğrenme için etiketlenmemiş eğitim verileri olarak kabul edilebilirler. Bu yönetim modeli, kümeler şeklinde daha kararlı, organize ve yapılandırılmış bir geçici havasal ağ topolojisi oluşturmak için uçağın uzaysal-zamansal konumlarını kullanır. Daha açık olarak, ilk aşama uçak kümeleme oluşumuna karşılık gelir ve burada mekansal olarak ilişkili kümeler oluşturarak geçici havasal ağ kararlılığının arttırılması hedeflenmektedir. İkinci aşama, paket aktarım gecikmesini azaltmak için havadan havaya bağlantı belirlemesinden oluşur. Son olarak, küme başı seçimi, geçici havasal ağların paket teslim oranını artırır. Topoloji Sürdürülebilirlik Yönetiminde, geçici havasal ağlar için denetimli öğrenmeye dayalı vektör niceleme öğrenme (LVQ) tabanlı bir topoloji sürdürülebilirlik modeli önereceğiz. Denetimli öğrenme tabanlı bir algoritma önermemizin temel nedeni, havadan havaya bağlantıların kopmasından önce zaten bir geçici havasal ağ topolojimizin olması ve bunu eğitim için denetimli öğrenmede kullanabilmemizdir. Buna göre geçici havasal ağ topolojisindeki kümeleri bir şablon olarak ele alabiliriz; daha sonra, sürekli olarak topoloji oluşturmak yerine, şablon sınıflandırması yoluyla havadan havaya bağlantı kopmalarına sahip bir uçağın en uygun kümesini bulabiliriz. Bu yönetim modeli uçtan uca azaltılmış gecikme ile paket teslim oranını artırmak için üç aşamada çalışmaktadır. Bu aşamalar, kazanan küme seçimi, küme içi bağlantı belirleme ve öznitelik güncelleme şeklindedir. Topoloji Atama Yönetiminde, geçici havasal ağlar için kapılı tekrarlayan hücreler (GRU) tabanlı bir topoloji atama modeli önereceğiz. Topoloji oluşumunda benzer özelliklere sahip uçakları aynı küme altında toplayarak kümeler şeklinde bir havasal ağ topolojisi oluşturuyoruz. Topoloji sürdürülebilirliğinde, oluşturulan kümelenmiş-geçici havasal ağ topolojisini denetimli öğrenme ile sürdürüyoruz. Ancak, bu oluşturulan ve sürdürülen havasal ağ topolojileri, mevcut bağlantılar hakkında bilgilendirme sağlanması amacıyla kümelenmiş uçaklara sürekli olarak atanmalıdır. Bu prosedür, sürdürülebilirlik yönetiminin bir parçası olarak düşünülebilir. Bu yönetim ile topolojik değişiklikler hakkında uçakları kapılı tekrarlayan hücereler ile her zaman biriminde sürekli olarak bilgilendiriyoruz. Bu yönetim modeli, unutma ve güncelleme kapıları olmak üzere iki ana bölümde çalışmaktadır. Yönlendirme Yönetiminde, geçici havasal ağlar için q-öğrenme (QLR) tabanlı bir yönlendirme yönetimi modeli öneriyoruz. Bu amaçla, geçici havasal ağ ortamını pekiştirici öğrenme ile eşleştiriyoruz. Burada, q-öğrenme tabanlı yönetim modeli, uçakların keşif ve kullanım yoluyla rotalarını bulmalarına izin vermeyi amaçlar. Yani, bu yönlendirme algoritması, geçici havasal ağların dinamik koşullarına uyum sağlayabilir. Bu yönetim modelinde, ilgili q-öğrenme bileşenleri için farklı metodolojiler önererek Bellman Denklemini geçici havasal ağ ortamına uyarlıyoruz. Buna göre, bu model temel olarak mevcut durum & maksimum durum-eylem belirleme ve dinamik ödül belirleme olmak üzere iki ana bölümden oluşmaktadır. Yani topoloji oluşturma, sürdürülebilirlik ve yönlendirme yönetimi modüllerini denetimsiz, denetimli ve pekiştirmeli öğrenme tabanlı algoritmalar aracılığıyla yürütüyoruz. Ek olarak, topoloji atama yönetiminde sinir ağlarından yararlanıyoruz. Yapay zeka tabanlı modellerle geçici havasal ağların topolojisini ve yönlendirmesini yönettikten sonra, dijital ikiz destekli havasal ağ yönetiminde bu modelleri dijital ikiz teknolojisi ile destekleyeceğiz. Dijital ikiz, yapay zeka tabanlı metodolojilerin hesaplama zorluklarını çözmek için gerçek zamanlı olarak kapalı döngü geri bildirim yoluyla fiziksel ağ bileşenlerini sanal olarak çoğaltabilir. Bu nedenle, geçici havasal ağ yönetimi için dijital ikiz teknolojisinin kullanımına giriş yapacağız ve dijital ikiz etkin bir AANET (DT-AANET) yönetim modeli önereceğiz. Bu model, fiziksel geçici havasal ağ ikizi ve operasyonel modülden oluşmaktadır. Ek olarak, operasyonel modül dijital geçici havasal ağ ikizi ve denetleyiciden oluşmaktadır. Burada dijital geçici havasal ağ ikizi, fiziksel ortamı sanal olarak temsil eder. Ayrıca operasyonel modül, önerilen yapay zeka tabanlı modelleri yürütür. Özetle, bu tezde, geçici havasal ağlar için yapay zeka tabanlı ve dijital ikiz destekli bir yönetim önermeyi amaçlıyoruz. Bu yönetim sisteminde öncelikle geçici havasal ağ topoloji oluşumu, topoloji sürdürülebilirliği, topoloji ataması ve yönlendirme sorunları için yapay zeka tabanlı metodolojiler önereceğiz. Ardından, bu yapay zeka tabanlı metodolojileri dijital ikiz teknolojisi ile destekleyeceğiz. Önerilen tüm bu yönetim modeli ile, uçtan uca azaltılmış gecikme süresiyle geçici havasal ağların paket teslim başarısını artıracağız.
The number of passengers using aircraft has been increasing gradually over the following years. With the increase in the number of passengers, significant changes in their needs have been made. In-flight connectivity (IFC) has become a crucial necessity for passengers with the evolving aeronautical technology. The passengers want to connect to the Internet without interruption regardless of their location and time. The aeronautical networks attract the attention of both industry and academia due to these reasons. Currently, satellite connectivity and air-to-ground (A2G) networks dominate existing IFC solutions. However, the high installation/equipment cost and latency of the satellites reduce their efficiency. Also, the terrestrial deployment of A2G stations reduces the coverage area, especially for remote flights over the ocean. One of the novel solutions is the Aeronautical Ad-hoc Networks (AANETs) to satisfy the IFC's huge demand by also solving the defects of satellite and A2G connectivities. The AANETs are based on creating air-to-air (A2A) links between airplanes and transmitting packets over these connections to enable IFC. The AANETs dramatically increase the Internet access rates of airplanes by widening the coverage area thanks to these established A2A links. However, the mobility and atmospheric effects on AANETs increase the A2A link breakages by leading to frequent aircraft replacement and reducing link quality. Accordingly, the mobility and atmospheric effects create the specific characteristics for AANETs. More specifically, the ultra-dynamic link characteristics of high-density airplanes create an unstructured and unstable topology in three-dimensional space for AANETs. To handle these specific characteristics, we first form a more stable, organized, and structured AANET topology. Then, we should continuously enable the sustainability and mapping of this created AANET topology by considering broken A2A links. Finally, we can route the packets over this formed, sustained, and mapped AANET topology. However, the above-explained AANET-specific characteristics restrict the applicability of conventional topology and routing management algorithms to AANET by increasing its complexity. More clearly, the AANET specific characteristics make its management challenging by reducing the packet delivery success of AANET with higher transfer delay. At that point, artificial intelligence (AI)-based solutions have been adapted to AANET to cope with the high management complexity by providing intelligent frameworks and architectures. Although AI-based management approaches are widely used in terrestrial networks, there is a lack of a comprehensive study that supports AI-based solutions for AANETs. Here, the AI-based AANET can take topology formation, sustainability, and routing management decisions in an automated fashion by considering its specific characteristics thanks to learning operations. Therefore, AI-based methodologies have an essential role in handling the management complexity of this hard-to-follow AANET environment as they support intelligent management architectures by also overcoming the drawbacks of conventional methodologies. On the other hand, these methodologies can increase the computational complexity of AANETs. At that point, we propose the utilization of the Digital Twin (DT) technology to handle computational complexity issues of AI-based methodologies. Based on these, in this thesis, we aim to propose an AI-based and DT-enabled management for AANETs. This system mainly consists of four main models as AANET Topology Formation Management, AANET Topology Sustainability Management, AANET Topology Mapping Management, and AANET Routing Management. Here, our first aim is to form a stable, organized, and structured AANET topology. Then, we will enable the sustainability of this formed topology. We also continuously map the formed and sustained AANET topology to airplanes. Finally, the packets of airplanes are routed on this formed, sustained, and mapped AANET topology. We will create these four models with different AI-based methodologies and combine all of them under the DT technology in the final step. In the Topology Formation Management, we will propose a three-phased topology formation model for AANETs based on unsupervised learning. The main reason for proposing an unsupervised learning-based algorithm is that we have independently located airplanes with unstructured characteristics in AANETs before forming the topology. They could be considered as the unlabeled training data for unsupervised learning. This management model utilizes the spatio-temporal locations of aircraft to create a more stable, organized, and structured AANET topology in the form of clusters. More clearly, the first phase corresponds to the aircraft clustering formation, and here, we aim to increase the AANET stability by creating spatially correlated clusters. The second phase consists of the A2A link determination for reducing the packet transfer delay. Finally, the cluster head selection increases the packet delivery ratio in AANET. In the Topology Sustainability Management, we will propose a learning vector quantization (LVQ) based topology sustainability model for AANETs based on supervised learning. The main reason for proposing a supervised learning-based algorithm is that we already have an AANET topology before the A2A link breakage, and we can use it in supervised learning for training. Accordingly, we can consider the clusters in AANET topology as a pattern; then, we can find the best matching cluster of an aircraft observing A2A link breakages through pattern classification instead of creating topology continuously. This management model works in three phases: winning cluster selection, intra-cluster link determination, and attribute update to increase the packet delivery ratio with reduced end-to-end latency. In the Topology Mapping Management, we will propose a gated recurrent unit (GRU) based topology mapping model for AANETs. In topology formation, we create AANET topology in the form of clusters by collecting airplanes having similar features under the same set. In topology sustainability, we sustain the formed clustered-AANET topology with supervised learning. However, these formed and sustained AANET topologies must be continuously mapped to the clustered airplanes to notify them about the current situation. This procedure could be considered a part of sustainability management. Here, we continuously notify the airplanes with GRU at each timestamp about topological changes. This management model works in two main parts ad forget and update gates. In Routing Management, we propose a q-learning (QLR) based routing management model for AANETs. For this aim, we map the AANET environment to reinforcement learning. Here, the QLR-based management model aims to let the airplanes find their routing path through exploration and exploitation. Accordingly, the routing algorithm can adapt to the dynamic conditions of AANETs. In this management model, we adapt the Bellman Equation to the AANET environment by proposing different methodologies for its related QLR components. Accordingly, this model mainly consists of two main parts current state & maximum state-action determination and dynamic reward determination. Therefore, we execute the topology formation, sustainability, and routing management modules through unsupervised, supervised, and reinforcement learning-based algorithms. Additionally, we take advantage of neural networks in topology mapping management. After managing the topology and routing of AANETs with AI-based models, in the DT-enabled AANET management, we will support them with the DT technology. The DT can virtually replicate the physical AANET components through closed-loop feedback in real-time to solve the computational challenges of AI-based methodologies. Therefore, we will introduce the utilization of DT technology for the AANET orchestration and propose a DT-enabled AANET (DT-AANET) management model. This model consists of the Physical AANET Twin and Controller, including the Digital AANET Twin with Operational Module. Here, the Digital AANET Twin virtually represents the physical environment. Also, the operational module executes the implemented AI-based models. Therefore, in this thesis, we aim to propose an AI-based and DT-enabled management for AANETs. In this management system, we will first aim to propose AI-based methodologies for AANET topology formation, topology sustainability, topology mapping, and routing issues. Then, we will support these AI-based methodologies with DT technology. This proposed complete management model increased the packet delivery success of AANETs with reduced end-to-end latency.