Tez No	İndirme	Tez Künye	Durumu
664691		Development of intelligent systems using augmented reality and machine learning techniques / Artırılmış gerçeklik ve makine öğrenmesi teknikleri kullanılarak akıllı sistemlerin geliştirilmesi Yazar:RAMİZ YILMAZER Danışman: DOÇ. DR. DERYA BİRANT Yer Bilgisi: Dokuz Eylül Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı Konu:Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control Dizin:Artırılmış gerçeklik = Augmented reality ; Derin öğrenme = Deep learning ; Makine öğrenmesi = Machine learning	Onaylandı Doktora İngilizce 2021 88 s.
Tezin amacı, artırılmış gerçeklik ve makine öğrenmesi tekniklerini kullanarak akıllı sistemler geliştirmektir. Özellikle, perakende sektöründe rafta bulunabilirliği (OSA) yönetmeye ve kontrol etmeye odaklanılmıştır çünkü OSA'yı yüksek seviyede tutmak marketlerde karı artırmak için önemli bir faktördür. Son zamanlarda, OSA'yı izlemek için bilgisayarlı görü yaklaşımlarına artan bir ilgi vardır. Ancak, büyük ve iyi bilinen bilgisayarlı görü veri setleri, market ürünleri için etiketlenmiş resimler sunmamaktadır ve bu nedenle, ürünleri resimler üzerinde manuel olarak etiketlemek için büyük çaba gereklidir. Bu problemin üstesinden gelebilmek için tezde yeni bir yöntem önerilmektedir. Çalışmamız iki kavramı "yarı denetimli öğrenme" ve "rafta bulunabilirlik" (SOSA) ilk kez birleştirmektedir. Ayrıca, OSA'yı izlemek için "You Only Look Once" (YOLOv4) derin öğrenme mimarisi ilk kez kullanılmaktadır. İlave olarak, bu tez ile açıklanabilir yapay zeka (XAI) OSA üzerinde ilk kez uygulanmıştır. Bu kapsamda geliştirilen SOSA XAI adında yeni bir yazılım uygulaması yetenekleri ve avantajları ile birlikte sunulmaktadır. Ayrıca rafın son durumunu izlemek için SOSA AR adı verilen yeni bir artırılmış gerçeklik (AR) uygulaması geliştirilmiştir. Deneysel çalışmalarda, önerilen SOSA yönteminin etkinliği, %20 ile %80 arasında değişen oranlarda etiketlenmiş resimler içeren gerçek bir veri seti üzerinde doğrulanmıştır. Deneysel sonuçlar, önerilen yaklaşımın doğruluk açısından mevcut yaklaşımlardan (RetinaNet ve YOLOv3) daha iyi performansa sahip olduğunu göstermektedir.
The aim of the thesis is to develop intelligent systems using augmented reality and machine learning techniques. Particularly, we focused on managing and checking onshelf availability (OSA) in the retail sector since providing high OSA is a key factor to increase profits in grocery stores. Recently, there has been a growing interest in computer vision approaches to monitor OSA. However, the large and well-known computer vision datasets do not provide annotation for store products, and therefore a huge effort is needed to manually label products on images. To tackle the annotation problem, this thesis proposes a new method. Our study combines two concepts "semi-supervised learning" and "on-shelf availability" (SOSA) for the first time. Moreover, it is the first time that "You Only Look Once" (YOLOv4) deep learning architecture is used to monitor OSA. Furthermore, this thesis provides the first demonstration of explainable artificial intelligence (XAI) on OSA. It presents a new software application, called SOSA XAI, with its capabilities and advantages. In addition, a new augmented reality (AR) application was developed to monitor the latest status of the shelf, called SOSA AR. In the experimental studies, the effectiveness of the proposed SOSA method was verified on a real-world image dataset, with different ratios of labeled samples varying from 20% to 80%. The experimental results show that the proposed approach outperforms the existing approaches (RetinaNet and YOLOv3) in terms of accuracy.