Tez No	İndirme	Tez Künye	Durumu
637232		A new approach using deep learning methodologies from human activity recognition to Robot Grasping / İnsan aktivitesi tanımadan Robot Kavrama'ya derin öğrenme yöntemlerini kullanarak yeni bir yaklaşım Yazar:SENEM TANBERK Danışman: PROF. DR. MİTAT UYSAL ; DR. DİLEK BİLGİN TÜKELİ Yer Bilgisi: Doğuş Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı / Bilgisayar Mühendisliği Bilim Dalı Konu:Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control Dizin:	Onaylandı Doktora İngilizce 2020 80 s.
Bu çalışmanın araştırma amacı, videolardaki insan hareketlerini otomatik olarak analiz etmek için ileri bir derin öğrenme modeli geliştirmek ve derin öğrenme destekli temel bir robotik taklit sisteminin prototipini sunmaktır. Bu amaçla, insan aktivite tanıma için hibrit bir derin model, insan taklidi için robotik simülatör altyapısı ve entegrasyon için basit, akıllı, genişletilebilir ve pluggable bir video analitik çerçevesi öneriyoruz. İlk olarak, videolardaki insan aktivitelerini tanıyacak yeni bir hibrit derin model sunuyoruz. Yoğun optik akış ve yardimci bilgilerin kaynastirildigi, 3D-CNN ve LSTM kombinasyonu ile gerçeklenen 3-akışlı yeni bir hibrit derin model oluşturduk. Hibrit derin modeldeki 3D-CNN'ler çoklu çerçeve ve yoğun optik akışla beslenir, LSTM ise yardımcı bilgilerle beslenir. Sınıflandırıcı olarak SVM kullandık. Manyetik duvar satranç tahtası video veri seti (MCDS) ve standart satranç tahtası video veri seti (CDS) olmak üzere 2 farklı veri seti oluşturduk. Bu veri setleri, satranç oyuncusu tarafından yapılan anlamlı hareketleri içeren 5-6 saniyelik mikrovideolardan oluşurlar. İki yeni veri seti ile hibrit derin modeli denedik, deneysel sonuçlar, teknoloji harikası diğer çalışmalara kıyasla dikkate değer bir performans gösterdi. Geliştirdiğimiz hibrit derin model, hareket ile görüntü, ses ve text gibi farklı özellikteki bilgileri aynı derin modelde kaynaştırabilme yeteneği sayesinde kompleks hareket tanımada kullanılabilir. İkinci olarak, satranç oynayan delta robot için robotik bir simülasyon altyapısı geliştirdik. Coppelia Robotics tarafından geliştirilen V-REP sanal robot deney platformunu kullandık. Geliştirilen robot simülatörü hem bağımsız olarak hem de dış bir sistem tarafından kontrol edilerek çalışabilir. Son olarak, insan hareket taklit sistemi için basit bir video analitik çerçevesi tasarladık ve hibrit derin öğrenme modelimizi bu çerçevede kullandık. Çevrimdışı modda belirli bir senaryo ile uçtan uca sistemi test ettik. Bu şekilde, satranç oyuncusunun robot simulatörü ile taklit edilmesi problemi özelinde kullanılacak bir yapay zeka destekli insan taklit sistemi prototipi geliştirmiş olduk. Önerilen sistemdeki robot simülatörü, satranç oyuncusunu hareket ilkel yaklaşımı ile taklit edebilir. Sonuç olarak, yapay zeka destekli, akıllı, genişletilebilir ve pluggable bir insan taklit sistem prototipi elde ettik.
The research goal of this work is to develop an advanced deep learning model to analyse automatically human motion on videos and to present the prototype of a basic robotic imitation system that mimics the human movement supported by deep learning. For this purpose, we propose a hybrid deep model for human activity recognition, robotic simulator infrastructure for human imitation, and simple, intelligent, extensible and pluggable video analytic framework for integration. First, we present a new hybrid deep learning model for human activity recognition in videos. We proposed a new 3-stream hybrid deep model with data fusion of 3D-CNNs fed by dense optical flow and LSTM fed by auxiliary information. We used SVM as a classifier. We generated 2 different datasets, namely the magnetic wall chess board video dataset (MCDS), and standard chess board video dataset (CDS). They consist of microvideos with duration of 5-6 second that contain meaningful movements by the chess player. We experimented hybrid deep model with two new datasets, the experimental results show remarkable performance compared to the state-of-the-art studies. The proposed hybrid deep model can be used in complex motion recognition tasks, thanks to its ability to fuse information with different characteristics such as motion, image, sound and text. Second, we developed a robotic simulation infrastructure for chess-playing delta robot. We used V-REP virtual robot experiment platform by Coppelia Robotics. Generated robotic simulator can operate both standalone and by being controlled by an external system. Finally, we designed a simple video analytic framework for human motion imitation system and used our hybrid deep learning model in this framework. We tested end to end system with a specific scenario in offline mode. In this way, we have developed an artificial intelligence supported human imitation system prototype to be used in the specific problem of imitating chess player by robot simulator. The robot simulator in the proposed system can imitate the chess player with motion primitive approach. As a result, we achieved an AI-powered, intelligent, extensible, and pluggable human imitation system prototype.