Tez No	İndirme	Tez Künye	Durumu
518980		Psikofizyolojik ölçüm tabanlı beyin bilgisayar arayüz sistemlerinde performans artırmaya yönelik bir çalışma / A study on performance increasing in psychophysiological measurement based brain-computer interface systems Yazar:ERDEM ERKAN Danışman: PROF. DR. MEHMET AKBABA Yer Bilgisi: Karabük Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı Konu:Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control Dizin:	Onaylandı Doktora Türkçe 2018 111 s.
Nörolojik koşullara veya nörodejeneratif hastalıklara maruz kalmış insanlar nöral yollarla kendi kaslarını kontrol edemezler. Beyin bilgisayar arayüzü (BBA) sistemleri bu insanlara kendi sinir yollarından başka alternatif bir yol sunar. Bu alternatif yol, herhangi bir vokal kas kullanmadan BBA sistemleri aracılığı ile beyin sinyallerinin doğrudan kullanılmasıdır. Bir BBA sistemi beyin sinyallerinin elde edilmesi, işaretin yorumlanması ve sistem çıktısı olarak üç ana başlık altında incelenebilir. Sistem çıktısı başka bir cihazın kontrolü veya bilgisayar ekranında oluşan kelime dizileri olarak karşımıza çıkabilir. Beyin sinyalleri, sinyalin toplanması sırasında, sinyal algılayıcının (elektrot) beyin dokusuna olan uzaklığına göre farklılıklar göstermektedir. Kafa derisi üzerinden elektrotlar aracılığıyla elde edilen Elektroensefalografi (EEG) en yaygın kullanılan sinyal tipidir. Elektrokortikografi (ECoG) bir başka şekilde, invasive olarak, beyin dokusu üzerine alıcıların yerleştirilmesi ile elde edilen beyin sinyali tipidir. Her ne kadar ECoG sinyalleri daha yüksek çözünürlüğe sahip olsa da EEG sinyalleri de BBA sistemleri için yeterli çözünürlüğe sahiptir. Yine beyinden elde edilen sinyaller, sinyale özgü birtakım farklılıklar göstermektedir. Bu farklılıklar örnek olarak hareket-harekete hazırlık öncesinde veya harici görsel-işitsel uyaranlar sonucu oluşabilir. Hareket ile ilgili beyin sinyalleri Motor Imaginary (MI) olarak adlandırılırken, görsel uyaranlarla oluşan beyin sinyalleri P300 (Pozitif 300) ve SSVEP (Steady State Visual Evoked Potential) olarak sınıflandırılabilirler. Tezde ECoG ve EEG tipi MI çalışmaları hazır ve özgün veri setleri ile, EEG tipi SSVEP çalışmalarda da tamamıyla özgün veri setleri kullanılarak gerçekleştirilmiştir. MI sinyalleri, hareket-harekete hazırlık öncesinde veya hareket hayali sırasında oluşan ve genelde beynin motor bölgesinden elde edilen sinyal tipidir. SSVEP sinyalleri, sabit frekansta bir kaynağa bakıldığında, beynin görme bölgesinden elde edilen benzer frekanstaki sinyallere karşılık gelir. Bu tez çalışmasında BBA sistemlerinde performans artırmaya ve iyileştirmeye yönelik yöntemlerin geliştirilmesi amaçlanmıştır. Sinyal işlemeye yönelik algoritmaların yanı sıra, basit ve kullanıcı dostu sistem tasarımlarının da performans üzerine etkisi mevcuttur. Bu yüzden çalışmada sinyal işleme yöntemlerine ek olarak BBA sistem tasarımına da odaklanılmıştır. Çalışmada ilk olarak, BBA sistemlerine ilişkin deneyim kazanmak için, güncel sınıflandırma yöntemleri ve hazır veri setleri üzerinde çalışmalar yapılmıştır. Bu ilk çalışmada, beyinden üretilen MI tabanlı ECoG sinyallerinin sınıflandırılması gerçekleştirilmiştir. Çalışmada kullanılan veriler BCI Competition III'de kullanılan 1 numaralı veri setinden temin edilmiştir. İşlem yükünü azaltmak için öncelikle ayrıştırma başarısı düşük olan kanallar elenerek kanal sayısı azaltılmıştır. Optimal kanal setinin hızlı bir şekilde belirlenmesi için görsel kanal seçimi temelli Arc Detection Algorithm (ADA) algoritması geliştirilmiştir. Matematiksel ve istatistiksel tabanlı ADA algoritması en uygun kanal setinin belirlenmesinde başarılı sonuçlar vermiştir. Kanal setlerinin belirlenmesinden sonra, Ayrık Dalgacık Dönüşümü (DWT) kullanılarak elde edilen dalgacık katsayıları, sınıflandırmada kullanılacak özelliklerin belirlenmesinde kullanılmıştır. Bu özellikler K en yakın komşu analizi (KNN), Destek Vektör Makinesi (SVM) ve Doğrusal Ayırma Analizi (LDA) sınıflandırma yöntemleri ile farklı özellik küme setleri kullanılarak sınıflandırmaya tabii tutulmuştur. Sınıflandırmada kullanılan özellik setlerinin sınıflandırma başarıları karşılaştırılmıştır. Doğru kanal seti ve özelliklerin sınıflandırma performansı üzerindeki etkisi incelenmiş, aynı özellik setleri farklı frekans bantlarında test edilmiştir. Sonuç olarak, seçilen kanallar ve özellikler ile %95'lik bir sınıflandırma başarısı elde edilmiştir. Elde edilen sonuç literatürde ilgili veri setiyle elde edilmiş tüm sonuçların üstünde bir sınıflandırma başarısını ortaya koymuştur. BBA sistemlerinde bir diğer önemli konu istenmeyen kas hareketleri, göz kırpması ve buna benzer olumsuz sinyal etkilerinin veri setinden temizlenmesidir. Çalışmanın ikinci kısmında performansı olumsuz yönde etkileyen göz artifaktlarının tespit edilmesi için FEAD (Fast Eye Artefact Detection) ve ilgili EEG denemelerinden göz artifaktlarının temizlenmesinde kullanılan EBR (Eye Blink Remover) algoritmaları geliştirilmiştir. Algoritmalar MI ve SSVEP tipi EEG sinyallerinin algılanmasına yönelik özgün deneylerle testlere tabi tutulmuş, oldukça başarılı sonuçlar elde edilmiştir. Önerilen sistemde göz artifaktları FEAD algoritmasıyla ile tespit edilmekte, Independent Component Analysis (ICA) ve DWT tabanlı EBR algortiması ile sinyalin sorunlu kısmı ilgili sinyalden çıkarılmaktadır. EBR algoritması özgün EEG veri setleriyle test edilmiştir. Algoritma genel olarak EEG sinyalini ICA bileşenlerine ayırmakta, literatürden farklı olarak, ilgili sinyalden çıkarılması gereken minumum ICA bileşen sayısını tespit etmekte ve DWT ile sinyale ait sorunlu ICA bileşeninin sadece sorunlu wavelet bileşenlerini elimine ederek, minimum sorunlu sinyali nörolojik sinyalden ayırarak, yüksek oranda gürültü giderilmesini amaçlamaktadır. EBR algoritması, artifakt tespiti, minimum bileşen tespiti ve artifakt özelliklerinin tespiti açılarından özgündür. Göz kırpması içeren EEG sinyal denemelerinin tespitinde, göz kırpmasına özgü frekanslarla filtreleme sonucu elde edilen eşik değeri, zamansal göz kırpma süreleri kullanılırken, silinecek minimum bileşen tespitinde ise, tepe içermeyen sinyal parçalarının temizlik öncesi ve sonrası benzerlikleri temel alınmıştır. Hâlihazırda göz kırpma tepeciklerinin başlangıç ve bitiş noktalarının belirlenmesinde kullanılan yaygın bir yöntem yoktur. Çalışmalarımız kapsamında geliştirilen Find Peak Bottom (FPB) algoritması ile göz kırpma tepelerine ilişkin başlangıç ve bitiş noktaları belirlenmektedir. Tümüyle otomatikleştirilmiş bir uygulama olarak geliştirilen EBR sistemi her tip EEG veri setine uygulanabilmektedir. Sisteme girdi olarak verilen EEG veri seti göz kırpmalarından ve benzeri bozucu etkilerden arındırılmış olarak sistem sonucunda elde edilmektedir. Literatürde, EEG sinyallerinden atrifakt temizleme işlemlerinin başarısının belirlenmesinde, sorunlu sinyalde işlem sonrasında gözlemlenen değişim, işlem öncesi ve sonrasında temizlenen bölge dışındaki sinyal parçasının benzerlik oranı, sorunlu sinyal parçasındaki benzerlik oranı gibi kriterler kullanılmaktadır. Bunların her biri tek başına bir temizlik ölçütü sağlamamakla beraber, birlikte yorumlandığında anlamlı sonuçlar elde edilmektedir. EBR algoritması deneme testleri haricinde üç farklı veri setiyle test edilmiş, sonuç olarak; özgün, gerçek EEG veri setleriyle, %100 artifakt tespiti ve %80,089 işlem sonrası sorunsuz bölge benzerliği ile sinyal temizleme gerçekleştirmiştir. Bir sistemin performansı sistem hızı yanında sistem doğruluğu, güvenilirliği ve tasarımla da doğrudan ilişkilidir. Bu bağlamda tez çalışmasının üçüncü kısmında SSVEP tabanlı bir robot kontrol uygulaması geliştirilmiştir. Uygulamada üçüncü bölümde önerilen FEAD algoritması ile deneğin göz kırpma sayıları tespit edilmiş ve bu göz kırpma sayıları kullanılarak sistemin aktivasyonu sağlanmıştır. Bu sayede sistemin kontrol edilebilirliği artırılmıştır. Farklı göz kırpma sayıları sisteme farklı komutlar olarak atanabilmektedir. Uygulama ile denekler 4 farklı yön komutu ile sadece bilgisayar ekranına bakarak bir robota komut verebilmektedirler. Uygulama performansı farklı sinyal pencere uzunluklarında senkron-asenkron deneylerle Minimum Energy Combination (MEC) ve Canonical Correlation Analysis (CCA) yöntemleri kullanılarak, karşılaştırmalı olarak analiz edilmiştir. Her iki SSVEP tespit yöntemiyle yakın sonuçlar elde edildiyse de, MEC yöntemi kullanıldığında daha başarılı sonuçlar elde edildiği gözlemlenmiştir. Uygulama ile 133,33 bit/dakika bilgi iletim hızı (ITR), 0,9 s sinyal pencere genişliği MEC yöntemi kullanılarak yakalanmıştır. Yakalanan ITR değeri 4 hedefe sahip BBA sistemlerinde oldukça başarılı bir değerdir. Son olarak tez çalışmasının dördüncü bölümünde yine SSVEP tabanlı 6 sınıftan oluşan bir BBA sistemi önerilmiştir. BBA sistemi sayesinde bilgisayar ekranında bulunan 6 farklı frekansta titreşen kutulardan herhangi birine odaklanılmasıyla istenilen harfler veya semboller bilgisayar ekranına yazdırılabilmektedir. Her bir ikili seçim bilgisayar ekranında bir harf yazımına karşılık gelmektedir. Ekrana bir harf veya sembol yazdırmak için iki seçim işleminin yeterli olması literatürde karşılaşılan üç veya daha fazla seçimle çalışan BBA speller sistemlerine göre kullanım kolaylığı açısından üstünlük göstermekte ve kullanıcılara daha konforlu bir kullanım sunmaktadır. Önerilen tasarım hem Türkçe hem de Latin harflerini barındırdığından, sistem aracılığı ile hem Türkçe hem de Latince kelimeler yazılabilmektedir. BBA tasarımıyla, yüksek başarıma sahip, kullanıcı dostu bir uygulama amaçlanmıştır. Sistem performansında önemli bir role sahip sinyal pencere uzunluğu üzerinde analizler yapılmıştır. 3 s'lik sinyal pencere genişliği ile hemen hemen tüm deneklerle oldukça yüksek bir sistem doğruluğu elde edilmiş, 77,55 bit/dakikalık ITR değeri 2 s 'lik pencere genişliği yakalanmıştır. Uyaran ve sinyal işlemenin iki farklı bilgisayar veya kaynağa ayrılmasıyla çok daha iyi sonuçların elde edileceği öngörülmektedir. Tez çalışması kapsamında elde edilen tecrübeler ışığında, çok kanallı veya yüksek çözünürlüklü BBA sistemlerine yönelik çalışmaların artacağı, deneğe özel kısa eğitimler içeren BBA sistemlerinin gelecek vadettiği öngörülmektedir.
People which are afflicted with neurological conditions or neurodegenerative diseases can't control own muscles by neural pathways. Brain computer interface (BCI) systems offer these people another alternative path for their own neural pathways. This alternative pathway is the direct usage of brain signals by computers without using any vocal muscles by BCIs. A BCI system can be examined in three main sections: acquisition of brain signals, interpretation of signals, and system output. The system output can be device control or words which are on computer screen. Depending on signal collection method there are different types of brain signals. These types has differences according to the distance of the electrode to the brain tissue. Electroencephalography (EEG), which is obtained via electrodes through the scalp, is the most commonly used signal type. Electrocorticography (ECoG) is another type of brain signal that is acquired invasively by placing electrodes on the brain tissue. Although the ECoG signals have higher resolution, the EEG signals have enough resolution for BCI systems. Brain signals have differences for during the movement and preparation of the movement or external sound - visual stimulations. The brain signals are motor imaginary (MI) which related to motion. The brain signals are P300 and SSVEP (Steady State Visual Evoked Potential) related to visual stimuli. ECoG and EEG type brain signals which obtained during the MI and SSVEP based experiments are used in the thesis. MI signals are the type of signal obtained from the motor cortext area of the brain. The SSVEP signals are obtained from the visual cortex of the brain when subjected to a frequency source. In this thesis study, it is aimed to develop methods for improving the performance of BCI systems. Signal processing algorithms, as well as simple and user-friendly system designs, have an impact on the performance. Therefore, in addition to the signal processing methods, the study is also focused on the new BCI system designs. Firstly, existing methods and datasets in literature related to the topic were analysed in order to gain experience in BCI systems. In this thesis, four different studies have been carried out to improve the performance in BCI systems. In the first, BCI Competition III dataset 1 consisting of ECoG (Electrocorticography) signals is preferred for learning about BCI systems. In order to decrease the processing load, the number of channels are reduced by eliminating channels (electrodes) which have low separation success. We developed new algorithm ADA (Arc Detection Algorithm) based on visual channel selection to determine quickly the optimal channel subset. Than the Wavelet coefficients were obtained by Discrete Wavelet Transform (DWT) and determined the classification features from Wavelet coefficients. These features are used to classify by KNN (K Nearest Neighbors), SVM (Support Vector Machine) and LDA (Linear Discriminant Analysis) by different feature set combination. The classification successes of feature combinations which are used in classification are compared. The impact on the classification performance of the right channel and the right property choice is observed. Test results are performed with different frequency bands were compared with the same feature set. As a result, the highest classification accuracy of 95% was obtained by selected channels and feature. Another important issue in BCI systems is the removal of unwanted muscle movements, eye blinking and other such adverse signal effects from the data set. In the second study, FEAD (Fast Eye Artefact Detection) algorithm and EBR (Eye Blink Remover) algorithms are developed to detecting and removing eye artifacts. Algorithms are tested with experiments to detect motor imaginary (MI) and SSVEP EEG signals, and successful results are obtained. In the proposed system, the eye artifacts are determined by the FEAD algorithm and the problematic part of the signal is extracted from the related signal by ICA (Independent Component Analysis) and DWT (Discrete Wavelet Transform) based EBR algorythm. The EBR algorithm was tested with real EEG data sets. The EBR algorithm divides the EEG signal into ICA components, determines the minimum number of components that must be subtracted from the signal and eliminates only the problematic wavelet components of the ICA components. The EBR algorithm is original for artifact detection, and identification of the ICA subset to be deleted. The system uses threshold value which is filtered with specific frequencies and temporal blinking times for detecting eye blinking. The system also uses correlation coefficient for detecting number of ICA component which will be deleted. Currently there is no common method used to determine the starting and ending points of eye blinking peaks. The FPB (Find Peak Bottom) algorithm is developed within the scope of our studies determines the start and end points of the eye blinking peaks. The fully automated system can be applied to any type of EEG data set. In the literature, the rate of change in the smooth part of the signal and the signal cleanup rate determine the ystem performance. The EBR algorithm was tested with three different data sets. As a result %100 artifact detection and 80.089 correlation rate was obtained with the original, true EEG data sets. In the third study a SSVEP based BCI robot control application is introduced and system performance is analyzed for different signal window lengths. At first, the number of eye blinks of the subjects are determined by fast eye artifact detection method (FEAD) which based on visual eye blink detection. These eye blink counts are used for system activation. System usability is improved by this control. Two consecutive eye blinks which are detected by FEAD method are used for system activation. System deactivation is also provided by the same command. Synchronous and asynchronous experiments are performed on four healthy subjects for performance analyses. EEG data is analyzed in details by asynchronous experiments. During the synchronous experiments, subjects are tried to complete a predefined route which has twelve steps by navigating the robot (Lego Mindstorms EV3). The minimum energy combination (MEC) and canonical correlation analysis (CCA) methods are applied to EEG segments that are different in length in order to detect SSVEPs in both type experiments. ITR values are calculated for different signal window lengths. The results show that the detection accuracy of the MEC method is similar to that of the CCA method, although it is higher than that of the CCA method in situations where the SSVEP has low strength. In synchronous experiments, using MEC method a system peak ITR of 133.33 bit/min is reached for one subject with a 0.9 s signal window length. This ITR value is higher than the previously published studies in the literature for SSVEP based BCI systems. Finally, a new SSVEP based BCI speller application was introduced and system performance is analyzed for different signal window lengths in experiments. Subject can write Turkish and English letters to computer screen by just using BCI system without using any muscle. The BCI speller has six box which has six letters in each box on the screen. The six letters in the selected box are distributed as one letter each box after the first selection by application. With the second selection, the letter which desired is displayed on the screen. The application contains Latin letters as well as Turkish letters. Experiments are performed on 3 healthy subjects. Subjects try to choose letter by focusing on the boxes which has flickering different frequencies. The minimum energy combination (MEC) method is applied to EEG segments that are having different length in order to detect SSVEPs. The highest ITR value of 77.55 bit/min is obtained for subject 1 with 2 s signal window length. Higher accuracy and more useful a BCI system observed when system signal window length set 3 s. Experience of the thesis shows that future work on multichannel and high-resolution BBA systems will increase. Also it is concluded that the subject dependent BCI systems including short training will have promising future for obtaining better performance.