|
Multiple Skleroz (MS), Merkezi Sinir Sistemini (MMS) etkileyen, otoimmün, kronik ve demiyelinizan bir hastalıktır. Bu hastalıkta nöronlar etrafındaki koruyucu kılıf (miyelin kılıf), bağışıklık sistemindeki (immün sistem) antikorlar tarafından yabancı bir madde olarak algılanır, yok edilmeye çalışılır ve sonuç olarak koruyucu kılıf hasar görür ve sertleşmiş MS plakları oluşur. Hastalık sinirlerde kalıcı hasara veya bozulmaya neden olabilir. Miyelin tabaka üzerinde oluşan fiziksel tahribat nedeniyle beyinden yollanan mesajların iletilmesi engellenmektedir. MS hastalarında fonksiyonel yeti kayıpları görülebilir ve bu hastalığın ileri safhalarında geri döndürülemez beyin hasarları da oluşabilir. MS kesin tedavisi olmayan bir hastalıktır ve belirtileri hastadan hastaya değişiklik gösterebilmektedir. Bazı hastalarda yaşam konforu önemli ölçüde düşebilmekte, hasta bakıma muhtaç hale gelebilmektedir. Yapılan çalışmalar, MS hastalığının genellikle 20-45 yaş aralığında ortaya çıktığını göstermiştir. 25-35 yaş aralığında ise MS hastalığının görülme sıklığının yüksek olduğu ifade edilmiştir. Hastalığın kronik olması ve kesin tedavisinin olmaması, hastaların uzun seneler boyunca bu hastalıkla mücadele etmesi anlamına gelir. İleri evrelerde tanı daha zor hale gelebileceğinden, erken evrede MS tespiti ve sürecinin izlenmesi için etkili yöntemlere ihtiyaç vardır. Manyetik Rezonans Görüntüleme (MRG), MS teşhisinde en önemli ve duyarlı görüntüleme yöntemidir. MRG, MS hastalığının tanı koyma sürecinde etkin olduğu gibi klinik olarak diğer hastalıklardan ayırıcı tanının yapılmasında da önemlidir. Ayrıca tedavi sürecinde kontrol görüntüleme ile tedaviye verilen cevabın değerlendirmesinde önemli bir yer tutmaktadır. MS tanısında genellikle T1 ağırlıklı (T1-w), T2 ağırlıklı (T2-w), Sıvı Zayıflatılmış İnversiyon Kurtarma (FLAIR) ve Proton Dansite ağırlıklı (PD-w) MRG sekansları kullanılmaktadır. MS plakları tipik olarak T1-w sekansta beyaz cevhere göre benzer veya düşük sinyalde, T2-w ve FLAIR sekansta ise yüksek sinyalde izlenmektedir. Son yıllarda, derin öğrenme yöntemlerinin kullanılmasıyla, MS lezyonlarının MR görüntülerinden otomatik olarak segmentasyonunda dikkate değer sonuçlar üretilmiştir. MS lezyon segmentasyonu için otomatik yöntemler genellikle bireysel MRI taramalarında gerçekleştirilmiş olsa da son zamanlarda MS hastalığının ilerlemesini ölçmek ve izlemek için lezyon aktivitesinin izlenmesi, özellikle yeni lezyonların saptanması, önemli bir biyobelirteç haline gelmiştir. Doktora tez çalışmasının amacı, MS lezyonlarının tek bir zaman noktalı beyin MR görüntülerinden ve ayrıca bir hastanın iki farklı zamanda elde edilen beyin MR görüntülerinden yeni MS lezyonlarının saptanması ve segmentasyonu için yeni ve tam otomatik derin öğrenme yöntemleri geliştirmektir. Derin öğrenme teknikleri, girdi verilerinden özellik çıkarma sürecini basitleştirir. Bu nedenle, bu tezde, derin öğrenme yaklaşımları araştırılmış ve ardından her iki görev için MS lezyonlarının segmentasyonunu ve tespitini iyileştirmek için kullanılmıştır. Buna göre, 3B MRG dizileri kullanılarak otomatik MS lezyon segmentasyon performansını artırmak için dikkat geçidini (AG), verimli kanal dikkatini (ECA) ve Atrous uzamsal piramit havuzlamayı (ASPP) birleştiren yeni bir yoğun rezidüel U-Net modeli önerilmiştir. Benzer şekilde, lezyon aktivitesinin belirlenmesi için temel ve takip eden 3B FLAIR MR görüntülerini kullanarak, yeni MS lezyon segmentasyonunu daha iyi gerçekleştirmek için U-Net, dikkat kapısı ve artık öğrenmeyi birleştiren derin bir sinir ağına sahip yeni bir işlem akışı önerilmiştir. Tez kapsamında, 3B görüntülerinin her bir düzleminden elde edilen 2B kesitler, modellerin eğitilmesinde girdi verisi olarak kullanılmıştır. Her bir düzlemden elde edilen 2B kesitlerin tahmin edilmesiyle, herbir düzlem için 3B segmentasyon çıktısı üretilmiştir. Herbir düzlem için elde edilen 3B çıktılar arasında çoğunluk oylaması yapılarak nihai 3B segmentasyon çıktısı üretilmiştir. 3B görüntüyü bütün olarak işlemek yüksek bilgisayar kaynakları gerektirmektedir. Derin öğrenme modellerinde az veri kullanmak aşırı öğrenmeye sebep olabilir. Medikal alanda da veri azlığı olduğundan 3B medikal görüntüyü bütün olarak kullanmak aşırı öğrenmeye yol açabilir. Diğer yandan, yama tabanlı elde edilen küçük boyutlu 3B girdiler veri sayısını arttırsa bile görüntünün genel yapısal bilgisini ihmal etmektedir. Bu çalışmada hem aşırı öğrenmeden kaçınmak, hem de genel yapısal bilgi kaybını azaltmak için koronel, aksiyel ve sagital düzlemlerden elde edilen 2B kesitler bütün olarak birlikte kullanılmıştır. Ayrıca bu yöntem daha az bilgisayar kaynağı gerektirdiği için pratikte oldukça etkili bir yöntemdir. Bu tezde kullanılan yöntemin, literatürdeki 3B yama tabanlı ya da 3B tüm görüntünün işlenmesiyle elde edilen sonuçlara yakın hatta daha iyi sonuçlar aldığı gözlemlenmiştir. Önerilen yeni yoğun rezidüel U-Net modelinde, U-Net mimarisinin her bloğundaki evrişim katmanları, rezidüel bloklarla değiştirilmiş ve yoğun bir şekilde bağlanmıştır. Daha sonra, atlama bağlantılarından geçen önemli özellikleri yakalamak için AG'lerden yararlanılmıştır. ECA modülü, U-Net'in her rezidüel bloğunun ve her aşağı örnekleme bloğunun sonuna eklenmiştir. Daha sonra, çok ölçekli bağlamsal bilgileri çıkarmak için U-Net'in darboğazı ASSP modülüyle değiştirilmıştir. Ayrıca, FLAIR, T1-w ve T2-w 3B MR görüntüleri, daha iyi MS lezyon segmentasyonu gerçekleştirmek için birlikte kullanılmıştır. 3B MR görüntülerinden elde edilen çok düzlemli (koronel, aksiyel ve sagital) 2B kesitler, tüm düzlem yönlerinde bağlamsal bilgileri elde etmek için birlikte kullanılmış ve daha sonra tahmin edilen 2B kesitler, çoğunluk oylamasıyla nihai bir 3B segmentasyon çıktısı üretmek için toplanmıştır. Önerilen model, halka açık ISBI2015 ve MSSEG2016 veri setlerinde doğrulanmıştır. ISBI2015 veri seti 19 hastaya ait farklı zamanlarda elde edilmiş 3B FLAIR, T1-w ve T2-w MR görüntülerinden oluşmaktadır. Eğitim veri seti için 5 hastaya ait toplam 21 tane 3B MR görüntüleri bulunmaktadır. Bu görüntülerin iki uzman tarafından manuel olarak işaretlenmiş etiketli verisi bulunmaktadır. Geri kalan 14 hastaya ait 61 tane 3B MR görüntüsü ise önerilen model ve yöntemleri değerlendirmek için kullanılmaktadır. ISBI2015 test veri setinin değerlendirilmesi için ISBI organizasyonu tarafından sağlanan web sitesinin kullanılması gerekmektedir. Test seti verilerine ait etiketlenmiş veri araştırmacıların kullanımına sunulmamaktadır. MSSEG2016 veri seti farklı merkezlerden ve farklı MR cihazlarından elde edilen 53 hastaya ait 3B MR görüntülerinden oluşmaktadır. Her hasta için tek bir zamanda elde edilen 3B FLAIR, T1-w ve T2-w MR görüntüleri etiketli verileri ile araştırmacıların kullanımına sunulmuştur. 38 hastaya ait veriler önerilen otomatik yöntemlerin performanslarını doğrulamak ve test etmek için kullanılmaktadır. Bu model ISBI2015 test veri setinde 92,75 ISBI skoru, %66,88'lik ortalama Dice skoru, %86,50'lik ortalama Pozitif Tahmin Değeri (PPV) ve %60,64'lük ortalama Lezyon Bazında Gerçek Pozitif Oran (LTPR) üretmiştir. MSSEG2016 test veri setinde ise %67,27'lik ortalama Dice skoru, %65,19'luk ortalama PPV ve %74,40'lık ortalama hassasiyet elde edilmiştir. Önerilen modelden elde edilen sonuçlar, bazı uzmanlardan elde edilen sonuçlara göre ve diğer bazı son teknoloji yöntemlerden elde edilen sonuçlara göre daha iyidir. Spesifik olarak, MS lezyonlarını segmentlere ayırmak için önerilen bu model ile, ISBI2015 test veri setinde en iyi Dice skoru ve en iyi LTPR elde edilmiştir. Lezyon aktivitesinin belirlenmesi için önerilen iş akışı içinde yeni geliştirilen model, U-Net'e benzer bir mimariye sahiptir ve derin ağların eğitimini kolaylaştıran rezidüel birimlerden oluşur. Daha az parametreli ağlar, U-Net ve rezidüel birimlerinin atlama bağlantıları sayesinde daha iyi performansla tasarlanır ve bu da bozulma olmadan bilgi yayılımını kolaylaştırır. Ayrıca, AG'ler çeşitli boyut ve şekillerdeki hedef yapıların önemli özelliklerine odaklanmayı öğrenir ve modelin daha keskin segmentasyon yapmasına yardımcı olur. MSSEG-2 veri seti, önerilen iş akışını eğitmek ve test etmek için kullanılmıştır. MSSEG-2 veri seti toplam 100 hastaya ait, her bir hasta için iki farklı zaman diliminden elde edilmiş 3B FLAIR MR görüntülerinden oluşmaktadır. Bu hastalardan 40'ına ait etiketli veri eğitim seti olarak paylaşılmaktadır. Geriye kalan 60 hastaya ait görüntüler ise önerilen algoritmaların segmentasyon performanslarını ölçmek için kullanılmaktadır. Bu test setinde, 32 hastanın 2. zaman dilimindeki görüntülerinde yeni lezyon varken 28 hastaya ait görüntülerde ise yeni lezyon bulunmamaktadır. Böylece, lezyon olmayan hasta verileri için de önerilen algoritmalar değerlendirilmektedir. Eğitim veri setindeki 3B MR görüntüleri ham olarak verildiği için, bu veri setine bazı ön veri işlemleri gerçekleştirilmiştir. Örneğin, MS lezyonlarının görülmediği beyin tası gibi bölgeler görüntülerden çıkartılmıştır. Elde edilen sonuçlar yarışma kapsamında önerilen diğer işlem akışı sonuçları ve bu yarışmadaki uzmanların etiketli verisinden elde edilen sonuçlar ile karşılaştırılmıştır. Test veri setinden elde edilen sonuçlara göre, lezyon bazında F1 ve Dice skorları sırasıyla ortalama %48 ve %44,30 olarak elde edilmiştir. İkinci zaman noktasından elde edilen görüntülerde yeni lezyon görülmeyen vakalar için, test edilen lezyonların sayısı ve test edilen lezyonların hacmi sırasıyla ortalama 0,148 ve 1,488 olarak bulunmuştur. Yeni geliştirilen model ile önerilen iş akışı diğer önerilen 22 iş akışından daha iyi performans göstermiştir. Önerilen iş akışı elde edilen Dice ve F1 skorlarına göre yarışmada 8. sırada, lezyon olmayan görüntüler için, test edilen lezyonların sayısına ve test edilen lezyonların hacmine göre sırasıyla 4. ve 5. sırada yer almıştır.
|
|
Multiple Sclerosis (MS) is a chronic inflammatory, immune-mediated, neurodegenerative, and demyelinating disease that impacts the Central Nervous System (CNS). The disease can cause permanent damage or deterioration (demyelination) to the nerves in the CNS. This damage results in the formation of lesions or plaques in the nervous system, leading to a wide range of symptoms such as problems with vision, loss of coordination, muscle weakness, and cognitive impairment. Early diagnosis and monitoring of MS are crucial since diagnosing the disease in its advanced stages can be more challenging. Therefore, effective methods for diagnosing and monitoring MS in its early stages are needed to improve patient quality of life and treatment outcomes. Magnetic Resonance Imaging (MRI) is widely used for monitoring, measuring, detecting, and characterizing MS lesions. T1-weighted (T1-w), T2-weighted (T2-w), and Fluid-Attenuated Inversion Recovery (FLAIR) sequences are commonly exploited in MS diagnosis as they provide different information about the brain tissues and the presence of lesions. Thereby, MRI is a useful tool for diagnosing and monitoring MS. Recently, Deep Learning (DL) methods have achieved remarkable results in the automated segmentation of MS lesions from MRI data, potentially improving the accuracy and efficiency of MS diagnosis and monitoring. Although automated methods for MS lesion segmentation have usually been performed on individual MRI scans, tracking lesion activity for quantifying and monitoring MS disease progression, especially detecting new lesions, has become an important biomarker in recent years. This Ph.D. thesis aims to develop novel and fully automated DL approaches for detecting and segmenting MS lesions from a single time-point brain MRI of a patient and also new MS lesions between two time points brain MRI of a patient. DL techniques simplify the feature extraction process from the given input data. Therefore, in this thesis, DL approaches were investigated and examined, then exploited to improve the segmentation and detection of MS lesions for both challenging tasks. Accordingly, a novel dense residual U-Net model that combines Attention Gate (AG), Efficient Channel Attention (ECA), and Atrous Spatial Pyramid Pooling (ASPP) is proposed to enhance the performance of the automatic MS lesion segmentation using 3D MRI sequences. Similarly, a unique pipeline with a deep neural network that combines U-Net, attention gate, and residual learning is proposed to perform better MS new lesion segmentation using baseline and follow-up 3D FLAIR MR images for lesion activity determination. In the proposed novel dense residual U-Net model, convolution layers in each block of the U-Net architecture are replaced by residual blocks and connected densely. Then, AGs are exploited to capture salient features passed through the skip connections. The ECA module is appended at the end of each residual block and each downsampling block of U-Net. Later, the bottleneck of U-Net is replaced with the ASSP module to extract multi-scale contextual information. Furthermore, 3D MR images of FLAIR, T1-w, and T2-w are exploited jointly to perform better MS lesion segmentation. The proposed model is validated on the publicly available ISBI2015 and MSSEG2016 challenge datasets. This model produced an ISBI score of 92.75, a mean Dice score of 66.88%, a mean Positive Predictive Value (PPV) of 86.50%, and a mean Lesion-Wise True Positive Rate (LTPR) of 60.64% on the ISBI2015 testing set. Also, it achieved a mean Dice score of 67.27%, a mean PPV of 65.19%, and a mean sensitivity of 74.40% on the MSSEG2016 testing set. The results show that the proposed model performs better than the results of some experts and some of the other state-of-the-art methods realized related to this particular subject. Specifically, the best Dice score and the best LTPR are obtained on the ISBI2015 testing set by using the proposed model to segment MS lesions. On the other hand, the generated model for the lesion activity determination within the proposed pipeline has a similar architecture to U-Net and is formed from residual units which facilitate the training of deep networks. Networks with fewer parameters are designed with better performance through the skip connections of U-Net and residual units, which facilitate information propagation without degradation. AGs also learn to focus on salient features of the target structures of various sizes and shapes. The MSSEG-2 challenge dataset was used for training and testing the proposed pipeline, and the results were compared with those of other proposed pipelines of the challenge and experts who participated in the same challenge. According to the results obtained from the testing set, the lesion-wise F1 and Dice scores were obtained as a mean of 48 and 44.30%. For the no-lesion cases, the number of tested and volume of tested lesions were obtained as a mean of 0.148 and 1.488, respectively. The proposed pipeline outperformed 22 proposed pipelines and ranked 8th in the challenge for the Dice and F1 scores. It was also ranked 4th and 5th for the number of tested and volume of tested lesions, respectively. |
