Tez No	İndirme	Tez Künye	Durumu
545482		An innovative and accurate deep learning based HER2 scoring method HER2-unet / HER2 tümör hücrelerinin segmentasyon için derin öğrenme tabanlı yeni bir yaklaşım Yazar:FARIBA DAMBAND KHAMENEH Danışman: PROF. DR. MUSTAFA ERSEL KAMAŞAK Yer Bilgisi: İstanbul Teknik Üniversitesi / Bilişim Enstitüsü Konu:Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control Dizin:	Onaylandı Yüksek Lisans İngilizce 2018 57 s.
Günümüzde, meme kanseri, yaygınlaşan bir hastalık olarak incelenip, bilimsel çalışmalara sıklıkla konu olmaktadır. Meme dokularında, mutasyona uğramış HER2 tümörlü hücreler, hücre çeperinde bulunan HER2 proteininin artışıyla tespit edilmektedir. Protein artışının görünür kılınıp patologlar tarafından değerlendirilebilmesi için, FISH (Fluorescent in Situ Hybridization) ve İmmuno Histo Kimya (İHK) tabanlı olmak üzere iki farklı boyama tekniği kullanılmaktadır. Bu tekniklerden, zaman ve maliyet açısından daha uygun olan ve ASCO / CAP 2013 önerilerine göre dört dereceli bir skor ölçeği içeren İHK yaklaşımı, meme kanseri tedavi sürecinin belirlenmesinde sıklıkla kullanılmaktadır. Aşırı ekspresyonun analizi İHK'sal olarak yapılmaktadır. İHK 3+ olarak değerlendirilen hastalarda, aşırı ekspresyonu vardır şeklinde bildirilir ve bu hastalara istisnai durumlar haricinde Herceptin tedavisi uygulanır. Bu tedavinin uygulanabilmesi için hastanın İHK'sal skoru 3+ ya da 2+ olmalıdır. Diğer skorlar (1+ ve 0) negatif olarak değerlendirilir ve hastanın HER2 ekspresyonu normaldir şeklinde değerlendirilir. 3+ hastalarda Herceptin kullanılanbilir ancak, 2+ hastalar için kuşkulu yaklaşım sergilenir ve İHK'sal teste ek olarak, FISH tekniği ile yeni bir analiz yapılarak, kuşkulu skor desteklenir ya da negatif olarak değerlendirilir. Çevresel membran hücre boyamasının tamamlanmamış olduğu durumlarda ve boyama zayıf (soluk) olduğu durumlarda, tümör hücrelerinin %10'un üzerinde olduğu saptanırsa, İHK 2+ olarak değerlendirilir. İHK 2+ değerlendirmeye alınan bir diğer durum ise, çevresel membran boyanmasının yoğun ve tamamlanmış olduğu ancak, tümör hücrelerinin %10'un altında yoğunluk gösterdiği durumdur. Eğer çevresel membran boyanması tamamlanmamış veya boyamanın az çok fark edilebilir nitelikte olduğu tümör hücrelerinin yoğunluğu %10'un üzerinde ise İHK 1+ olarak değerlendirilir. Çevresel membran boyanmasının tamamlanmamış olduğu ya da boyanmanın olmadıgı ve tümör hücrelerinin yoğunluğunun %10'un altında olduğu durumlarda ise, İHK 0 olarak değerlendirilir. İHK 1+ ve İHK 0 sonuçları negatif, İHK2+ kuşkulu ve İHK 3+ pozitif olarak sınıflandırılır . Önerdigimiz yöntem ile İHK'sal olarak HER2 analizini otomatik gerçekleştirecek ve İHK'sal skorunu bildirecek bir çalışma anlatılmaktadır. İHK ile boyanmış mikroskopik görüntülerin manuel HER2 değerlendirmesi boyanma çeşitliliği, üst üste binmiş bölgeler ve homojen olmayan çok büyük slaytın görülebilmesi sebebiyle hata yapmaya açık, zahmetli, gözlemciler arası değişken ve zaman alıcı rutin laboratuvar işleri işerir. Bu sorunları gidermek için dijital patoloji, tüm slayt görüntüsünün analiz edilmesinde ve yorumlanmasında, tekrarlanabilir, otomatik ve objektif bir değerlendirme sunar. HER2 epitel doku tümörleri ile ilişkili olduğundan ve meme tümörlerinin çoğu epitel dokudan kaynaklandığından, farklı doku yapılarını ayırmak için bir yaklaşım geliştirmek çok önemlidir. Bu tez çalışmasında, meme kanseri görüntülerinde HER2'nin İHK skorunu otomatik olarak değerlerlendirme yapmak için bilgisayar destekli tüm slayt bazlı derin öğrenme metodunu tanıttık. Histopatoloji görüntülerinin yorumlanmasındaki subjektiflik ve patologlar arası uyuşmazlıklar nedeniyle, üzerinde anlaşılmış ve yinelenebilen methodların belirlenmesi gerekmektedir. HER2 değerlendirmesindeki bir önceki methodun aksine, bu araştırmada tüm slayt görüntülerinde, hücre zarının derin öğrenme temelli segmentasyonu kullanılarak HER2'nin sınıflandırılması gerçekleştirilir. Analiz sonuçları ağin membrane hücre boyanması ve sitoplazmik veya hatalı boyanma arasındaki farkı ayırt etmeyi başardığını gösterir. Test veri seti eğitim için kullanılmadığından, dikkate değer yüksek doğruluk, modelin hücre zarlarını doğru şekilde bölümlere ayırmayı iyi bir şekilde öğrendiğini gösterir. Patch'ler temel alarak slaytları skorlayan ve sınıflandıran diğer derin öğrenme metodlarına karşın, tüm slayt görüntülerini patologlar tarafından kabul edilen değerlendirme kılavuzlarını dikkate alarak değerlendirdik. Önerilen teknik üç adımdan oluşmuştur. Birinci aşama olarak, bütün slayt görüntüleri üzerindeki epitel ve stroma bölgelerini sınıflandırabilmek için süperpiksel tabanlı öznitelik öğrenme sınıflandırıcısı olan Destek Vektör Makinası (SVM) kullanılmışltır. Bu tezin ilk bölümünde, epitel ve epitel olmayan (stroma) bölgelerini sınıflandırılmasında geleneksel makine öğrenmesi algoritması geliştirilmiştir. Sınıflandırmanın söz konusu olduvu problemin çözümüne yönelik algoritmalarda, SVM sıkça kullanılan bir makine öğrenmesi tekniğidir. Bütün slayt görüntülerindeki bölgelerin, ikili örüntü (LBP) ve renk histogramı gibi bazı doku ve renk öznitelikleri ekstrakt edilerek Destek Vektör Makinasına verilir. İlk olarak, görüntü analizinde temel ön işlem protokollerinin başında gelen normalizasyon işlemi uygulanır. Normalizasyon işleminin uygulanmasındaki amaç, kullanılacak olan her öznitelik türü arasındaki aralık farklılıklarının yarattığı yanlılıkları (bias) ortadan kaldırmaktır. Görüntü elde edilirken kullanılan farklı tarayıcılar ve farklı boyama tekniklerinden kaynaklanan problemlerin önüne geçebilmek için piksel yoğunluğu dağılımlarını standartlaştıran normalizasyon tekniği uygulanması gerekmektedir. Normalizasyon tekniği uygularken kullanılan histogram dağılım değerini, belirlemiş olduğumuz spesifik bir referans görüntünün (Diaminobenzidin uygulaması ) mavi ve kahverengi kanallarının histogram değerlerine bakarak elde ettik. Denetlenen sınıflandırıcıda, büyük slayt görüntülerindeki ilgili alanların (ROI'lerin) belirlenip, özelliklerine göre sınıflandırılıp etiketlendirilebilmesi için el yapıcı öznitelikler kullanılmıştır. Bu aşamadan sonraki işlemler, büyük slayt görüntülerindeki tüm pikseller yerine, artık belirlenmiş süperpiksellere uygulanmıştır. Anlamlı ve benzer bölgelerin kümeselleştirildiği (gereksiz kısımların arıtıldığı) süperpikseller üzerinden öznitelik çıkarmak performansı arttırmakla kalmamış, sonraki sınıflandırma aşaması için değişken sayısını azaltmıştır. SVM, sınıflandırıcısını oluşturmak için gereken etiketlenmiş ve anote edilmiş veriler, konusunda uzman patalog tarafından temin edilmesi gerekmektedir. Patalog bu anotasyon işlemini gerçekleştirirken, İmmünohistokimyasal (İHK) bütün slayt görüntülerindeki karmaşıklığın önüne geçebilmesi için etiketleme işlemini küçük, detaylı ve tanımlayıcı epitel ve stroma bölgeleri üzerinde yapması gerekmektedir. İkinci aşamada, epitel bölgeler üzerinde, Konvolüsyenel Sinir Ağları (KSA) tabanlı segmentasyon yöntemi membranöz bölgeleri bölütlemek için kullanılmıştır. KSA genellikle sınıflandırma işlerinde kullanılır, fakat UNet mimarisi karmaşık yapıları sınıflandırmak ve bölümlere ayırmak için insan görsel algılama sistemi tarafından tanınabilir yerelleştirilmiş öznitelikler ekstrakt eder. Bu öznitelikler, UNet'in her piksele etiket atamayı mümkün kılan alt örnekleme özelliği kullanılarak sağlanır. Biyomedikal uygulamalarda, karmaşıklık ve yüksek veri toplama maliyeti gibi sebeplerden dolayı, dijital analiz ortamda insan gözüne yakın seviyede sonuçlar elde edilmeye çalışılırken problemler yaşanmaktadır. Makine öğrenmesi metotlarıyla, çok az sayıda eğitim örneği ile iyi sonuçlar elde edilerek bu zorlukların üstesinden gelinebilir. Anote edilmiş eğitim görüntülerini eğitebilmek için Keras kütüphanesini kullandık. UNet mimarisi çok az sayıda eğitim görüntüsünde çalışabilir hale gelebilmek için değiştirilen ve genişletilen her evrişimin geçerli bölümünü kullanır. Mevcut ağı desteklemek ve başarılı bir sonuç almak için, pooling öperatörü yöntemi yerine üstörnekleme yöntemi kullandı. Üstörnekleme yöntemi her bir girdinin çözünürlüğünü arttırmış oldu. Daha yerel ve kusursuz sonuç elde edebilmek için yüksek çözünürlüklü öznitelikler ekstrakt edildi. UNet mimarisi her bir kıvrımın sadece geçerli parçasını kullanır. Tüm parça bölütleme haritasının piksellerini barındıran girdi resminde mevcuttur. UNet aşağı örnekleme (solda) ve üst örnekleme olarak bilinen geniş bir patika yolundan oluşur. İki adet 3 x 3 konvolüsyon devamlı olacak şekilde ve her birinin ardından Rectified Linear Unit (ReLU) uygulanılacak şekilde kullanıldı. Ayrıca mimari, 2 birim kaydırmalı ve 2 x 2 maksimum pooling operatörü içermektedir. Her alt örnekleme adımında, kanallardaki öznitelik sayısıiki katına çıkar. Bunun sonucu olarak, her geniş haritadaki özellik haritasının bir örneklemesi 2 x 2'lik üst evriçim içermektedir. İstenilen sayıda sınıfı bulabilmek için 1 x 1'lik tabakanın her 64 bileşen özniteliği vektörünü son tabakada işlemesi gerekmektedir. Mimari toplamda 23 konvolüsyenel tabakaya sahiptir. Sonuç olarak, bölünmüş fayanslar birleştirilir ve her slaytın toplam puanı değerlendirilir. 50 slayt için elde edilen sonuçlar, el yapımı öznitelikler ve derin öğrenme öğretileriyle karşılaştırılır. Her bir fayansın ayrı olarak işlenmesinden sonra, tüm fayans sonuçları birliştirilip, genel bir skor elde edilir. Bölme işlemi esnasında, bazı hücre çekirdekleri kusurlu olan ve normal olan hücre çekirdeği diye ayıklanır. Bu ayıklanma sürecinde bazı zorluklarla karşılaşılmıştır. Hücre çekirdekleri iki fayans bölgesinin arasında kaldığında problemlem oluşabilmektedir. Olabilecek bir yanlışlıktan kaçınmak için, küçük fayans bölgeleri köşe tarafları gözetilerek ekstrakt edilmiştir. Yataysal birleştirilme yapılırken, sağdaki görüntüyü içeren fayans bölgesinin sol kısmının diğer fayansa yakın olan parçasıile, soldaki görüntüyü içeren fayans bölgesinin sağ kısmının sağdaki fayansa yakın olan bölgesi kombine edilmiştir. Buna benzer olarak, dikey birleştirme aşamasında da, üst görüntüyü içeren fayans bölgesinin alt kısmı ile, alt görüntüyü içeren fayans görüntüsünün üst kısmı birleştirilmiştir. Elde edilen deneyler, boyalı veriler içeren İHK görüntüleri üzerinde, önerilen algoritmamızın ümit verici performans elde ettiğini göstermektedir. Geliştirmiş olduğumuz yazılımımızın, diğer literatürde bulunan epitel bölgelerideki süperpiksel bazlı sınıflandırma yöntemlerini içeren ve KSA kullanılarak yapılmış membranöz hücre boyamaların bölütlenmesinde kullanılmış diğer algoritmaları içeren yaklaşımlardan daha iyi performans gösterdiği gözlemlenmiştir.
Breast cancer is the second most common form of cancer among women in the US that leads to death. The uncontrollable growth of cells in the breast tissue causes breast cancer. Identification of biomarkers in tissues carry significant biological information. Evaluating the expression level in some biomarkers play an essential role in cancer diagnosis. Digital pathology proposes an appreciable way to prevail the non-objectivity by analysing the biological images. Immunohistochemistry (IHC) analysis is a method for demonstrating the presence and location of proteins in tissue sections which introduce new demands on the reproducibility, accuracy, and specificity of the extracted information. The automated analysis in Whole Slide Image (WSI) has recently achieved considerable attention because of the accessibility of digital slide scanners and the increasing importance of tissue-based biomarkers of stratified medicine. Several biomarkers have been identified for breast cancer. Normally, Human Epidermal Growth Factor Receptor 2 (HER2) proteins are responsible for division and growth of healthy breast cells. HER2 status is currently assessed using IHC as well as In Situ Hybridization (ISH) in equivocal cases. Manual HER2 evaluation of IHC stained microscopic images involves error-prone, tedious, inter-observer variable, and time-consuming routine lab work due to diverse staining, overlapped regions, and non-homogeneous remarkable large slides. To address these issues, digital pathology offers reproducible, automatic, and objective analysis and interpretation of WSI. Since HER2 is associated with tumors of an epithelial region and most of the breast tumors originate in epithelial tissue, it is crucial to develop an approach to segment different tissue structures. The proposed technique has comprised of three steps. In the first step, a superpixel based Support Vector Machine (SVM) feature learning classifier is proposed to classify epithelial and stromal regions from WSI. In the second stage, on epithelial regions, a Convolutional Neural Network (CNN) based segmentation method is applied to segment membrane regions. Finally, divided tiles are merged and the overall score of each slide is evaluated. Experimental results for 50 slides are presented and compared with state-of-the-art handcraft and deep learning approaches. The experiments demonstrate that the proposed method achieved promising performance on IHC stained data. Our automated algorithm was shown to outperform other approaches in terms of superpixel based classifying of epithelial regions and segmentation of membrane staining using CNN.