Geleneksel olarak, bir doku numunesinin incelenmesi, o örneğin bir patolog tarafından mikroskop yardımıyla taranmasını içermekteydi. Tüm slayt görüntüleme teknolojisi, meme biyopsi slaytlarının bilgisayar ortamına aktarılması ile, mikroskopik inceleme sürecinin bilgisayar ekranıyla desteklenmesine olanak sağlamıştır. Bu teknoloji, slaytları çok yüksek çözünürlüklerde taramayı mümkün kılarak, bu slaytların 100,000 piksele 100,000 piksellik boyutlarda incelenmesine olanak tanımıştır. Görüntüleme teknolojisindeki gelişmeler, tüm slayt histopatoloji görüntüleri üzerinde analizler yaparak, teşhis sürecinde patologların iş yükünü azaltmaya yardımcı olabilecek otomatik araçların geliştirilmesini sağlamıştır. Tüm slayt görüntü analizinin zorluklarından biri, patolog tarafından bir slayt ile ilişkilendirilmiş olan teşhisler ile slaytta bulunan bölgelerin arasındaki bağlantıların bilinmemesidir. Bunun nedeni, patologların doldurdukları patoloji formlarındaki teşhislerin slayt seviyesinde bilgi içermesidir. Diğer bir zorluk ise, tüm meme histopatolojisi görüntülerinde değişken sayıda bulunan değişken büyüklükteki ilgi bölgelerinin (İB) temsilidir. Çünkü modern evrişimli ağlar histopatoloji görüntülerindeki yapısal ve çevresel bilgiyi kodlayamayacak kadar küçüklükteki sabit boyutlu küçük pencereler üzerinde çalışmaktadır. Meme histopatolojisi görüntülerinin incelenmesindeki en büyük zorluk ise bu alanın içerdiği klinik önemden dolayıdır çünkü bir vakanın yanlış sınıflandırılması gereksiz radyasyon tedavisine, cerrahi ve hormonal tedaviye sebebiyet verebilmektedir. Bu zorlukların ışığında, tüm slayt meme histopatolojisi görüntülerinin incelenmesini şu şekilde ele almaktayız. İlk katkı, tüm slayt meme histopatolojisinde görüntü analizi probleminin, çok-örnekli çok-etiketli bir öğrenme (ÇÖÇE) görevi olarak tanımlanması şeklindedir. Bu bağlamda, bir torba bir slayta tekabül etmektedir ve patoloji formunda bulunan slayt etiketleriyle ilişkilendirilmektedir. Benzer şekilde, torbadaki örnekler de slayt içerisinde bulunan İB'ye tekabül etmektedir. İkinci katkı, derin evrişimli ağların özelliklerini kullanarak, değişken sayıdaki ve değişken büyüklükteki İB'nin temsili için yeni bir öznitelik gösterim yöntemini barındırmaktadır. Nihai katkımız ise, eşzamanlı olarak slayt seviyesinde çok-sınıflı sınıflandırması yapan ve İB seviyesinde tanı etiketi çıkarsayan gelişmiş bir ÇÖÇE modeli içermektedir. Bu çalışma kapsamında geliştirilen ÇÖÇE yöntemlerinin sadece slayt düzeyinde bilgi kullanarak tüm slayt meme histopatolojisi görüntülerinin çok-sınıflı sınıflandırılması probleminde öğrenme ve genelleme yeteneğine sahip olduğunu ve ek olarak, derin öznitelik gösterimlerinin tam denetimli ve zayıf denetimli senaryolarda geleneksel öznitelik gösterimlerine kıyasla daha yüksek başarım verdiğini göstermekteyiz.
|
The examination of a tissue sample has traditionally involved a pathologist investigating the case under a microscope. Whole slide imaging technology has recently been utilized for the digitization of biopsy slides, replicating the microscopic examination procedure with the computer screen. This technology made it possible to scan the slides at very high resolutions, reaching up to 100,000 x 100,000 pixels. The advancements in the imaging technology has allowed the development of automated tools that could help reduce the workload of pathologists during the diagnostic process by performing analysis on the whole slide histopathology images. One of the challenges of whole slide image analysis is the ambiguity of the correspondence between the diagnostically relevant regions in a slide and the slide-level diagnostic labels in the pathology forms provided by the pathologists. Another challenge is the lack of feature representation methods for the variable number of variable-sized regions of interest (ROIs) in breast histopathology images as the state-of-the-art deep convolutional networks can only operate on fixed-sized small patches which may cause structural and contextual information loss. The last and arguably the most important challenge involves the clinical significance of breast histopathology, for the misdiagnosis or the missed diagnoses of a case may lead to unnecessary surgery, radiation or hormonal therapy. We address these challenges with the following contributions. The first contribution introduces the formulation of the whole slide breast histopathology image analysis problem as a multi-instance multi-label learning (MIMLL) task where a slide corresponds to a bag that is associated with the slide-level diagnoses provided by the pathologists, and the ROIs inside the slide correspond to the instances in the bag. The second contribution involves a novel feature representation method for the variable number of variable-sized ROIs using the activations of deep convolutional networks. Our final contribution includes a more advanced MIMLL formulation that can simultaneously perform multi-class slide-level classification and ROI-level inference. Through quantitative and qualitative experiments, we show that the proposed MIMLL methods are capable of learning from only slide-level information for the multi-class classification of whole slide breast histopathology images and the novel deep feature representations outperform the traditional features in fully supervised and weakly supervised settings. |