Tez No	İndirme	Tez Künye	Durumu
763232		Directional regularization based variational models for image recovery / Görüntü onarımı için yön güdümlü düzenlemeye dayalı varyasyonel modeller Yazar:EZGİ DEMİRCAN TÜREYEN Danışman: PROF. DR. MUSTAFA ERSEL KAMAŞAK Yer Bilgisi: İstanbul Teknik Üniversitesi / Lisansüstü Eğitim Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı / Bilgisayar Mühendisliği Bilim Dalı Konu:Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control Dizin:Görüntü analizi = Image analysis ; Görüntü restorasyonu = Image restoration ; Varyasyonel yöntemler = Variational methods	Onaylandı Doktora İngilizce 2022 166 s.
Görüntü onarımı; gürültü giderme, netleştirme, iç boyama ve süper çözünürlüklü görüntü oluşturma gibi çeşitli doğrusal ters görüntüleme problemlerini ifade eder. Bu problemler, kötü kurulmuş (ill-posed) olmalarından dolayı zordur. Olası birçok çözüm tamamen aynı gözlem verisine sebep olabilir, bir başka ifadeyle gözlemlenen veriyi çözüme dönüştüren sistem bire bir değildir. Dahası, bozulmaya uğramış görüntüde kaçınılmaz olarak var olan gürültü, veri ile çözüm arasında sürekli olmayan bir bağlılığa yol açar. Gürültü hakkında, bazı istatistiksel özellikler dışında, tam bir kavrayışa sahip olmak ise mümkün değildir. Tüm bu sebeplerden dolayı, hem birden fazla olası çözümün yol açtığı kafa karışıklığını gidermek, hem de kararlı bir çözüm sağlamak için, çözüme dair önsel bilgiye ihtiyaç duyulur. Bu önsel bilgi, model güdümlü varyasyonel yöntemlerde, amaç fonksiyonunda bir veya daha fazla terime karşılık düşen düzenlileştirici (regularizer) fonksiyoneller ile kodlanır. Veri güdümlü yöntemler ise önsel bilgiyi; kayıp fonksiyonları, ağ mimarisi ve/veya öğrenme verisi yoluyla temsil eder. Önsel bilgi; uzamsal komşuluk (spatial contiguity), seyreklik (sparsity) ve yerel olmayan öz-benzerlik (non-local self-similarity) gibi genel bir özellik üzerine olabileceği gibi, uzaysal olarak değişen yerel özellikler de olabilir. Görüntüdeki yerel yapıların anizotropisi ve yönselliği, görüntü onarımında düzenlileştirme amacıyla faydalanılabilecek yerel özelliklere örnek olarak verilebilir. Bu tezde, bir görüntüdeki yönsel özelliklerden görüntünün onarımında faydalanmanın yolları irdelenmiştir. Bu doğrultuda temel amaç, onarılacak olan görüntü içerisindeki yönselliği teşvik eden düzenlileştirme yaklaşımları önermektir. Bu tezi iki faza ayırarak değerlendirmek mümkündür. İlk faz kapsamında, yön farkındalığı olan analiz-temelli düzenlileştirici fonksiyoneller tasarlanmıştır. Bu tasarımlar, yapı tensörüne dayalı toplam değişinti (STV) fonksiyonellerini temel almaktadırlar. STV fonksiyonelleri tersine görüntüleme problemlerinde kullanılmak üzere önerilmiş modern toplam değişinti (TV) varyantlarıdırlar. Yerel değişintiyi, yapı tensörünün özdeğerlerini kullanarak ölçerler. Yapı tensörünün, görüntünün bir noktasındaki değişintiyi, o noktanın komşuluğundan faydalanarak özetleyen, yarı-yerel bir tanımlayıcı olması sayesinde STV fonksiyonelleri, hem altta yatan anizotropiyi teşvik eden, hem de daha gürbüz modeller oluşturabilmektedirler. Bu tezde, yönlü önsellerden faydalanarak, STV temelli modellerin daha yüksek performans göstermeleri sağlanmıştır. Önerilen düzenlileştiriciler, görüntüdeki yapıların yönlerinin ve eşyönsüzlük (veya anizotropi) dozlarının daha önceden bilindiğini varsayarlar ve bu bilgiyi, yerel değişintiyi ölçerken kullanırlar. Bu amaçla bu çalışma, yapı tensörünü, "yönlü" birinci mertebeden türevlerin yerel bir komşuluk içindeki dağılımını özetleyecek şekilde tekrar tanımlamıştır. Bu sayede, özünde sadece yerel yapısal düzenliliği dayatan STV ceza terimine yön farkındalığı da kazandırılmıştır. Diğer yandan, STV'nin dayattığı önsele ek olarak, doğal görüntülere içkin yerel olmayan öz-benzerlik önselini de dayatan STV'nin yerel olmayan alternatifi de aynı yaklaşımla yeniden tasarlanmıştır. Önerilen bu iki tür (yarı-yerel ve yerel olmayan) düzenlileştirici, gürültü giderme ve netleştirme problemlerini varyasyonel bir çerçeve içerisinde modellemek için kullanılmışlardır. Oluşturulan modeller dışbükey olduklarından, sayısal olarak çözülebilmeleri için yakınsal ayırma (proximal splitting) temelli dışbükey optimizasyonu algoritmaları geliştirilmiştir. Önerilen düzenlileştiricilerin uygulanabilirliği önündeki en büyük engel, her bir görüntü noktasındaki yön ve eşyönsüzlük dozu bilgilerinin aslında erişilebilir olmayışıdır. Bu nedenle, ortaya atılan modeller, görüntü onarımını gerçekleştirebilmek için yön parametrelerinin (yön ve eşyönsüzlük dozu) kestirimini üstlenen bir yordama ihtiyaç duyar. Böyle bir yordam, görüntüdeki yapıların baskın bir veya birkaç yön sergilediği durumlarda yön bilgisini hassas bir şekilde ve kolaylıkla tahmin edebilir. Ancak, pratikte tek veya az sayıda baskın yön barındıran görüntülere rastlamak mümkün olsa da, gerçek dünya görüntüleri bu denli yapısal değildir, yönelimler heterojen ve istikrarsızdır. Bariz bir yönlülüğü olmayan gerçek dünya görüntüleri, her bir yön parametresi için, uzamsal olarak değişen birer harita gerektirir. Bu çalışmada, her biri yarı-yerel/yerel olmayan yapı tensörünün özvektör/özdeğer ayrışımından faydalanan iki farklı parametre kestirim yöntemi önerilmiştir. Bu yöntemlerin birinde toplam değişinti düzenlileştirme, diğerinde ise anizotropik Gauss çekirdekleri kullanılmıştır. Özetle, tez çalışmasının ilk fazında, yön parametrelerini iki farklı yöntem ile kestiren ve yön-farkındalığı olacak şekilde tasarlanmış iki farklı düzenlileştirici kullanan, iki farklı görüntü düzenlileştirme çerçevesi önerilmiştir. Düzenlileştiriciler yön parametrelerinin kılavuzluğunu gerektirdiğinden, adlandırmada "yön-güdümlü (direction-guided)" terimi kullanılmıştır. Son olarak, önerilen yöntemlerin, STV ve yerel olmayan STV dahil olmak üzere modern analiz-temelli düzenlileştiricileri kullanan yöntemler üzerindeki üstünlükleri, nicel ve görsel deneyler yoluyla doğrulanmıştır. Tezin ikinci fazında ise, model güdümlü görüntü onarımından ziyade veri güdümlü görüntü onarımına odaklanılmıştır. Düzenlileştirme, yönlülük ve eşyönsüzlük üzerine önsel bilgiyi öğrenme verisi içerisine transfer etme yoluyla uygulanmıştır. Özel olarak, referans görüntülere erişimin zor olduğu floresan mikroskobu görüntülerinin derin öğrenme yoluyla gürültüden arındırılması üzerine çalışılmıştır. Gürültünün güdümlü derin öğrenme yoluyla giderimi, öğrenme kümesinde temiz/gürültülü görüntü çiftlerinin olmasını gerektirmektedir. Ancak floresan mikroskobu kullanarak bol miktar ve çeşitlilikte temiz görüntü elde etme girişimi, zahmetli olmasının yanı sıra fototoksik etkiler de gösterebilmektedir. Bu nedenle, literatürdeki çalışmalar, yetersiz veri sorununun üstesinden öğrenme kümesinde doğal görüntüler, görüntü sentezleri veya ortalaması alınmış düşük çözünürlüklü floresan görüntüleri kullanarak gelmeye çalışmaktadırlar. Bu veri yoluyla bilgi transferi yaklaşımının, ihtiyacı karşılamanın yanı sıra, aşırı öğrenme (overfitting) ile baş etmek için de anlamlı olabileceğini gösteren çalışmalar mevcuttur. Bu tezin ikinci fazı kapsamında, öğrenme kümesinin, erişimi kolay ve bol miktarda veri barındıran çeşitli veri kümelerinden, hedef görüntüler ile semantik olarak ilgisiz ancak düşük seviyeli özellikleri benzerlikler gösteren kaynak görüntüler seçerek tasarlanması önerilmiştir. Bu seçmeli yöntem, model güdümlü onarım teknikleri konusundaki deneyimlerimize dayanarak, aday görüntülerin renk, izotropi/anizotropi ve yönsellik özelliklerini ve bunların floresan mikroskobu görüntüleriyle benzerliklerini irdelemektedir. Daha önce de değinildiği üzere, bir derin öğrenme modelinin bu özelliklerden faydalanması, eğitim verilerini bu özellikleri temsil edecek şekilde seçerek mümkün kılınabilmektedir. Yalnızca düşük seviyeli bilgilerin aktarımı, öğrenme kümesine dahil edilen görüntülerin ek bilgiler yoluyla katkı sunmasına imkan vermektedir. Bu yaklaşım, modelin içerik farkındalığı ile evrenselliği arasında iyi bir denge sunmasına olanak tanımaktadır. Tasarlanan öğrenme kümesi, genel amaçlı bir gürültü giderme ağı olan ancak floresan mikroskobu görüntülerinin onarımında da kullanılan İleri Beslemeli Gürültüsüzleştirme Evrişimsel Sinir Ağı'nın (DnCNN), farklı veri kümeleri üzerinde eğitilmesi yoluyla sınanmıştır. Karşılaştırılan modeller; tasarlanan veri kümesine ek olarak, hedef floresan mikroskobu görüntüleri, doğal görüntüler, mekan görüntüleri, hava (aerial) fotoğrafları ve doku (texture) görüntüleri içeren veri kümeleri üzerinde eğitilmişlerdir. Dahası, tasarlanmış veri kümesi üzerinde eğitilmiş ancak, ince ayar (fine-tuning) yoluyla az miktarda floresan verisinin de desteğini almış olan bir model de deneylere dahil edilmiştir. Deney sonuçları, yaklaşımımızın, rastgele seçilen ilgisiz kaynak veri kümelerinden önemli ölçüde üstün, gerçek floresan görüntüleri ile ise kompetitif performanslı bir veri kümesi tasarlayabildiğini göstermiştir. Öte yandan, ince ayar yoluyla, içerik farkındalığını teşvik ederek onarım performansını daha da artırmak mümkün olabilmektedir. Çalışma kapsamında sonuçların istatistiksel anlamlılığı da sorgulanmış; öğrenme kümesindeki verileri renk, izotropi/anizotropi ve yönsellik özelliklerine göre seçmenin anlamlı bir şekilde performansı arttırdığı gözlemlenmiştir. Deneyler hem Gauss hem de Poisson-Gauss gürültü giderme problemlerini göz önünde bulunduracak şekilde hazırlanmıştır. Tasarlanmış veri kümesi üzerinden eğitilen modellerin genelleme becerisi ise, harici kaynaklardan derlenmiş, dolayısı ile farklı konfigürasyonlara (numune türü + floresan mikroskobu tipi/ayarları + görüş alanı) sahip verilerden oluşan bir test kümesi üzerinde sınanmıştır. Bu deney grubunda, tasarlanmış öğrenme kümesinin, gerçek floresan görüntülerinden oluşan hedef öğrenme kümesinden bile üstün modeller eğitebildiği gözlemlenmiş, böylece yaklaşımımızın modelin evrenselliğine katkısı teyit edilmiştir. Bu tez çalışması, her biri bir bölüme karşılık düşen üç makaleye dayanmaktadır. Giriş bölümünün ardından sırasıyla bu makaleler sunulmuş ve bulgular, hem kendi tartışma ve sonuç bölümlerinde, hem de tezin sonuç bölümünde irdelenmiştir. "Adaptif yön-güdümlü yapı tensörüne dayalı toplam değişinti" şeklinde isimlendirdiğimiz ilk makale, yukarıda bahsedildiği şekilde, STV fonksiyonellerine yön farkındalığı kazandıran ve tasarladığımız yeni düzenlileştiricilere dayalı bir gürültü giderme algoritması öneren çalışmalarımızın bir çıktısıdır. İkinci makale "Görüntü onarımı için yerel olmayan adaptif yön-güdümlü yapı tensörüne dayalı toplam değişinti" şeklinde isimlendirilmiştir. Makale kapsamında ilk makalede tasarlanmış olan düzenlileştiricilerin yerel olmayan öz-benzerlik önselini de kodlamaları sağlanmış ve buna bağlı olarak gürültü giderme/netleştirme problemlerini çözen bir algoritma geliştirilmiştir. Üçüncü makale ise tezin ikinci fazında yaptığımız çalışmaların bir sonucudur. "Tasarlanmış veri kümesinden öğrenme aktarımı yoluyla floresan mikroskobu görüntülerinin onarımı" isimli makalemizde; renk, izotropi/anizotropi ve yönsellik özelliklerini gözeterek hazırlanmış bir öğrenme kümesi ile eğitilmiş modellerin, yetersiz veri ve aşırı öğrenme sorunlarının çözümünde nasıl rol oynayabileceği tartışılmıştır. Tez kapsamında yayınlamış üç makale ile ele alınan araştırma problemlerine tatmin edici çözümler üretilmiş ve literatüre, hem kullanışlı hem de umut vaadedici alternatifler ile katkı sağlanmıştır.
This thesis explores how local directional cues can be utilized in image recovery. Our intent is to provide image regularization paradigms that encourage the underlying directionalities. To this end, in the first phase of the thesis work, we design direction-aware analysis-based regularization terms. We boost the structure tensor total variation (STV) functionals used in inverse imaging problems so that they encode directional priors. More specifically, we suggest redefining structure tensors to describe the distribution of the ``directional" first-order derivatives within a local neighborhood. With this decision, we bring direction-awareness to the STV penalty terms, which were originally imposing local structural regularity. We enrich the nonlocal counterpart of the STV in the same way, which were additionally imposing nonlocal image self-similarity beforehand. These two types of regularizers are used to model denoising and deblurring problems within a variational framework. Since they result in convex energy functionals, we also develop convex optimization algorithms by devising the proximal maps of our direction-aware penalty terms. With these contributions in place, the major barrier in making these regularizers applicable lies in the difficulty of estimating directional parameters (i.e., the directions/orientations, the dose of anisotropy). Although, it is possible to come across uni-directional images, the real-world images usually exhibit no directional dominance. It is easy to precisely estimate the underlying directions of uni-directional (or partially directional) images. However, arbitrary and unstable directions call for spatially varying directional parameters. In this regard, we propose two different parameter estimation procedures, each of which employs the eigendecompositions of the semi-local/nonlocal structure tensors. We also make use of total variation (TV) regularization in one of the proposed procedures and a filterbank of anisotropic Gaussian kernels (AGKs) in the other. As our image regularization frameworks require the guidance of the directional parameter maps, we use the term ``direction-guided" in naming our regularizers. Through the quantitative and the visual experiments, we demonstrate how beneficial the involvement of the directional information is by validating the superiority of our regularizers over the state-of-the-art analysis-based regularization schemes, including STV and nonlocal STV. In the second phase of the thesis, we shift our focus from model-driven to data-driven image restoration, more specifically we deal with transfer learning. As the target field, we choose fluorescence microscopy imaging, where noise is a very usual phenomenon but data-driven denoising is less applicable due to lack of the ground-truth images. In order to tackle this challenge, we suggest tailoring a dataset by handpicking images from unrelated source datasets. This selective procedure explores some low-level view-based features (i.e., color, isotropy/anisotropy, and directionality) of the candidate images, and their similarities to those of the fluorescence microscopy images. Based upon our experience on the model-driven restoration techniques, we speculate that these low-level characteristics (especially directions) play an important role on image restoration. In order to encourage a deep learning model to exploit these characteristics, one could embed them into the training data. In fact, we establish the possibility of offering a good balance between content-awareness and universality of the model by transferring only low-level knowledge and letting the unrelated images bring additional knowledge. In addition to training a feed-forward denoising convolutional neural network (DnCNN) on our tailored dataset, we also suggest integrating a small amount of fluorescence data through the use of fine-tuning for better-recovered micrographs. We conduct extensive experiments considering both Gaussian and mixed Poisson-Gaussian denoising problems. On the one hand, the experiments show that our approach is able to curate a dataset, which is significantly superior to the arbitrarily chosen unrelated source datasets, and competitive against the real fluorescence images. On the other hand, the involvement of fine-tuning further boosts the performance by stimulating the content-awareness, at the expense of a limited amount of target-specific data that we assume is available.