Tez No İndirme Tez Künye Durumu
301661
Generalized tensor factorization / Genelleştirilmiş tensor ayrışımı
Yazar:YUSUF KENAN YILMAZ
Danışman: YRD. DOÇ. DR. ALİ TAYLAN CEMGİL
Yer Bilgisi: Boğaziçi Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Konu:Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin:M-matrisler = M-matrices ; Tensör çarpımı = Tensor product ; Çarpanlar = Multipliers
Onaylandı
Doktora
İngilizce
2012
236 s.
Bu tez çok boyutlu veri yapıları için genel istatistiksel bir modelleme sistemi önermektedir. Kullandığımız yöntem istatistiksel grafik modelleri ile tensor ayrışımı arasında bir bağ kurarak çok boyutlu ayrışım modellerinin çeşitli maaliyet fonksiyonları için tasarlanmasını ve çözümlenmesini sağlar. Beklenti-En Büyütme (EM) tekniği ile Exponensiyal Sapma Modellerinin olabilirlik değerlerini en iyileyerek beta-divergence için yinelemeli güncelleme denklemlerini elde ediyoruz. Özel durum olarak Öklid, Kullback-Leibler ve Itakura-Saito maliyet fonksiyonlarını kullanıyoruz. Bu denklemleri, daha sonra, Çarpanlı Güncelleme Kuralı (MUR) ve Öklid maliyet fonksiyonu için Dönüşümlü En Küçük Kareler (ALS) denklemlerine dönüştürüyoruz.Ardından KL maliyet fonksiyonu kullanan pozitif parametreli alternatif modeller arasında seçim yapabilen bir yöntem geliştirdik. Bu yöntem marjinal olabilirlik değerini (doğrudan hesaplanamadığından) alt sınırdan yuvarlayan variational Bayes tekniğine dayanmaktadır.Ayrıca, EM yanında, Geneleştirilmiş Doğrusal Modeller (GLM) teorisinin Fisher Skoru olarak bilinen adım uzunluğunu sınırlandırarak pozitif ve reel sayılar için ayrı genel güncelleme denklemleri geliştirdik. Bu sistemi daha sonra birden fazla gözlem tensorlerin aynı anda çarpanlara ayrılma işleminde kullandık. Geliştirdiğimiz sistemi sentetik verilerle ve ayrıca müzik restorasyon problemini çözmek için kullandık.
This thesis proposes a unified probabilistic framework for modelling multiway data. Our approach establishes a novel link between probabilistic graphical models and tensor factorization, that allows us to design arbitrary factorization models utilizing major class of the cost functions while retaining simplicity. Using an expectation-maximization (EM) optimization for maximizing the likelihood (ML) and maximizing the posterior (MAP) of the exponential dispersions models (EDM), we obtain generalized iterative update equations for beta divergence with Euclidean (EU), Kullback-Leibler (KL), and Itakura-Saito (IS) costs as special cases. We then cast the update equations into multiplicative update rules (MUR) and alternating least square (ALS for Euclidean cost) for arbitrary structures besides the well-known models such as CP (PARAFAC) and TUCKER3.We, then, address the model selection issue for any arbitrary non-negative tensor factorization model with KL error by lower bounding the marginal likelihood via a factorized variational Bayes approximation. The bound equations are generic in nature such that they are capable of computing the bound for any arbitrary tensor factorization model with and without missing values.In addition, further the EM, by bounding the step size of the Fisher Scoring iteration of the generalized linear models (GLM), we obtain general factor update equations for real data and multiplicative updates for non-negative data. We, then, extend the framework to address the coupled models where multiple observed tensors are factorized simultaneously. We illustrate the results on synthetic data as well as on a musical audio restoration problem.