Tez No İndirme Tez Künye Durumu
662864
Fast high-dimensional temporal point processes with applications / Hızlı yüksek boyutlu zamansal nokta süreçleri ve uygulamaları
Yazar:ALİ CANER TÜRKMEN
Danışman: PROF. DR. ALİ TAYLAN CEMGİL
Yer Bilgisi: Boğaziçi Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Konu:Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control ; İstatistik = Statistics
Dizin:Makine öğrenmesi = Machine learning ; Çok boyutlu tahmin modeli = Multidimensional forecasting methods ; Çok değişkenli zaman serileri = Multivariate time series
Onaylandı
Doktora
İngilizce
2020
140 s.
Büyük ölçekli sürekli-zamanlı ayrık olay akışları deprembilim, sinirbilim, finans, davranış bilimi ve birçok diğer bilim ve mühendislik disiplininde sıkça odak konusudur. Bu çalışmada, bu tür verilerden ölçeklenebilir bir şekilde-yüksek sayıda olay verisi ve olay türü altında-öğrenme sağlayacak yeni bir dizi model ve algoritma incelenmektedir. Öncelikle yüksek-boyutlu çok-değişkenli Hawkes sürecinde düşük-ranklı parametre kestirimi için iki algoritma önerilmiştir. İlk olarak, negatif olmayan matris ayrışımı ile yeni bir bağlantı üzerine kurulu bir rassal eğim iniş algoritması verilmiştir. İkinci olarak, moment-tabanlı bir yaklaşımla kestirim probleminin tek bir düşük ranklı ayrışıma indirgenebileceği gösterilmektedir. İki yaklaşımda da verinin birkaç kez taranması yeterlidir, yaygınca bilinen matris ayrışımları alt yordam olarak kullanılmaktadır, ve hızlı ve yüksek başarımlı parametre kestirimi sağlanmaktadır. Ayrıca, öz-uyarım ve türler arası uyarım davranışlarını farklı zaman ölçeklerinde tarif eden, global-yerel zamansal nokta süreçleri (ZNS) adıyla yeni bir ZNS sınıfı tanımlanmıştır. Bu sınıfın bir örneği, FastPoint, türler arası uyarım örüntülerini bir derin özyineli sinirsel ağ ile kestirerek eşdeğerlerinden yüzlerce kat daha hızlı öğrenme sağlamaktadır. Global-yerel ZNS modelleri, sıralı Monte Karlo yöntemleri ile çok daha hızlı örnek çekilmesini sağlamakta ve bilinen nokta süreci benzetimi yöntemlerinin tümünden daha verimli sonuç üretmektedir. Son olarak, ZNS modellerinin uygulama alanları, seyrek talep tahmini problemine yenileme süreçleri ve derin öğrenme yöntemlerinin uygulanmasıyla genişletilmiştir. Çalışmamız, yüksek boyutlu ZNS modellerinin yaygın kullanımının önündeki iki büyük engeli-öğrenme ve çıkarımı ölçeklemenin zorluğunu-gidermeyi amaçlamaktadır.
Large sets of continuous-time discrete event streams are often in the focus of seismology, neuroscience, finance, behavioral science among other scientific and engineering disciplines. In this work, we explore a set of novel models and algorithms to learn from such data at scale, in the presence of a large number of events and event types. First, we develop two algorithms for estimating high-dimensional multivariate Hawkes processes with a low-rank parameterization. The first approach leverages a novel connection to nonnegative matrix factorization, which we use to propose a stochastic gradient descent algorithm. We then demonstrate, via a moment-based approach, that we can reduce the parameter estimation problem to a single low-rank approximation. Notably, both approaches require only a few scans of the data, feature well-known matrix decompositions as subroutines, and yield fast parameter estimation. We also propose global-local temporal point processes (TPP), multidimensional TPP models that model self- and mutual-excitation patterns at different scales of time. One such model, FastPoint, relies on deep recurrent neural networks to approximate the mutual excitation pattern, and results in several orders of magnitude faster learning. Global-local TPPs also allow for substantially faster sequential Monte Carlo sampling, greatly accelerating the current state of the art in simulating temporal point patterns. Finally, we propose a novel application area for TPPs, applying ideas from renewal processes and deep learning to intermittent demand forecasting. Our contributions aim to remove both of the main challenges---scalable learning and inference---facing the adoption of high-dimensional TPP models.