Tez No	İndirme	Tez Künye	Durumu
674767		Hybrid reciprocal recommendation with advanced feature representations / Gelişmiş özellik gösterimleri ile hibrit çift taraflı öneri sistemleri Yazar:EZGİ YILDIRIM Danışman: PROF. DR. ŞULE ÖĞÜDÜCÜ Yer Bilgisi: İstanbul Teknik Üniversitesi / Lisansüstü Eğitim Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı Konu:Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control Dizin:	Onaylandı Doktora İngilizce 2021 120 s.
Son yıllarda, sosyal medya, e-ticaret platformları gibi çevrimiçi servislerin oldukça popüler hale gelmesiyle, bu servislerin çeşitliliğinde, bu servisleri kullanan kullanıcı sayılarında ve dolayısıyla bu alanda ortaya çıkan içeriklerin miktarında öngörülemez bir artış olmuştur. Dahası, çevrimiçi hizmetlerin globalleşmesiyle, bu servisler tüm dünya çapında sayısız kullanıcıya hizmet vermeye başlamış ve bu durum kullanıcıların kendileri için ilgili olan bilgiye erişmesini güçleştirmiştir. Bilgi Çıkarma (Information Retrieval) yöntemlerini kullanan Öneri Sistemleri (Recommender Systems), var olan bu devasa bilgiyi filtreleyerek, ilgili ve değerli olanı kullanıcıların kullanımına sunmak ve böylece kullanıcıların bu aşırı bilgi yükünün üstesinden gelmesine yardımcı olmak için geliştirilmiştir. Bu bağlamda, bir video paylaşım platformu olan YouTube [4]'daki izlenecek video önerileri, bir dijital müzik yayını servisi olan Spotify [5]'daki dinlenilecek şarkı önerileri veya bir çevrimiçi alışveriş platformu olan Bol.com [6]'daki satın alınacak ürün önerileri gibi pek çok alanda öneri sistemleri günlük hayatımıza dahil olmuştur. Çevrimiçi servislerde, kullanıcılara daha iyi hizmet vermek amacıyla sıklıkla makine öğrenmesi yöntemlerine başvurulur. Makine öğrenmesi algoritmalarının bir alt grubu olan, ham veriden çok sayıda Yapay Sinir Ağı (Neural Network) katmanı kullanılmasıyla kademeli olarak yüksek seviye özelliklerin çıkarılmasını sağlayan Derin Öğrenme (Deep Learning); bilgisayarlı görü, konuşma tanıma ve doğal dil işleme gibi çeşitli alanlarda tartışmasız bir başarı elde etmiştir. Yapay sinir ağlarının, bu zorlayıcı alanlardaki yükselen başarısının ardından, çevrimiçi servislerde kullanılan öneri sistemlerinde de derin öğrenme tekniklerine yer verilmiştir. Fakat bu alanda derin öğrenme ile yapılan çalışmaların çoğunda, içerik özelliklerinin geleneksel öneri yöntemlerine dahil edilmesi üzerine çalışılmıştır. Bu tez çalışmasında, hedeflenen başarılardan biri derin öğrenme tekniklerinin öneri problemlerinde doğrudan ve kolaylıkla kullanılabilmesi ve öneri sistemlerine özgü problemlerin aşılmasına katkı sağlamaktır. Bu amaçla, farklı veri kaynaklarının, yaklaşımların ve yöntemlerin birleştirilmesine olanak sağlayan ve Bölüm 5'te detaylı olarak anlatılan kapsayıcı bir hibrit öneri sisteminin anaçatısı (Neural Hybrid Recommender) oluşturulmuştur. İşbirlikçi filtreleme ve içerik tabanlı filtreleme öneri sistemlerinde kullanılan iki temel yaklaşımdır. İşbirlikçi filtreleme, sadece kullanıcının nesneye karşı beğenisinden faydalanarak, bir kullanıcının beğeni geçmişine benzer diğer kullanıcılar tarafından beğenilmiş farklı nesneleri bulup önermeyi amaçlar. İçerik tabanlı filtreleme ise daha çok benzerlik tabanlı yaklaşımlara dayanarak kullanıcının daha önce beğendiği nesnelere benzer nesnelerin önerilmesi esasına dayanır. İşbirlikçi filtreleme, halen pek çok içerik tabanlı filtreleme yönteminden daha yüksek başarı elde etmektedir, fakat sisteme yeni kullanıcı veya nesnelerin dahil edilmesi ile meydana gelen soğuk başlangıç problemlerinde ise içerik tabanlı yöntemler daha başarılı olmaktadır. Bu iki temel yaklaşımın birleştirilmesi ile olumlu sonuçlar elde edilmesine karşın, bunların nasıl birleştirileceği, sistemlerin getirdiği kısıtlar ve yeni hibrit sistemin sahip olduğu yüksek karmaşıklık nedeniyle, halen üzerine çalışılan bir konudur. Bu çalışmada, Derin Yapay Sinir Ağlarıyla (Deep Neural Networks) oluşturulmuş ve nesne tahminlemede yüksek başarı elde etmiş modern işbirlikçi filtreleme yöntemlerine, içerik verisinin etkili bir şekilde dahil edilmesi hedeflenmiştir. Ayrıca, farklı yöntemlerin de bir arada kullanılması ile her bir yöntemin getirdiği avantajlardan faydalanarak başarının artırılması amaçlanmıştır. Önerilen sistem, farklı veri kümeleri ve öneri problemleri üzerinde değerlendirilmiş ve modern işbirlikçi filtreleme yöntemlerinden daha başarılı olmasının yanında, tek veri kaynağı veya tek yöntem kullanımının neden olduğu eksikliklerin giderilmesinde de etkili olmuştur. Önerilen sistemde, öneri probleminin çözümüne yeni bir veri kaynağı veya yeni bir yöntem daha sonra eklenmek istendiğinde, sıfırdan bütüncül bir eğitim gerekmemektedir. Sadece eklenecek olan modülün eğitilmesi ve sisteme entegre edilmesi mümkündür. Derin yapay sinir ağlarının eğitimindeki yüksek maliyet düşünüldüğünde, bu özellik sistemi kullanacak araştırmacılara ve firmalara esneklik ve kullanım kolaylığı sağlamaktadır. Entegre edilen modüllerden, tahminleme başarısı daha yüksek olan veya uygulanan alana daha ilgili olan veri kaynağının etkisi artırılarak daha başarılı bir öneri sistemi oluşturmak mümkündür. Önerilen sistemde, kullanılan modüllerin katkılarını, bir uzman desteğine gerek kalmadan, problemin çözümüne en uygun şekilde öğrenme usulüyle belirleyen otomatik bir ağırlıklandırma modülü bulunmaktadır. Sistemin gerçek verilere dayanarak belirlediği bu otomatik ağırlıklandırma, bu tip sistemlerin eğitilmesi için gerekli olan alan bilgisini en aza indirirken, olası kullanıcı hatalarının da önüne geçmektedir. Önerilen sistem, nesne tahminleme (item prediction) problemleri üzerinde test edilmiş olsa da, hata fonksiyonunun değiştirilmesi ile kolaylıkla beğeni derecesi tahminleme (rating prediction) problemlerine de uyarlanabilir. Çevrimiçi iş edinme (online recruitment), öneri sistemlerinin katkısıyla gelişime açık olan uygulama alanlardan yalnızca biridir ve farklı sektörlerde iş ve işçi arayan pek çok kişi, kurum, kuruluş ve işe alım uzmanını bir araya getirmektedir. İşe alım sürecinin hızlı ve güvenilir olmasının önemini ve gerekliliğini vurgulayan bu alandaki global değişikliklerin etkisiyle, iş önerisi; öneri sistemlerinin oldukça önemli ve ilgi çeken bir uygulama alanına dönüşmüştür. İş arama sürecinde, iş arayanları kendilerine uygun iş ilanlarına yönlendirmek ve işverenlerin beklentilerini karşılamak, sadece işsizlik ve çalışan arayışı sürelerini kısaltmakla kalmaz, şirketlerin daha çevik bir yapı kazanmasına da yardım eder. Geleneksel öneri sistemlerinin aksine bir iş önerisi, eşleşmeye dahil olan tarafların her ikisini de tatmin etmek zorundadır, ki bu da onu Çift Taraflı Öneri (Reciprocal Recommendation) problemi haline getirir. Kişilerin ilgi ve becerilerine uygun işleri adaylara önermenin yanında, çift taraflı bir iş öneri sistemi aynı zamanda adayların önerilen işlere alınma ihtimallerini de göz önünde bulundurmalıdır. Aksi takdirde, aday işi kendine uygun bulsa ve başvuruda bulunsa dahi sonuçta işe alım gerçekleşmeyeceği için adayın hoşnutsuzluğu söz konusu olacaktır. Çevrimiçi flört (online dating) ve çevrimiçi iş edinme gibi uygulamalarda kullanılan çift taraflı öneri sistemlerini geleneksel öneri sistemlerinden ayıran ve onu daha zorlu kılan temel neden bu karşılıklılık ilkesidir. Çift taraflı öneri sistemlerinin karakteristiğini oluşturan zorluklar şu şekilde özetlenebilir [7]: • Karşılıklılık: Başarılı bir önerinin ikili tercihlere bağlı olmasıdır. Sadece önerileri alan kullanıcının tercihlerine odaklanmak yeterli değildir. • Kapasite: Geleneksel öneri sistemlerinde, önerilmenin bir limiti bulunmamaktadır. Örneğin, bir film öneri sisteminde bir film binlerce kullanıcıya önerilebilmektedir. Fakat, çift taraflı öneri sistemlerinde taraflar sınırlı miktarda müsaitliğe sahiptirler. Örneğin, bir işçi aynı zaman diliminde tek bir işte veya ancak paylaşımlı olarak iki farklı işte çalışabilir, fakat bu sayı asla düzineleri bulmaz. • Kısıtlı Aktivite: Çift taraflı öneri sistemlerinde, kullanıcılar sistemi daha çok pasif olarak kullanmaktadır. Bunun başlıca nedeni, bir işin bir aday tarafından kabul edilecek düzeyde beğenilmemesi durumunda, iş teklifi aşamasına gelene kadar adayın başarıyla geçmesi gereken tüm mülakat aşamalarında kaybedeceği zaman ve efordur. Bu nedenle, adaylar başvurularında seçici davranmak zorundadırlar. Böyle bir sistemde, yüksek işe alım oranlarına sahip olmak ve kullanıcıları bu sistemi kullanmaya yönlendirebilmek için, kullanıcıların kısıtlı aktivite davranışlarını dikkate almak, çift taraflı öneri sistemlerinin temel değerlerinden birisidir. • Seyreklik: Çift taraflı ilişki topluluklarındaki kullanıcılar, bir kere tercihlerine göre bir eşleşme bulduklarında sistemi terk ederek, tekrar geri gelmeme eğilimindedir. Partner veya iş/çalışan bulma gibi çift taraflı eşleşme problemleri, doğaları gereği genellikle uzun soluklu çözümlere tabidir. Bu nedenle, çift taraflı öneri sistemleri, çift taraflı ilişki topluluğunun boyutunu belirleyen sayısız kullanıcı hesaba katıldığında seyreklik sorunundan müzdariptirler. Farklı veri kaynaklarını, yaklaşım ve yöntemleri etkili bir şekilde birleştirerek başarılı bir hibrit öneri sistemi oluşturulması için yapılan ön çalışmanın ardından, tez çalışmasının ikinci bölümünde öneri sistemlerinin özel bir türü olan çift taraflı öneri problemi üzerine çalışılmıştır. Yukarıda bahsedilen zorluklarla başa çıkmayı amaçlayarak, çift taraflı öneri problemlerinden çevrimiçi işe alım için Bölüm 6'da yer alan çok hedefli bir öğrenme yaklaşımı önerilmiştir. Önerilen yaklaşım, tahminleme problemlerinde başarısı kanıtlanmış çeşitli modern yöntemlere entegre edilmiş ve Bölüm 4.1'de detaylı olarak anlatılan çevrimiçi işe alım servisi verisi üzerinde test edilmiştir. Bu bağlamdaki çalışmamızı daha önceki araştırmalardan farklı kılan, çift taraflı öneri problemlerinin çok hedefli öğrenme yaklaşımı ile çözülmesi olup, bu yaklaşım son karar verici modülü yapay sinir ağları olan herhangi bir öneri sistemi üzerine uygulanabilir, bu nedenle çalışmanın etki alanı test edilen mimariler ile sınırlı değildir. Sahip olduğu özellikler ve çok hedefli öğrenmeye verdiği olumlu yanıt nedeniyle öne çıkan, yaklaşımımızı entegre ettiğimiz tek hedefli mimarilerden birini esas alarak bir prototip (Bidirectional Deep Factorization Machine) oluşturulmuş ve çift taraflı öneri problemlerinde kullanılması amacıyla önerilmiştir. İşe alımları tahminlemede, yaklaşımımız geleneksel tek hedefli öğrenme modellerine göre yüksek performans elde ederken, geliştirilen prototipimiz de kendisinin tek hedefli yalın versiyonundan %12,15 LogLoss puanı ve %6,37 AUC puanı daha iyi sonuç elde etmiştir. Tahminleme başarısının yanında, çok hedefli öğrenme, geleneksel tek hedefli öğrenme modelleri ile çift taraflı problemlerin çözülmesinde eğitim ve test aşamalarında iki kat hızlanma sağlamaktadır. Bu da karmaşık modellerin getirdiği dezavantajlardan biri olan zaman kısıtının önüne geçilmesinde katkı sağlamaktadır. Zaman ve tahminleme başarısına dayalı performans kriterlerinin yanında, günümüz etik değerlerine uygun olarak, işe alım süreçlerindeki eşitlik ve şeffaflık son derece önem kazanmaktadır. Literatürde bilinen modern makine öğrenmesi modelleri, yüksek başarı için farklı yaklaşımların birleştirilmesi esasına dayanmaktadır. Testlerimizde kullandığımız çoğu modelde olduğu gibi önerilen prototip modelimiz de yüksek dereceli özelliklerin öğrenilmesini sağlayan derin yapay sinir ağları ve tahminleme sonuçlarında açıklanabilirlik sağlayan Faktörizasyon Makineleri (Factorization Machine), diğer tanımıyla çarpanlarına ayırma makineleri, olmak üzere, iki temel yaklaşımı birleştirmektedir. Açıklanabilirlik sunan bu ikinci yaklaşım sayesinde, firmalar istenildiğinde yapılan önerinin nedenlerini sorgulayabilmekte ve makine öğrenmesine dayalı öneri sistemleri sadece girdi ve çıktıları bilinen ve sorgulanamayan kara bir kutu olmaktan çıkmaktadır. Prototipimizi belirleyen modelin seçiminde de bu özellik dikkate alınmıştır.
Over the last few decades, with the rise of online web services such as Facebook, Amazon, and Netflix, Recommender Systems (RecSys) have taken an indisputable place in our daily lives. The application domain of RecSys has an extensive range from e-commerce to online advertisement that aims to suggest to users the right contents matching their preferences, and it is not limited to one-way interacting platforms. In some challenging application domains, RecSys are developed to serve multiple users at each decision, to mutually satisfy the accompanying parties. Where a matching problem occurs and the satisfaction of both parties is the key to success, those recommender systems are called Reciprocal Recommenders (Rec2) in literature. Differing from traditional one-directional recommendation problems, the reciprocal recommendation has more adversity to overcome, which outlines its characteristics. In this study, based on gradual research, we first seek the key points of a strong recommender system, and then, by the learned lessons from this part, focus on the reciprocal recommendation. For this purpose, we first seek answers to these questions in a general recommender system: • How can auxiliary data affect recommendation quality? • How can we easily integrate different data sources and different approaches to empower a recommender system? Then, in the second part, we shift our research focus towards reciprocal recommendation and try to answer the following research questions: • How can we effectively solve reciprocal recommendation problems without detriment to system performance? • How can we avoid vagueness of recommendations and explain conceptual associations of requested and offered characteristics? In recent years, deep learning has gained indisputable success in computer vision, speech recognition, and natural language processing. After its rising success in these challenging areas, it has been studied on recommender systems as well, but mostly to include content features into traditional methods. In the initial part of this thesis, we introduce a generalized neural network-based recommender framework that offers an easy-to-use platform to combine different data sources, approaches, and methods into a single recommender system. This framework, Neural Hybrid Recommender (NHR), also allows us to exploit the same data sources to find out more elaborate information by different learning functions. In our experiments, we have worked on item prediction problems, however, with a single change on the loss function, the framework can be used for rating prediction problems as well. To evaluate the effect of such a framework, we have tested our approach on benchmark and not yet experimented datasets; movie reviews and job applications of job-seekers from an online recruitment platform. The results in these real-world datasets show the superior performance of our approach in comparison with the state-of-the-art deep learning methods in Click-Through-Rate (CTR) prediction. With the use of auxiliary data in different forms, NHR models perform better than collaborative filtering methods that depend on interaction data only. On the movie recommendation task, based on the average of a group of experiments, NHR models achieve 2.03% relative improvements on HR@10 score and 2.51% on NDCG@10 over the most successful baseline used in the evaluation. With the same setup, the improvements on the job recommendation task become even higher; 2.60% and 2.91% on HR@10 and NDCG@10, relatively. Having more promising results on job recommendation with auxiliary data is since this task is far more complex than the movie recommendation task due to the multi-variate socio-economic dependencies in job applications. Our further experiment that investigates the effect of predictive factors, which define the predictive capability in neural networks, also verifies that. Increasing the model complexity without changing the other parameters did not deteriorate the success of models in job recommendation because complex problems are less prone to over-fit, which can usually result from high model complexity. In the latter part of this thesis, we propose a multi-objective learning approach for online recruiting. Online recruiting and online dating are the most known reciprocal recommendation problems. However, the reciprocal recommendation has gained little attention in the literature due to the lack of public datasets. We aim to resolve this shortage in our study. Since the satisfaction of both candidates and companies is indispensable for successful hiring as opposed to traditional recommenders, online recruiting should respect to expectations of all parties and meet their common interests as much as possible. For this purpose, we integrated our multi-objective learning approach into various state-of-the-art methods, whose success has been proven on similar prediction problems, and we achieved encouraging results. We propose one of the prominent architectures as a prototype of our multi-objective learning approach, however, our approach applies to any recommender system employing neural networks as its final decision-maker. Our multi-objective prototype has achieved 12.15% lower LogLoss and 6.37% higher AUC than its single-objective counterpart. Besides the predictive performance, our multi-objective approach has reduced the training and testing times by half. This speedup contributes to overcoming the time constraint that complex models suffer from, so critical in the era of deep learning. Furthermore, our prototype offers explainable recommendations thanks to its Factorization Machines (FM) component. Since explainability has recently gained importance with the global changes and for ethical reasons, we have paid special attention to the selection of our base model for prototyping. Consequently, our prototype offers the reasoning behind the recommendations, so that companies can use it when requested or needed. The explainable recommendation can create a transparent hiring process and so a fair and trustworthy environment for job-seekers. This can increase the turnover rate of users and thereby help to alleviate sparsity.