Tez No	İndirme	Tez Künye	Durumu
532025		A framework for design and personalization of digital, just-in-time, adaptive interventions / Dijital, anlık, uyarlanabilir müdahalelerin dizayn ve kişiselleştirilmesine yönelik bir sistem Yazar:SUAT GÖNÜL Danışman: PROF. DR. AHMET COŞAR Yer Bilgisi: Orta Doğu Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı Konu:Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control Dizin:Makine öğrenmesi yöntemleri = Machine learning methods ; Takviyeli öğrenme = Reinforced learning ; Önleyici müdahale = Preventive intervention	Onaylandı Doktora İngilizce 2018 172 s.
Dünya çapındaki ölümlerin büyük çoğunluğunun sebebi sağlığa uygun olmayan davranışlar ve kronik hastalıklardır. Çalışmalar, kişiye özgü destek programlarıyla bu istenmeyen davranış ve hastalıkların üstesinden gelinmesinde daha iyi sonuçlar alındığını göstermektedir. Dijital, anlık ve uyarlanabilen müdahaleler herhangi bir konum ve zamanda, sağlık problemleriyle başetmek üzere uygulanan cep telefonu bildirimleridir. Bu çalışmada, sağlıkla ilgili müdahalelerin dizaynı ve kişiselleştirilmesine yönelik bir sistem önerilmektedir. Çalışmanın müdahale dizaynına yönelik kısmı müdahale tasarımcılarını hedeflemekte ve belirli bir sağlık problemi ya da kitlenin gereksinimlerine uygun müdahaleler tanımlamalarını sağlamaktadır. Kişiselleştirme kısmıysa müdahale uygulama stratejilerini müdahalenin zamanlamasına, sıklığına ve çeşidine göre eniyileyen pekiştirmeli öğrenme tabanlı bir mekanizma sunmaktadır. Bu mekanizma müdahale seçme ve uygun an tespitine yönelik, birbirleriyle senkronize bir şekilde çalışan, iki farklı pekiştirmeli öğrenme modeli içermektedir. Bu modeller kişilerin uzun-vadeli ve anlık bağlamlarıyla ilgili toplanan verilerle beslenmektedir. Müdahale seçme modeli müdahale uygulamasını sıklık ve çeside göre uyarlarken, uygun an belirleme modeli uygulamanın zamanlamasına etki etmektedir. Öğrenme performansını arttırmak amacıyla, standart algoritmaların üzerine iki iyileştirme önerilmektedir. İlk olarak, öğrenme vekilinin takip ettiği yol boyunca geçmiş adımlarını seçici bir şekilde ödüllendirmesine yönelik uyarlanmış uygunluk izleri önerilmektedir. İkinci iyileştirmedeyse öğrenme transferi yöntemi belirli bir pekiştirmeli öğrenme ortamında öğrenilen bir bilginin birden ortamda yeniden kullanılmasını sağlamaktadır. Dizayn ve kişiselleştirme modülleri ayrı ayrı doğrulanmaktadır. Dizayn kabiliyetleri, önerilen yaklaşımın literatürden elde edilen müdahale gereksinimlerinin karşıladığını göstererek doğrulanmaktadır. Bunun yanı sıra dizayn mekanizması bir gerçek hayat tedavi programı için gerekli müdahaleleri tanımlamak için kullanılmıştır. Önerilen kişiselleştirme yöntemi ise esasen temsili deney yöntemiyle doğrulanmıştır. Günlük aktivitelerinde, belirli müdahale yöntemleriyle ilgili tercihlerinde ve hedeflenen davranış değişikliğine karşı tavırlarında farklılaşan dört farklı karakterin simülasyonu yapılmıştır. Sonuçlar iyileştirilmiş algoritmaların standart algoritmalara göre daha iyi sonuç verdiğini ve simülasyonu yapılan karakterlere atfedilen farklılıklara uygun şekilde tepki verdiğini göstermiştir. Önerilen kişiselleştirme yöntemiyle ilgili, ilk versiyonlarından biriyle yapılan küçük çaplı gerçek hayat deneyine yönelik sonuçlar da sunulmaktadır. Bu deneyde, önerilen yöntemle standard algoritmalara ve sabit müdahale uygulama planlarına göre daha iyi sonuçlar elde edilmiştir.
Adverse and suboptimal health behaviors and chronic diseases are responsible from a substantial majority of deaths globally. Studies show that personalized support programs yield better results in overcoming these undesired behaviors and diseases. Digital, just-in-time and adaptive interventions are mobile phone-based notifications that are being used to support people wherever and whenever needed in coping with the health problem. In this study, a framework is proposed for design and personalization of such interventions. The design part targets intervention designers and allows them to configure interventions that address specific needs of a particular health problem or population. The personalization part presents a reinforcement learning based mechanism to optimize intervention delivery strategies with respect to timing, frequency and type of interventions. Specifically, two reinforcement learning models, namely intervention-selection and opportune-moment-identification, are employed simultaneously. The models are fed with data obtained pertaining to people's long-term and momentary contexts. While the intervention-selection model adapts the intervention delivery with respect to type and frequency, the opportune-moment-identification model tries to find the most opportune moment to send interventions. Two improvements over the standard reinforcement algorithms are proposed to boost the learning performance. First, a customized version of eligibility traces is employed to reward past actions throughout the agent's trajectory in a selective manner. Second, the transfer learning method is utilized to reuse knowledge across multiple learning environments. The design and personalization modules of the proposed approach are validated individually. For the design part, it is shown that the proposed approach addresses the requirements of the intervention design specifications extracted from the extant literature. It is also shown that the design mechanism was utilized to design interventions for a real-life care program. The personalization part is validated mainly via a simulated case-study. Four personas are simulated with differentiating parameters in their daily activities, preferences on specific intervention types and attitude towards the targeted behavior. The results show that the improved algorithms yield better results compared to the standard versions and capture the simulation variations associated to the personas. A small-scale real-life case study has also been conducted utilizing a preliminary version of the proposed personalization method. Better results were obtained by the proposed approach compared to the base algorithm and a fixed intervention delivery schedule.