Tez No İndirme Tez Künye Durumu
270072
Audiovisual analysis for learning and synthesis of dance performances / Dans performanlarının öğrenme ve sentez amaçlı işitsel-görsel analizi
Yazar:FERDA OFLİ
Danışman: DOÇ. DR. YÜCEL YEMEZ ; PROF. DR. AHMET MURAT TEKALP
Yer Bilgisi: Koç Üniversitesi / Fen Bilimleri Enstitüsü / Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
Konu:Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control ; Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering ; Mühendislik Bilimleri = Engineering Sciences
Dizin:
Onaylandı
Doktora
İngilizce
2010
93 s.
Bu tez çalışmasında müzikle sürülen dans hareketi sentezi için çeşitli dans performanslarını inceleyen işitsel-görsel bir çatı yapısı önerilmektedir. Önerilen çatı yapısı öncelikle yinelenen temel dans ve müzik örüntülerini çıkarmayı hedefler. Daha sonra çıkarılan dans ve müzik örüntüleri arasındaki ilintiler incelenerek müzikten dans hareketlerine giden çoktan çoğa bağıntılar oluşturulur. Bu bağıntı ise müzikle sürülen dans koreografisi sentezinde ve kişiye özgü dans performansı animasyonu oluşturulmasında kullanılır. Bu çatı yapısını baz alarak ilk önce yinelenen temel dans ve müzik örüntülerinin güdümsüz çıkarımı ve ilinti analizini ele alan bir sistem sunmaktayız. Daha sonra ikinci bir sistemle önerilen çatı yapısının hem analiz hem de sentez kısımlarını görece basit bir senaryoda, dans performanslarının bir müzik için bir dans figüründen oluştuğu durumda, ele almaktayız. Son olarak, daha karmaşık bir senaryo için gerekli modelleme, analiz ve sentezi topyekün yapabilecek tam donanımlı bir sistem sunmaktayız. Bu sistem verilen müziğin içeriğine ve yapısına uygun alternatif dans koreografilerini otomatik olarak sentezlemektedir. Her bir sistem için deneysel sonuçlar göstermiştir ki; önerilen çatı yapısı müzik ve dans hareket örüntülerini belirlemede, belirlenen örüntüler arasında bağıntı modelleri oluşturmada, oluşturulan bağıntı modelleri ile müziğe uygun dans hareketleri sentezlemede başarılıdır.
In this thesis, we propose an audiovisual framework for analysis of dance performances towards music-driven dance motion synthesis. The proposed framework first aims to extract elementary recurrent music and dance motion patterns. Then the analyses of the correlations between the elementary music and dance motion patterns are used to construct many-to-many statistical mappings from music to dance motions. These many-to-many mappings are then used for music-driven dance choreography synthesis and personalized dance performance animations. Based on this audiovisual framework, we first present a system that deals primarily with the unsupervised correlation analysis of elementary recurrent music and dance motion patterns. Later we present a second system that considers both analysis and synthesis parts of the proposed framework in a rather simplified context where a dance performance is assumed to have only a single dance motion pattern which is to be synchronized with the musical beat. Finally, we present a complete system for modeling, analysis, and synthesis of audiovisual dance performances that handles more complex and realistic scenarios. The third system automatically synthesizes a variety of synchronized dance performances that perceptually match the emotions and contents of the accompanying music; as if they were arranged by a choreographer. Experimental results for each system demonstrate that the proposed framework is able to extract and utilize from audiovisual correlations between music and dance motion patterns for synthesis of compelling music-driven dance performances.