Tez No	İndirme	Tez Künye	Durumu
401349		Utilization of 3D data in face recognition / Yazar:NESLİ ERDOĞMUŞ Danışman: PROF. DR. JEAN-LUC DUGELAY Yer Bilgisi: Institut Mines-Télécom / Yurtdışı Enstitü Konu:Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control Dizin:	Onaylandı Doktora İngilizce 2012 188 s.
Güvenlik uygulamalarına olan ihtiyaç ve yatırımlar büyük ölçüde artarken, özellikle bir konu diger bir çok örüntü tanıma alanlarından çok daha fazla dikkat çekmektedir: Biyometri - insanları fiziksel ve/veya davranıssal özelliklerine dayanarak tanıma. Bu fiziksel özelliklerden biri olan yüz, erisilirlik ve güvenilirlik arasında sagladıgı uzlasma ile ön plana çıkmaktadır. Bu doktora tezinde temel olarak, yüz tanımada digerlerine görece daha yeni bir modalite olan 3B sekil bilgisi incelenmistir. Dogası geregi aydınlatma ve durus degisikliklerinden etkilenmemesi dolayısıyla 2B karsılıgından daha avantajlı olsa da, 3B yüz bilgisi halen veri elde etme aksaklıkları veya yüz ifadeleri ve perdelemeden kaynaklanan yüzey bozulmaları gibi önemli sorunlar ile karsı karsıyadır. Bu noktalar göz önünde bulundurularak, 3B yüz verisinin ön-islemesi, nirengi noktalarının otomatik olarak bulunması, yüz ifadelerinin ve tahriflerinin 3B benzetimleri, 3B öznitelik çıkarma ve 3B bölgesel yüzey incelemesi konularının dahil oldugu kapsamlı bir çalısma sürdürülmüstür. Plk olarak yüzün 3B gösterimleri ve buna baglı ön-isleme teknikleri gözden geçirilmistir. Ön-isleme genel olarak yüz bölgesinin çıkarılması, ani çıkıntıların ve boslukların yok edilmesi ve yüzeyin yumusatılması süreçlerinden olusmaktadır. Bunlara ek olarak, farklı yüz bölgelerinin yapısal özelliklerine göre her iki modaliteyi (sekil ve doku) de kullanan bir otomatik nirengi noktası bulma yöntemi sunulmustur. Ardından, 3B yüz bilgisinin avantajları sistem kaydının hem 2B hem de 3B veriyle yapıldıgı ancak tanıma için kullanılan test imgelerinin 2B imgeler oldugu asimetrik bir senaryo dahilinde arastırılmıstır. Onyıllardır süregelen arastırma çalısmalarına ragmen, 2B yüz tanıma sistemleri halen, özellikle mümkün olan tüm degisimleri temsil edemeyen az sayıda örnegin oldugu durumlarda, sınıf-içi degisimlerde zorluklarla karsılasmaktadır. Bu probleme yönelik, galeri kümesini genisletme amacıyla her birey için çesitli yüz ifadelerini sentetize eden bir yüz tanıma sistemi önerilmistir. Pnce metal plaka egrileri (TPS) tabanlı bir yöntem benimsenerek, yüz ifadeleri benzetimleri yapmak için soysal bir model, istemciye özgü MPEG-4 uyumlu canlandırılabilir yüz modellerine bükülmüstür. Önerilen galeri büyütmenin yüz tanıma basarımına olan yararlı etkileri deneylerle gösterilmistir. Daha sonra, yukarıda bahsedilen uygulama çerçevesinin bir yan ürünü olarak, soysal modeli bükme esnasında elde edilen TPS parametrelerinin biyometrik imzalar olarak kullanılması önerilmis ve ayırdedici özellikleri analiz edilmistir. Çakıstırma uygulamalarında çogu zaman gereksiz bir artık ürün olarak görülen bu parametreler aslında alısılagelmis olandan (soysal model) sapmaları temsil etmektedirler. Bu noktadan hareketle yüz sekli hakkında yogun bilgi içerdikleri ispatlanmıstır, ancak sonuçlar aynı zamanda yüz ifadelerine olan dayanıksızlıklarını da ortaya koymusur. Bu sonuçları müteakip, yüz modelleri için yerel asli sekil dagılımlarına dayanan, bölgesel güvenilirlik seviyesi kestirimi algoritması gelistirilmistir. Yüz çakısmayacak sekilde 7 bölgeye ayrılmıs ve her bölge yüzey bozulumlarının miktarına göre degerlendirilmistir. Her bir parça için, yapay bir sinir agı (ANN) kullanılarak güvenilirlik kestirilmistir. ANNler yinelemeli en yakın nokta (ICP) tabanlı bir yöntem kullanılarak otomatik ölçülen bölgesel kalite skorları esas alınarak egitilmislerdir. Burada "kalite" çözünürlük, gürültülülük, vs. gibi özellikleri degil, yüz ifadesi ve perdelemeden kaynaklı yüzey bozulmalarının miktarını esas almaktadır. Sonrasında, güvenilirlik dereceleri kestirimleri bölgesel eslestirme skorlarının dogrulama ve kimlik belirleme amaçlı birlestirilmesinde kullanılmıstır. Bu amaç için üç farklı tümlestirme yöntemi denenmistir: Toplam kuralı, Borda sayımı ve bölgesel eslestirme skorlarını olasılıklara dönüstüren olasılıksal bir yöntem. Son olarak, 3B yüz tanımada yeni yeni agırlık kazanan bir arastırma alanı ele alınmıstır: yüzde kısmi tahrifat yaparak bir tanıma sisteminden kaçınmaya olan duygunluk. Plastik cerrahi, prostetik makyaj, takma burun gibi bir çok araç kullanılarak gerçeklestirilebilen bu tahrifatlar sayısız sekilde ve büyüklükte olabilir. Ne var ki, bu degisikliklerin olası etkileri üzerine yapılan arastırmalar oldukça sınırlıdır. Bu doktora çalısmasında, burun bölgesine uygulanacak benzer degisikliklerin çesitli önemli yüz tanıma teknigi basarımlarına olan etkileri incelenmistir. Bu amaç için, her örnek yüz modelindeki burun bölgesinin rasgele seçilmis bir baska burun bölgesi ile degistirildigi sentetik bir veri tabanı hazırlanmıs, burun degisikliklerinin tanıma basarımlarındaki etkileri tayin edilmistir.
As the need and investment for security applications grow vastly, one particular topic has certainly been attracting higher attention than many other pattern recognition fields: biometrics – recognition of humans based on their physical and/or behavioral traits. Among those traits, face stands out with its favorable reconcilement between accessibility and reliability. In this doctoral dissertation, we principally investigate 3D shape which is a relatively more recent modality in face recognition. Being advantageous to its 2D counterpart for being intrinsically invariant to illumination and pose changes, 3D face recognition still encounters major challenges such as acquisition inadequacy or facial surface deformations due to expressions or occlusion. Bearing those in mind, a thorough study is carried out on this topic, including pre-processing of 3D facial data, automatic landmarking, facial expression and alteration simulations in 3D, 3D feature extraction and 3D regional surface analysis. We firstly study pre-processing techniques for 3D face. The pre-processing includes extraction of the facial region, elimination of spikes and holes in the facial mesh and finally smoothing. Additionally, we present an automatic landmarking method that utilizes both modalities (i.e. shape and texture) according to inherent characteristics of different regions on face. Then, we investigate the advantages of 3D face information in an asymmetrical scenario in which a combined enrollment is realized by both 2D and 3D information whereas the target images are still 2D images. Despite the decades of research, 2D face recognition systems still encounter difficulties with intra-subject variations, especially in case of few sample images which cannot capture all those possible deviations. For this problem, we propose a face recognition system that synthesizes various facial expressions for each subject to augment a given gallery set. By adopting a Thin Plate Spline (TPS) – based method, we warp a generic model to generate client-specific MPEG-4 compliant animatable face models for facial expression simulations and we demonstrate the beneficial effects of the proposed gallery augmentation in recognition performances. Next, as a useful by-product of the previous framework, we propose to employ the TPS parameters that are obtained by warping the generic model as biometric signatures and analyze their discriminative properties. Those parameters which have mostly been overlooked as superfluous sediment in registration applications represent the deviations from the conventional and they are proven to possess concentrated information about the facial shape. However, the results also revealed a frailty in the presence of facial expressions. Subsequently, we present a regional confidence level estimation algorithm for facial surfaces based on local primitive shape distributions. Face is divided into 7 nonoverlapping regions that are to be evaluated according to the presence of mesh distortions. For each segment, an Artificial Neural Network (ANN) is utilized to estimate a confidence level. The ANNs are trained using regional quality scores automatically measured by an Iterative Closest Point (ICP)-based method. Here, "quality" implies the absence of occlusions or expressions, rather than mesh resolution, noisiness, etc. In the end, we exploit the reliability score estimations to combine the regional match scores for verification and identification purposes via three different fusion methods at score level: Sum rule, Borda Count and a probabilistic approach which converts match scores into probabilities. Finally, an emerging field of research in 3D face recognition is explored: susceptibility to evasion in a recognition setting by partially modifying the facial surface. Those modifications can be achieved via plastic surgery, prosthetic make-up, latex appliances, etc. and they can be in countless different ways and amounts. However studies on their possible impacts are still very limited. In this dissertation, we analyze how such changes on nose region can affect the face recognition performances based on experiments conducted by using several benchmark algorithms. For this purpose, a simulated face database is prepared in which nose of each probe sample is replaced with another randomly chosen one and the impact of the nose alterations on the recognition performances is assessed.