Tez No	İndirme	Tez Künye	Durumu
558563		Statistical methods for fine-grained retail productrecognition / İnce taneli perakende ürün tanıma sistemi için istatistikyöntemler Yazar:İPEK BAZ Danışman: DOÇ. DR. MÜJDAT ÇETİN ; DR. ERDEM YÖRÜK Yer Bilgisi: Sabancı Üniversitesi / Mühendislik ve Fen Bilimleri Enstitüsü / Elektronik Mühendisliği Ana Bilim Dalı Konu:Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control ; Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering Dizin:	Onaylandı Doktora İngilizce 2019 135 s.
Son yıllarda bilgisayarlı görme; alışveriş yardımı, görsel ürün arama (ör. Google Lens), kasaların kullanılmadığı mağazalar (ör. Amazon Go), gerçek zamanlı stok takibi, stok dışı algılama ve raf uygulaması gibi akıllı uygulamaların geliştirilmesiyle birlikte perakende süreçlerinin otomasyonunda çok önemli bir araç haline gelmiştir. Bu uygulamaların temelinde, genel nesne tanımanın aksine çeşitli yeni zorluklar içeren ürün tanıma sorunu yatmaktadır Ürün tanıma en ince ayrıntıyı içeren çoklu benzer ürünlere dair özel bir sınıflandırma örneğidir. Bir hipermarketteki paketlenmiş ürünlerin çeşitliliği göz önüne alındığında, aynı marka altında sadece şekil, ambalaj dokusu, metrik boyut vb. küçük görsel farklılıklar göstermeleri dolayısıyla, birbirlerinden ayırt edilmelerinde güçlük çekilen on binlerce farklı ürünle karsı karsıya kalınmaktadır. Başka bir zorluk ise, ideal stüdyo koşullarında alınan ürün başına sadece birkaç eğitim setine sahip sınırlı sayıda veri kümesi olmasıdır. Bunun sonucu olarak, çapraz veri kümesi genellemesine ihtiyaç duyulur ya da veri kümeleri gerçek bir perakende ortamında raftan alınarak elde edilir. Bu yüzden bulanıklık, düşük çözünürlük, kapanma, beklenmedik arka planlar vb. sorunlarla karşı karşıya kalınır. Bu nedenle, etkili bir ürün sınıflandırma sistemi, ürün resimlerinden elde edilen bilgilere ek olarak büyük ölçüde daha fazla bilgi gerektirir. Bu tezde, ince ayrıntıyı içeren çoklu benzer perakende ürün tanıma sistemi için istatistiksel yöntemler önermekteyiz. İlk çerçevede, ince ayrıntıyı içeren çoklu benzer perakende ürün tanıma problemi için yeni alışılmadık bağlama bağlı bir hibrit sınıflandırma sistemi önermekteyiz. İkinci çerçevede, son teknoloji evrişimsel sinir ağları incelenmiş ve ince ayrıntıyı içeren çoklu benzer ürünleri sınıflandırması için adapte edilmiştir. Bu tezin en önemli katkısının yer aldığı üçüncü çerçevede ise, (1) raflardaki olası ürün düzenlemeleri hakkında istatistiksel bağlam bilgisini öğrenen ve kullanan, (2) markalar arasındaki görsel hiyerarşileri kuran ve (3) sınıflandırıcı çıktısını gerçek sınıf etiketini belirli bir güven seviyesinde içerecek şekilde garanti eden "güven setleri" olarak veren çoklu benzer bir perakende ürün tanıma sistemi önerilmektedir.
In recent years, computer vision has become a major instrument in automating retail processes with emerging smart applications such as shopper assistance, visual product search (e.g., Google Lens), no-checkout stores (e.g., Amazon Go), real-time inventory tracking, out-of-stock detection, and shelf execution. At the core of these applications lies the problem of product recognition, which poses a variety of new challenges in contrast to generic object recognition. Product recognition is a special instance of fine-grained classification. Considering the sheer diversity of packaged goods in a typical hypermarket, we are confronted with up to tens of thousands of classes, which, particularly if under the same product brand, tend to have only minute visual differences in shape, packaging texture, metric size, etc., making them very difficult to discriminate from one another. Another challenge is the limited number of available datasets, which either have only a few training examples per class that are taken under ideal studio conditions, hence requiring cross-dataset generalization, or are captured from the shelf in an actual retail environment and thus suffer from issues like blur, low resolution, occlusions, unexpected backgrounds, etc. Thus, an effective product classification system requires substantially more information in addition to the knowledge obtained from product images alone. In this thesis, we propose statistical methods for a fine-grained retail product recognition. In our first framework, we propose a novel context-aware hybrid classification system for the fine-grained retail product recognition problem. In the second framework, state-of-the-art convolutional neural networks are explored and adapted to fine-grained recognition of products. The third framework, which is the most significant contribution of this thesis, presents a new approach for fine-grained classification of retail products that learns and exploits statistical context information about likely product arrangements on shelves, incorporates visual hierarchies across brands, and returns recognition results as "confidence sets" that are guaranteed to contain the true class at a given confidence level.