Please use this identifier to cite or link to this item: http://hdl.handle.net/10216/107701
Author(s): Daniel Fernandes Gomes
Title: Detecting garment and its landmarks
Issue Date: 2017-07-18
Abstract: Garment folding is a task happening daily at our homes, retail and industry. When put into numbers, over a lifetime people spend on average 375 days performing this chore, while employees at a store may fold the same shirt 119 times per day.Despite the associated repetitive characteristics of this task, its automation is still far from being achieved mainly due to the large number of possible configurations that a crumpled piece of clothing may assume. In general, highly deformable objects still present large challenges for both fields of Robotics and Computer Vision. We attempt to offer a contribution to the garment folding automation by addressing the recognition of clothing pieces without much constraints on their pose or wrinkling, mimicking a most realistic scenario as possible. Such capability would enable a folding robot to choose and adapt its execution plan to the current clothing category.Because the considered problem revolves around clothe recognition, this work may also be of the interest of many other clothe related software applications such as recommendation systems existing on e.g., online e-commerce platforms, or intelligent surveillance setups that require tracking of people by their clothing description.Some work has been produced using Machine Learning techniques that, in general, consist on extracting a set of engineered features from the source image and then applying classification algorithms (e.g., Support Vector Machines) to find the associated clothing category and or pose. With the recent success of Convolutional Neural Networks, where features extraction is incorporated in the learning process, on the object classification problem, these have been preferred in favor of the previous pipelines. We apply Deep Learning techniques on images containing a single piece of clothing in a flat, wrinkled and semi-folded pose, existing on a clean background with the goal of classify and localize each piece. Furthermore, its relevant landmarks (shoulders, legs, crotch, etc) are equally treated. We train and evaluate our solution using the datasets produced by CTU at the CloPeMa project.
Description: A dobragem de vestuário é uma atividade que acontece diariamente nas nossas casas, na indústria e no retalho. Quando expressa em números, cada pessoa passa 375 dias da sua vida a realizar esta tarefa, enquanto funcionários de uma loja poderão dobrar a mesma t-shirt até 119 vezes por dia. Apesar das repetitivas características associadas a esta tarefa, a sua automação está ainda longe de ser alcançada dado o grande número de possíveis configurações que uma peça de roupa pode assumir. Em geral, objetos altamente deformáveis ainda apresentam grandes desafios para ambos as áreas de estudo Robótica e Visão por Computador. Na tentativa de oferecer uma contribuição à automação da dobragem de vestuário, o reconhecimento de peças de roupa será aborado, sem que muitas restrições sejam na sua posse ou enrugamento, com o objetivo de simular um cenário o mais realista quanto possível. Esta capacidade permitirá a um robô escolher e adaptar o seu plano de execução à peça de roupa de então. Porque o problema considerado gira em torno de reconhecimento de peças de roupa, este trabalho poderá ainda ser do interesse de outras aplicações tais como: sistemas de recomendação existentes, por exemplo, em plataformas comércio online, ou instalações de vigilância inteligentes que necessitem de detetar pessoas com base na descrição do seu vestuário. Algum trabalho tem já sido produzido utilizando técnicas de Machine Learning que, no geral, consistem na extração de conjuntos de características da imagem seguida da aplicação de algoritmos de classificação (e.g., Support Vector Machines) para encontrar a posse ou categoria associada. Com o recente sucesso das Redes Neuronais Convolucionais, onde a extração de características é incorporada no processo de aprendizagem, no problema de reconhecimento de objetos, estas têm vindo a ser preferidas em detrimento das anteriormente utilizadas cadeias. Técnicas de Deep Learning serão aplicadas em imagens que contêm uma peça de roupa em poses plana, enrugada e semi dobrada, e cujo o seu fundo é sólido, com o objetivo de classificar e localizar cada peça. Os pontos de interesse de cada peça (ombros, pernas, entre-pernas, etc) são igualmente tratados. Ambas as fases treino e a avaliação da solução apresentada são realizados utilizando os conjuntos de dados produzidos pela CTU no decorrer do projeto CloPeMa.
Subject: Engenharia electrotécnica, electrónica e informática
Electrical engineering, Electronic engineering, Information engineering
Call Number: 218721
URI: http://hdl.handle.net/10216/107701
Document Type: Dissertação
Rights: openAccess
Appears in Collections:FEUP - Dissertação

Files in This Item:
File Description SizeFormat 
218721.pdfDetecting garment and its landmarks4.85 MBAdobe PDFThumbnail
View/Open


Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.