Utilize este identificador para referenciar este registo: https://hdl.handle.net/10216/137320
Registo completo
Campo DCValorIdioma
dc.creatorLeonor Baptista da Costa Silva Santos
dc.date.accessioned2025-11-12T17:52:23Z-
dc.date.available2025-11-12T17:52:23Z-
dc.date.issued2021-10-14
dc.date.submitted2021-10-27
dc.identifier.othersigarra:512284
dc.identifier.urihttps://hdl.handle.net/10216/137320-
dc.descriptionCom a evolução conjunta da Indústria e Robótica, os sistemas produtivos tornaram-se cada vez mais complexos, robustos e seguros. No entanto, a sociedade requer que a Indústria se adapte às suas necessidades de uma forma rápida, suave e flexível. A programação contemporânea incorpora metodologias inteligentes no chão de fábrica. Contudo, estas não são flexíveis ou recicláveis quando expostas a novas configurações de produto ou produção. De igual modo, as metodologias raramente conseguem transferir capacidades a outras tarefas. Tudo isto combinado, consome muitos recursos. O primeiro objetivo foi criar um cenário de simulação no seio da Indústria, que fosse facilmente transferido para situações reais, ao mesmo tempo que seguisse as técnicas de Reinforcement Learning. O segundo objetivo foi o estudo sobre como discretizar uma tarefa. Por fim, o último objetivo envolveu avaliar o impacto da reutilização de modelos pré-treinados em diferentes sub-tarefas. A metodologia escolhida recorre à framework robo-gym para interligar o OpenAI Gym com o simulador de física Gazebo e assim criar o cenário de pick and place modificado. A modificação corresponde à adição da tarefa de ajuste do objeto ao encaixe desejado. O treino do agente envolve demonstrações, tal como definido na metodologia denominada de Learning from Demonstration. O algoritmo de treino escolhido foi o Generative Adversarial Imitation Learning, que partilha características tanto de Reinforcement Learning como de Inverse Reinforcement Learning. A primeira conclusão principal foi a de que discretização de tarefas pode ser realizada através da modulação da função de recompensa. A equação deve considerar um gradiente suave de erro e recompensas positivas associadas à conclusão de cada uma das sub-tarefas. As recompensas positivas devem, por um lado, ser sequencialmente maiores, à medida que a sequência progride. Por outro lado, os incrementos entre as recompensas devem também ser crescentes. Assim, a metodologia de discretização consegue simplificar tarefas ditas complexas e melhora desempenho dos agentes, face às metodologias tradicionais. Adicionalmente, provámos que o re-treino de modelos pode ser vantajoso quando não são necessárias novas capacidades ou quando o balanço entre adaptação e exploração é positivo. Nesse caso, as curvas de aprendizagem são muito mais estáveis. Esta proposta reúne um conjunto de regras para flexibilizar e simplificar a programação de uma tarefa industrial, baseada numa função de recompensa. As respetivas análises e conclusões resultaram numa publicação proposta para a a conferência ICAR. Uma segunda publicação está a ser preparada.
dc.description.abstractWith the joint evolution of Industry and Robotics, manufacturing systems are becoming more complex, resilient, and safer. At the same time, Industry 4.0 answers the requirements to adapt to society demands as fast, seamless, and flexible as possible. Despite bringing intelligence methodologies to the factory floor, the contemporary robotic engineering techniques fail to be flexible or resilient when faced with new configurations of new products or different production parameters. Also, currently used methodologies rarely allow to transfer skills from other tasks. All combined, these factors make the development and updating of robotic systems a cumbersome task that requires extensive resources. To address these limitations, this thesis explores how the use of Learning from Demonstration can contribute the improve robotic engineering. The first goal was to create a manufacturing simulation scenario that could easily transfer to real situations while reacting to Reinforcement Learning Techniques. The second objective was to study how to discretise a complex task. The last goal assessed the impact of reusing pre-trained models in different tasks. The methodology used the robo-gym framework, that connects the OpenAI Gym with the Gazebo physics engine, to create a modified pick and place task, where an object had to be fitted in a goal pose. The training involved expert demonstrations as part of the Learning from Demonstration scope. The algorithm employed was the Generative Adversarial Imitation Learning, which shares both Reinforcement Learning and Inverse Reinforcement Learning characteristics. The first key finding was that task discretisation could be achieved with reward function modelling. It can be done with a default smooth gradient error and positive rewards associated with sub-tasks completion. The positive rewards must be sequentially higher as well as the increments between them. This discretisation approach simplifies the complexity associated with the tasks and boosts performance compared to the sequential modelling approach. Secondly, we have proved that retraining models can be sometimes advantageous even when new skills are not required, or when the trade-off between adaptation and exploration is positive. In that case, the learning curve is more stable. This proposal gathers guidelines to flexibilise and simplify engineering associated with a manufacturing task based on a reward function. The work developed in this thesis resulted in a paper already submitted to ICAR and in a second paper under preparation.
dc.language.isoeng
dc.rightsopenAccess
dc.subjectEngenharia electrotécnica, electrónica e informática
dc.subjectElectrical engineering, Electronic engineering, Information engineering
dc.titleLearning from Demonstration using Hierarchical Inverse Reinforcement Learning
dc.typeDissertação
dc.contributor.uportoFaculdade de Engenharia
dc.identifier.doi10.34626/9f3j-2234
dc.identifier.tid202822311
dc.subject.fosCiências da engenharia e tecnologias::Engenharia electrotécnica, electrónica e informática
dc.subject.fosEngineering and technology::Electrical engineering, Electronic engineering, Information engineering
thesis.degree.disciplineMestrado Integrado em Engenharia Electrotécnica e de Computadores
thesis.degree.grantorFaculdade de Engenharia
thesis.degree.grantorUniversidade do Porto
thesis.degree.level1
Aparece nas coleções:FEUP - Dissertação

Ficheiros deste registo:
Ficheiro Descrição TamanhoFormato 
512284.pdfLearning from Demonstration using Hierarchical Inverse Reinforcement Learning16.77 MBAdobe PDFThumbnail
Ver/Abrir


Todos os registos no repositório estão protegidos por leis de copyright, com todos os direitos reservados.