Please use this identifier to cite or link to this item: http://hdl.handle.net/10216/88268
Author(s): Daniel António Teixeira Varum
Title: Sistema de realidade virtual (Oculus Rift) para controlo remoto de braço robótico
Issue Date: 2015-07-22
Abstract: Recently, immersive interfaces have entered the scene, notoriously coupled with natural interactions. We have Head-Mounted Displays that allow for virtual worlds to be rendered and viewed in 3D, and motion sensors that track the user's body and recognize certain gestures. One of many potential usages of these technologies is in the teleoperation of robots without the need of technical expertise.The idea is to build a proof of concept that combines these areas of study. In order to do that, a case study was chosen: physical maintenance of computer network devices. Currently this is done by experts that need to reach each network rack to handle these devices. This dissertation aims to change the way these tasks are performed by trying to eliminate the need to walk to each rack.The goal is to develop an immersive system with a natural interface to remotely control a robotic arm through gestural commands of the arms, hands and fingers of the user so that the mentioned network device maintenance tasks can be executed potentially from a distance. The studied references describe systems that solve similar problems using technologies such as inertial sensors and computer vision algorithms, but do not consider the issues of robot movement precision and visualization of the physical space where the robot operates.In the proposed solution, an Oculus Rift and a stream of real time 3D video are used to solve the problem of visualization of the area where the network devices are. The recognition of several gestures and poses performed by the user is done with the aid of a Leap Motion. A set of gestures and a set of robot actions are defined and translation is done from the first to the latter. It is also expected to balance the trade-off between the gesture recognition rate and the delay between commands and robot actions.
Description: Recentemente, as interfaces imersivas entraram em voga, notoriamente aliadas a interações naturais. Nesta área, existem os Head-Mounted Displays e os sensores de movimento que fazem tracking do corpo e reconhecimento de gestos do utilizador. Uma potencial aplicação destas tecnologias é a teleoperação de robôs sem necessidade de experiência técnica.O intuito é criar uma prova de conceito que alie estas áreas, numa vertente meramente exploratória. Assume-se, então, um cenário ilustrativo com um problema a resolver: empresas gestoras de redes informáticas, que fazem a manutenção de vários equipamentos de rede. Atualmente, isto é realizado por técnicos que se devem dirigir fisicamente a cada bastidor de rede para manipular os aparelhos. Esta dissertação procura atacar a forma como estas tarefas são executadas, ao tentar eliminar a necessidade de deslocamento a cada bastidor e ao tornar todo o processo remoto.Pretende-se desenvolver um sistema imersivo com uma interface natural para controlar remotamente um braço robótico através de comandos gestuais dos braços, mãos e dedos do utilizador para, então, realizar estas tarefas de manutenção de equipamentos de rede potencialmente à distância. Nas referências analisadas, são descritos sistemas que tentam resolver problemas semelhantes usando tecnologias como sensores inerciais e algoritmos de visão por computador, mas não consideram as questões da precisão e da visualização do espaço onde o robô opera.Na solução proposta, usa-se um Oculus Rift e uma stream de vídeo 3D em tempo real para resolver o problema da visualização do espaço remoto onde se encontram os equipamentos a operar. Para o reconhecimento de vários gestos e poses realizados pelo operador do braço robótico usa-se um Leap Motion, define-se um conjunto de gestos e poses e um conjunto de ações do robô, e traduz-se ainda o primeiro conjunto para o segundo. Procura-se ainda balancear o trade-off entre a taxa de reconhecimento de gestos e o delay entre comandos gestuais e respetivas ações do robô.
Subject: Engenharia electrotécnica, electrónica e informática
Electrical engineering, Electronic engineering, Information engineering
TID identifier : 201300150
URI: http://hdl.handle.net/10216/88268
Document Type: Dissertação
Rights: embargoedAccess
Embargo End Date: 2018-07-21
Appears in Collections:FEUP - Dissertação

Files in This Item:
File Description SizeFormat 
35466.pdfSistema de realidade virtual (Oculus Rift) para controlo remoto de braço robótico2.11 MBAdobe PDF    Request a copy


Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.