Please use this identifier to cite or link to this item: https://hdl.handle.net/10216/89369
Author(s): João da Silva Fernandes
Title: A framework to adapt WIMP interfaces to No-Touch
Issue Date: 2014-07-10
Abstract: With the introduction of technology in hospitals the number of health-care associated infections saw an increase, as doctors would use poorly sterilized computers before interacting with the patient. There are workarounds to these infections, such as better sterilization procedures for technology, which is still imperfect, sterilization procedures for the doctor, which is time consuming and use of an assistant to interact with he computer at the doctor's orders, which is also time consuming and can be frustrating for the doctor. No-touch interfaces provide an opportunity to solve these infections. However, resources for developers who wish to implement these interfaces are scarce, with science fiction movies such as Minority Report still acting as one of the main guidelines for interaction design. A collaboration was made with Glintt HS to understand the interactions required by doctors in the operating room, using Glintt's eResults application as a study case for the development of a framework to easily adapt any web-based interface to a no-touch interface. This application allows doctors to browse through the patient's clinical history and view results, which may be documents, images or videos.Literature in this area shows that there are very few guidelines for the development of no-touch interfaces and the only existing frameworks are simple mouse replacements with no impact on the interface itself. Regarding the operating room, the Microsoft Kinect has been successfully used for image manipulation in the past two years. The technological alternatives are standard RGB cameras and the LeapMotion, but the Microsoft Kinect proves itself more adequate as it possesses a depth sensor and a maximum range of 4 meters.A web framework was developed that allowed the developer to create the no-touch interfaces by merely adding the classes offered by the framework to the HTML elements they wish to make interactive via no-touch. Furthermore, the framework offers an API that can receive JSON messages representing input from a no-touch device and processes the interaction, and a native program was made to pass the Kinect's tracking data to the API.Development followed a Rapid Iterative Testing and Evaluation (RITE) methodology, where various interactions were implemented and tested with one or two users, for each of the various interaction components, such as button pressing, list scrolling or image rotation. After each component had satisfactory interactions, a no-touch prototype of Glintt's eResults was made and, finally, larger usability tests were done on this prototype to measure the efficiency of the adaptation.
Description: Com a introdução de tecnologia nos hospitais veio acompanhada de um aumento de infeções relacionadas com cuidados de saúde, uma vez que os médicos utilizam computadores mal esterilizados antes de interagir com o paciente. Existem formas de contornar estas infeções, tais como melhorar os procedimentos desinfeção do equipamento, que ainda mostram várias falhas, procedimentos de desinfeção do médico, que consome bastante tempo, e o uso de um assistente para interagir com os computadores seguindo as ordens do médico,, que também é pouco eficiente a nível de tempo e pode ser frustrante para o médico. As interfaces no-touch ofrecem uma oportunidade para resolver este problema. No entanto, os recursos para desenvolver estas interfaces são escassos, sendo que filmes de ficção científica como o Minority Report ainda são dos melhores pontos de referência disponíveis para desenhar a interação.Foi feita uma colaboração com a Glintt HS, no sentido de perceber quais os casos de uso que os médicos necessitam numa cirurgia, utilizando a aplicação eResults da Glintt como o caso de estudo para o desenvolvimento de uma framework para adaptar facilmente qualquer interface web para uma interface no-touch que utiliza tecnologias web. Esta aplicação permite aos médicos navegar pelo historial clínico e consultar resultados, que podem ser documentos, imagens ou vídeos.A literatura nesta área revela que existem poucas linhas de apoio ao desenvolvimento de interfaces sem-toque e, no que diz respeito ao seu uso na sala de operações, o Microsoft Kinect tem sido usado com sucesso na manipulação de imagens nos últimos dois anos. As alternativas tecnologicas são câmeras RGB comuns e o LeapMotion. No enanto, o Microsoft Kinect revela-se mais adequado, uma vez que possui um sensor de profunidade e um alcance máximo de 4 metros.Foi desenvolvida uma framework web que permite a criação de interfaces no-touch, adicionando apenas as classes oferecidas pela framework aos elementos HTML que se pertende tornar interactivos via no-touch. A framework oferece ainda uma API que recebe mensagens JSON representando movimento capturado por um dispositivo para interação no-touch e processa a interação e foi desenvolvido um programa nativo para passar os dados capturados pelo Kinect para a API.O desenvolvimento seguiu uma metodologia RITE, onde as várias interações foram implementadas e testadas com um ou dois utilizadores para cada um dos componentes, tais como a seleção de elementos e manipulaçãod e imagens. Quando todos os componentes tiveram interações satisfatórias, foi criado um protótipo de uma versão no-touch do eResults da Glintt e, no final, foram realizados testes de usabilidade numa escala maior para medir a eficiência da adaptação.
Subject: Engenharia electrotécnica, electrónica e informática
Electrical engineering, Electronic engineering, Information engineering
Scientific areas: Ciências da engenharia e tecnologias::Engenharia electrotécnica, electrónica e informática
Engineering and technology::Electrical engineering, Electronic engineering, Information engineering
TID identifier: 201307030
URI: https://repositorio-aberto.up.pt/handle/10216/89369
Document Type: Dissertação
Rights: openAccess
Appears in Collections:FEUP - Dissertação

Files in This Item:
File Description SizeFormat 
31849.pdfA framework to adapt WIMP interfaces to No-Touch4.9 MBAdobe PDFThumbnail
View/Open


Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.