Please use this identifier to cite or link to this item: https://hdl.handle.net/10216/106219
Author(s): Leonel Jorge Nogueira Peixoto
Title: Sistema Híbrido Baseado em Geometria e Vídeo 360º 3D para Realidade Virtual em Dispositivos Móveis
Issue Date: 2017-07-14
Abstract: Nowadays virtual reality is becoming popular in society because it provides an immersive experience at lower costs and better usability that it had in the past. However, it turns out that the development of the devices used to spread this technology tends to diverge in two different ways. On the one hand, there are devices that use the computing power of fixed computers allowing a high-quality experience but that limit the user's ability to move due to the necessary cables. On the other hand, there is the growth of mobile devices that allow greater freedom of movement but limit the experience due to the fact that they have less processing capacity.To promote virtual reality in mobile devices with high quality and visual fidelity without frame rate losses and without prejudice in the immersive experience, it is necessary to simplify the virtual environments visualized, thus reducing the computational requirements.A possible compromise is the combination of objects with three-dimensional geometry superimposed on a 360º image or video that covers the user's viewing area. This 360º image or video is previously generated on a high-processing power system, thus containing the details needed to provide good visual quality. The generated 360º image or video cannot provide the interaction that is typically needed in virtual reality environments, but overlapping real-time geometry may allow for interactivity with specific objects of the scenario.However, this solution causes coherence problems between 3D objects and the pre-generated background, such as collisions, occlusions, lighting, shadows, and transparency maintenance along with problems with data streaming and background video compression. Therefore, a set of well-defined metadata must be preserved from the scene that originated the background video, and used in the final device with appropriate techniques to tackle the problems of coherence.In this work we propose a technology aimed at creating a hybrid system based on 3D objects superimposed on the 360º image or video to provide virtual reality environments in devices with low processing capacity.The proposed solution was duly tested and validated through quantitative and qualitative measures.It is expected that such an approach will enable higher quality on mobile-based experiences, which in turn will have an impact on the cost of systems and the progression of the new technology in a larger part of society.
Description: A realidade virtual tem vindo a ganhar popularidade na sociedade devido ao facto de facultar uma experiência imersiva com menor custo e melhor usabilidade do que teve no passado. Porém, verifica-se que o desenvolvimento dos dispositivos utilizados para difundir essa tecnologia tende a divergir em dois caminhos diferentes. Por um lado, existem dispositivos que usam o poder computacional de computadores fixos permitindo uma experiência com alta qualidade mas que limitam a capacidade de movimento do utilizador pelo facto de usarem cabos. Por outro lado, assiste-se ao crescimento de dispositivos móveis que possibilitam uma maior liberdade de movimento mas que limitam a experiência pelo facto de possuírem menor capacidade de processamento.Para promover a realidade virtual em dispositivos móveis com alta qualidade e fidelidade visual sem quebras na taxa de refrescamento e sem prejuízo na experiência imersiva, é necessário simplificar os ambientes virtuais visualizados, reduzindo assim os requisitos computacionais.Um possível compromisso passa pela combinação de objetos com geometria tridimensional sobrepostos a uma imagem ou vídeo 360º que cobre a área de visualização do utilizador. Essa imagem ou vídeo 360º gerados previamente num sistema com elevado poder de processamento, apresentam assim os detalhes necessários para oferecer uma boa qualidade visual. A imagem ou vídeo 360º não permitem a interação que normalmente é necessária em ambientes de realidade virtual, mas a sobreposição de geometria em tempo real pode permitir a interatividade com determinados objetos do cenário.Porém, esta solução acarreta problemas de coerência entre os objetos 3D e o fundo pré-gerado como a manutenção de colisões, oclusões, iluminação, sombras e transparências juntamente com problemas relacionados com o fluxo de dados e compressão do vídeo de fundo. Por isso, deve ser preservado um conjunto de meta-dados bem definido provenientes da cena que originou o vídeo de fundo, e estes devem ser utilizados no dispositivo final com técnicas apropriadas para resolver os problemas de coerência.Neste trabalho propõe-se uma tecnologia destinada a criar um sistema híbrido baseado em objetos 3D sobrepostos a imagem ou vídeo 360º para proporcionar ambientes de realidade virtual de alta qualidade em dispositivos com baixa capacidade de processamento.A solução proposta foi devidamente testada e validada através de medidas quantitativas e qualitativas.Espera-se que esta abordagem permita uma maior qualidade das experiências baseadas em dispositivos móveis, o que por sua vez, terá um impacto no custo dos sistemas e na progressão da nova tecnologia numa maior parcela da sociedade.
Subject: Engenharia electrotécnica, electrónica e informática
Electrical engineering, Electronic engineering, Information engineering
Scientific areas: Ciências da engenharia e tecnologias::Engenharia electrotécnica, electrónica e informática
Engineering and technology::Electrical engineering, Electronic engineering, Information engineering
TID identifier: 201800179
URI: https://repositorio-aberto.up.pt/handle/10216/106219
Document Type: Dissertação
Rights: openAccess
License: https://creativecommons.org/licenses/by/4.0/
Appears in Collections:FEUP - Dissertação

Files in This Item:
File Description SizeFormat 
203765.pdfSistema Híbrido Baseado em Geometria e Vídeo 360º 3D para Realidade Virtual em Dispositivos Móveis12.7 MBAdobe PDFThumbnail
View/Open


This item is licensed under a Creative Commons License Creative Commons