Please use this identifier to cite or link to this item:
https://hdl.handle.net/10216/89899| Author(s): | Emanuel Augusto Santos Pinho |
| Title: | Monitoring systems for parallel distributed data management systems |
| Issue Date: | 2016-07-11 |
| Abstract: | A BigData information system is usually composed by a large number of machines, which working closely in a network, perform distributed and parallel operations. Usually these systems go together with a monitor system that allows the control of many indicators, for instance, performance, resource allocation, error prevention, root-cause analysis. Nowadays, there are many systems which perform these functions, however, they have some disadvantages such as the graphics limitation, complex organization and its targeted approach to physical components. This study aims to understand what are the graphic visual mechanisms and interaction processes that allow the representation of performance monitoring data in grid computing environments, allowing the end-user information the ability to easily perceive the behavior of the BigData information system. This study is being carried in the broader context of a European project FP7 LeanBigData (which has already been graded with two excellents, in annual revision classifications) that aims to build a complete BigData information system, focusing its attention on solving efficiency problems. The monitor system innovative solution must be able to deal with the project needs, which are presented as a distinctive in problem-solving context. This study begins with an analysis of some of the systems used today. Based on their main qualities and disadvantages, it was formulated a hypothesis, conceived a solution and develop a proof of concept, where it was applied different techniques of representation of the resources structure, allowing the user interaction with a flow of use simple and intuitive. It was also devised an alternative approach to the representation of the physical components, designing a logical representation, which can be easily drawn conclusions on task organization of the network machines. To keep this interaction simple and complete, it requires a construction and edition of graphs and dashboards to enhance differentiation and manipulation capacities. With the implementation of the proof of concept proposed and approved by the project consortium, simulation tests were made with a simulation system carried out by the project. |
| Description: | Um sistema de informação BigData é vulgarmente composto por um vasto conjunto de máquinas, que funcionando em rede, desempenham funções de forma distribuída e em paralelo. Estes sistemas estão vulgarmente acompanhados de sistemas de monitorização para avaliação de vários indicadores, por exemplo, performance, alocação de recursos e prevenção de erros. Na atualidade existem inúmeros sistemas que desempenham estas funções, no entanto, apresentam algumas desvantagens como limitações na representação gráfica de organização complexa e a sua abordagem direcionada a componentes físicos. O presente estudo tem como principal objetivo perceber quais as melhores alternativas de mecanismos visuais gráficos e de interação que permitem a representação de dados de monitorização de performance em ambientes de grid computing, e possibilitam fornecer informação ao utilizador final capaz de contribuir de forma objetiva na perceção da análise comportamental do sistema. O estudo insere-se no contexto do projeto europeu FP7 LeanBigData (contando já com duas classificações anuais de excelente) que tem como principal objetivo a construção de um sistema de informação BigData completo, focado em problemas de eficiência. Este sistema surgirá acompanhado de um sistema de monitorização capaz de dar resposta às necessidades do projeto, que se apresentam como diferenciadoras num contexto de resolução de problemas. Neste estudo faz-se a análise de alguns dos sistemas mais usados. Partindo das conclusões dessa análise quanto às desvantagens identificadas nesses sistemas, formulou-se uma hipótese, concebeu-se uma solução e desenvolveu-se uma prova de conceito, onde foram aplicadas diferentes técnicas de representação da estrutura dos recursos, permitindo que a interação com o utilizador mantivesse um fluxo do uso da aplicação simples e intuitivo. Foi idealizada também uma alternativa à abordagem física da representação dos diversos componentes do sistema, reproduzindo uma interpretação lógica, onde podem ser facilmente retiradas conclusões sobre alternativas de organização de tarefas pelas máquinas da rede. Para que a interação se concluísse simples mas completa, a construção e edição de diversos gráficos e respetivos dashboards também foi requerida como abrangente nas suas potencialidades de diferenciação e manipulação. Com a implementação da prova de conceito proposta e respetiva aprovação pelo consórcio do projeto, foram realizados os devidos testes de simulação comportamental num sistema fornecido pelo projeto, simulando o objeto de estudo. |
| Subject: | Engenharia electrotécnica, electrónica e informática Electrical engineering, Electronic engineering, Information engineering |
| Scientific areas: | Ciências da engenharia e tecnologias::Engenharia electrotécnica, electrónica e informática Engineering and technology::Electrical engineering, Electronic engineering, Information engineering |
| DOI: | 10.34626/2b0a-w066 |
| TID identifier: | 201302268 |
| URI: | https://hdl.handle.net/10216/89899 |
| Document Type: | Dissertação |
| Rights: | openAccess |
| Appears in Collections: | FEUP - Dissertação |
Files in This Item:
| File | Description | Size | Format | |
|---|---|---|---|---|
| 139183.pdf | Monitoring Systems for Parallel Distributed Data Management Systems | 3.13 MB | Adobe PDF |  View/Open |
Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.