• Informações do Trabalho

Titulo UM ESTUDO DE INTEGRAÇÃO DE DADOS HETEROGÊNEOS Subtítulo Autor JOÃO PAULO FERREIRA RODRIGUES Orientador VICTOR STROELE DE ANDRADE MENEZES Resumo Com o advento da internet e da era do Big Data, se tornou crucial para as organizações analisar e extrair conhecimento de um extenso volume de dados. Com tudo, o fato de, na maior parte das vezes, os mesmos se originarem de fonte da dados diferentes, torna a análise de dados heterogêneos um grande desafio a ser superado. Foram desenvolvi- das diversas pesquisas nessa área, gerando algumas ferramentas capazes de executar essa função, como, o SQRE, o ARGO e o CloudMdsQL. Este trabalho propõe uma arquite- tura baseada no Apache Spark para viabilizar a integração de dados e, fazendo uso de uma API, deixar transparente para o usuário a integração das fontes heterogêneas, diferentemente das propostas anteriormente citadas. A solução proposta foi implementada utilizando Spark, e uma API construída em Python, conectando uma base de dados em Neo4J, com as relações entre atores, diretores e filmes, e uma base de dados em Post- greSQL, contendo informações como gastos, faturamentos e popularidade dos filmes. Foi implementado também, na API, métodos com objetivos de analisar os dados e extrair informações utilizando a integração das duas fontes de dados. Para avaliar a proposta, foram conduzidos Cenários de Uso, onde os usuários utilizam do sistema proposto para obter informações sobre atores e filmes. Com a avaliação, verificou-se que a arquitetura proposta apresentou os resultados esperados, se mostrando uma alternativa viável para a tarefa de integração de dados. Além de confirmar o Spark como uma ferramenta pode- rosa de integração de dados, principalmente devido as abstrações presente nativamente na mesma. Assim, entendemos que a proposta é uma forma eficiente de integrar e analisar uma variedade abrangente de tipos de dados. Palavras-Chave Integração de Dados, Spark, Banco de Dados, API, Neo4j, PostgreSQL, Dados Heterogêneos.