Tomada de Decisões Estratégicas – Uma Plataforma

Orientada a Dados
Gesse Santos

Pós-Graduação em Data Science – Laureate International Universities - Faculdades

Metropolitanas Unidas – FMU - São Paulo – SP – Brasil –
Setembro de 2020

Resumo. Este artigo descreve um projeto de plataforma orientada a dados

para a empresa Expertise PMD. A empresa considera imprescindível a
análise massiva dos dados dos clientes com a finalidade de obter maior
assertividade na tomada de decisões. Para isso a Expertise PMD usa técnicas
e tecnologias de dados e clusters para oferecer a seus clientes insumos
relevantes de suporte às decisões.

1. Contexto do Negócio Proposto

A evolução dos sistemas computacionais tem viabilizado a obtenção de uma
grande quantidade de dados oriundos de sistemas ERP, dispositivos Internet das Coisas,
redes sociais, Logs de transações, entre outros. Estes dados necessitam de
processamento e análise antes de serem usados em processos de tomada de decisão.
Neste contexto a plataforma distribuída de armazenamento e processamento oferecida
pelo ecossistema Hadoop se torna largamente conhecida e aplicada para tratar e
distribuir estes dados.
2. Desafios de Negócio

Conforme WANG (1999), a evolução dos sistemas computacionais e a

possibilidade de coleta de dados deu origem à “idade da informação”. O grande volume
de dados é conhecido como Big Data. Esta era da informação apresenta vários desafios
tais como: a) Volume dos dados que KAISLER (2013) descreve como a quantidade de
dados que uma organização tem acesso; b) Velocidade dos dados que CANARY (2013)
descreve como a quantidade de dados que transitam entre os nós da rede em um curto
espaço de tempo; c) Variedade dos dados definido por FRANÇA (2014) como as
diversas formas de apresentação e modelagem com que os dados se apresentam; d)
Veracidade dos dados descrita por DUTRA (2016) como a probabilidade que estes
dados representem as entidades de onde foram tomados; e) Arquitetura de Data
Center estudada por VOLPINI (2018) onde o autor destaca problemas como
refrigeração, localização, escalabilidade, espaço físico, consumo de energia, etc;
f) Estrutura dos dados que DEHDOUH (2020) destaca como um desafio pois
os dados podem se apresentar em diversos formatos e sem qualquer estruturação
prévia; g) Relacionamento entre dados descritos por LOPES (2020) como a
grande quantidade de dados que surgem de diversas fontes mas representam
partes do mesmo conhecimento ou se relacionam de forma intrínseca
representando relevância na análise. Todos estes desafios requerem artefatos
tecnológicos para endereçar cada problema.

3. Execução do Projeto

Para solucionar os problemas que emergem com o processamento de grandes

volumes de dados propõe-se a plataforma HADOOP que já é amplamente usada em
vários segmentos de negócio tais como: Bioinformática ALNASIR (2020), Segurança
da Informação XU (2020), Meio Ambiente SEMLALI (2020), Análise de Riscos XU
(2020) entre outros. Hadoop é um ecossistema completo para computação para
comportar o processamento de muitos dados em ambiente big data. Esse processamento
é dividido em vários nós ou clusters, para maximizar o poder computacional. O projeto
é open source e mantido pela Apache Software KALIA (2020). O ecossistema
apresenta uma plataforma que suporte uma grande gama de ferramentas desenvolvidas
para endereçar problemas específicos oriundos da Big data:
a) A arquitetura é distribuída, escalável e permite descentralizar os problemas de
grande concentração de dados, distribuindo-os em diversos ambientes físicos. A
Hadoop proporciona ferramentas para armazenamento e processamento dos
dados.
b) Os problemas de volume, variedade e velocidade dos dados são tratados pelo
componente MapReduce do ecossistema Hadoop. O MapReduce realiza o
mapeamento dos dados e em seguida a redução a um formato sintético que
possibilita a análise.

c) A verificação da veracidade, a estrutura dos dados e os relacionamentos entres

os mesmos podem ser resolvidos usando os novos bancos de dados NoSQL que
permite trabalhar com dados sem uma estrutura definida, realizar o cruzamento
dos dados e desenvolver grafos para visualização dos relacionamentos
intrínsecos entre os dados. Os bancos de dados relacionais não são adequados
para estes tipos de dados uma vez que estes bancos necessitam de uma
modelagem prévia SILVA (2019).
4. Artefatos do Projeto

Adicionalmente, a Expertise PMD pode produzir artefatos para documentação

dos requisitos e decisões de projeto a entregar a cada cliente. Os artefatos devem
espalhar fielmente o processo de coleta, transformação e deploy dos modelos de dados,
ZANLORENCI (1998). Os artefatos devem fornecer informações sobre a evolução dos
requisitos desde a concepção, contendo: 1) O detalhamento estrutural do projeto; 2) O
contexto de negócio que justifica a demanda por cada requisito; 3) As decisões tomadas
nos estudos preliminares; 4) obtenção das bases de dados; 5) Pré-processamento; 6)
Avaliação, 7) Otimização, 8) Deploy do modelo final 9) Execução em Produção, 10)
Gráficos Interativos, 11) Relatórios do processo disponibiliza os dados obtidos de forma
massiva em ambientes big data e que serão usados pelos clientes da Expertise PMD na
tomada de suas decisões de negócio.

9. Resultados esperados do projeto

A Expertise PMD espera obter melhor comunicação com seus clientes
conhecendo mais sobre seus padrões de atividades e seus problemas de negócio que
podem ser resolvidos através da análise de grandes volumes de dados.

Referências
WANG, W.-L. Viewpoint: information in the information age. Commun. ACM 42,
6 (June 1999), 23–24.
Kaisler, Stephen, et al. "Big data: Issues and challenges moving forward." 2013 46th Hawaii
International Conference on System Sciences. IEEE, 2013.
Canary, Vivian Passos. "A tomada de decisão no contexto do Big Data: estudo de caso único."
(2013).
França, Tiago Cruz, et al. "Big Social Data: princípios sobre coleta, tratamento e análise de
dados sociais." Anais do SBBD (Porto Alegre). SBC (2014): 1-40.
Dutra, Moisés Lima, and Douglas Dyllon Jeronimo de Macedo. "Curadoria digital: proposta de
um modelo para curadoria digital em ambientes big data baseado numa abordagem semi-
 automática para a seleção de objetos digitais." Informação & Informação 21.2 (2016): 143-
169.
Volpini, Nestor DO, et al. "Uma análise do consumo de energia de ambientes de
processamento de dados massivos em nuvem." Anais do XVII Workshop em Desempenho
de Sistemas Computacionais e de Comunicação. SBC, 2018.
Dehdouh, Khaled, Omar Boussaid, and Fadila Bentayeb. "Big Data Warehouse: Building
Columnar NoSQL OLAP Cubes." International Journal of Decision Support System
Technology (IJDSST) 12.1 (2020): 1-24.
Lopes, Dener Cesar Ferreira. "Grafos de conhecimento: perspectivas e desafios para a
organização e representação do conhecimento." (2020).
Alnasir, Jamie J., and Hugh P. Shanahan. "The application of hadoop in structural
bioinformatics." Briefings in bioinformatics 21.1 (2020): 96-105.
Xu, Yonglin, et al. "Design and implementation of distributed RSA algorithm based on
Hadoop." Journal of Ambient Intelligence and Humanized Computing 11.3 (2020): 1047-
1053.
Semlali, Badr-Eddine Boudriki, Chaker El Amrani, and Guadalupe Ortiz. "Hadoop paradigm for
satellite environmental big data processing." International Journal of Agricultural and
Environmental Information Systems (IJAEIS) 11.1 (2020): 23-47.
Xu, Runjie, et al. "Risk Fluctuation Characteristics of Internet Finance: Combining Industry
Characteristics with Ecological Value." arXiv preprint arXiv:2001.09798 (2020).
Kalia, Khushboo, and Neeraj Gupta. "Analysis of hadoop MapReduce scheduling in
heterogeneous environment." Ain Shams Engineering Journal (2020).
SILVA, Paulo, et al. "ESTUDO COMPARATIVO ENTRE BANCOS DE DADOS SQL E
NOSQL." Plataforma de Submissão de Trabalhos e Anais de Eventos da Unicruz (2019).
ZANLORENCI, Edna P.; BURNETT, Robert C. Ferramenta de Apoio aos Processos da
Engenharia de Requisitos, nas Fases de Projeto. In: WORKSHOP DE ENGENHARIA DE
REQUISITOS (1998 : Maringá). Anais... Maringá: SBC/SBES, 1998. v. 1, p 39-48.