Você está na página 1de 88

Raspberry Pi

Business
Intelligence
CEFCO_P208_V1

Eduardo Emilio 2022

UFCD 10796 - Gestão Informação


Gestão de Informação - Introdução

Objectivos

• Analisar o impacto da informação enquanto fator de produção da organização moderna.


• Identificar as alterações recentes nos processos decisionais das organizações.
• Explicar as fases de desenvolvimento de um modelo analítico, bem como as suas principais componentes.
• Avaliar a viabilidade de desenvolvimento de um modelo analítico com base num problema de negócio.

Conteúdos programáticos

• Contexto (Papel da tecnologia na organização moderna; Crescimento universo digital; 7 leis da informação)
• Definições (DataWarehouse; ETL; Big Data; IA; Ciência dos Dados; Machine Learning)
• Decisão baseada em dados (Intuição versus evidência; A decisão atempada; A experiência e a aprendizagem;
Automatização da decisão)
• Princípios básicos da construção de modelos analíticos (Esquema geral de desenvolvimento de um modelo
analítico; Construção de modelos; construção de variáveis; Modelos preditivos e modelos descritivos)
• Dos dados ao valor (Oportunidades para a utilização de modelos analíticos; Construção / Decomposição de
problemas de negócio em problemas analíticos; Casos de Estudo)

2
Gestão de Informação - Introdução

O sucesso das organizações depende da


utilização inteligente da informação.

Peter Drucker

3
Gestão de Informação - Introdução

‣ O cliente é a prioridade de uma organização e não o produto (génese do marketing


centrado no cliente)

‣ Valorização da individualidade onde o interesse de cada um é que dita a sua forma de


consumir (em detrimento da cultura de massas, grupos estereotipados)

‣ O cliente é a prioridade de uma organização e não o produto

‣ Evolução das organizações centrada na valorização dos seus funcionários e do seu


conhecimento considerada (por ele) como o maior recurso das empresas

4
Gestão de Informação - Introdução

Importância da INFORMAÇÃO para as empresas nos dias de hoje…

‣ Vantagem competitiva

‣ Diferencial de mercado

‣ Maior possibilidade de sucesso

5
Gestão de Informação - Introdução

Era da INFORMAÇÃO

Era da computação

Era tecnológica Revolução Industrial : 1820 - 1840


Era digital Revolução Digital : 1950 - 1970
Era da internet

Era dos novos meios de comunicação

Era do big data

Era da globalização
6
Gestão de Informação - GI Origem

A origem da Gestão de Informação

A necessidade das organizações


gerirem a informação e criarem
sistemas de informação surge porque
as pessoas (...) têm uma capacidade
limitada de aquisição, memorização e,
em alguns casos de análise das
informações.

(SILVA, (2007). Gestão do Conhecimento)


7
Gestão de Informação - Desafios atuais da GI

Desafios atuais da GI

Sistemas de informação estão cada vez mais complexos.

Para isso, a GI precisa lidar com:

‣ Processos de produção, tratamento e processamento da


informação

‣ Utilização da informação como estratégia

‣ Tecnologia para produção, processamento, armazenagem


e transferência da informação entre pessoas

8
Gestão de Informação - Desafios atuais da GI

Desafios atuais da GI

Em muitas organizações tem vindo a surgir a necessidade de :

‣ Estabelecer políticas de informação corporativa

‣ Definição de normas e controlos de acesso a todos os


recursos de informação

‣ Promoção de ações que explorem a informação (já


existente, ou nova) por forma a melhorar a tomada de
decisões e resolução de problemas (retirar valor; criar
vantagem competitiva; reduzir o risco; evitar a redundância)

‣ Garantir a segurança da informação (integridade,


disponibilidade, confidencialidade)
9
Gestão de Informação - O que é ?

Processos
Como funciona ?
Pessoas

Tecnologia

A gestão da informação só funciona se a mistura


tradicional de pessoas, processo(s) e ferramentas/
tecnologias for apropriado.

O que é gestão da informação?


Depende de para quem você pergunta…

Desígnio
10
Gestão de Informação - Leis da Informação

1ª Lei - A informação é compartilhável

‣ Compartilhável infinitamente, ao contrário de ativos


comuns

‣ Utilizável simultaneamente por inúmeras pessoas, sem que


se consuma nesse processo

‣ Pode ser utilizada pelas organizações tanto interna como


externamente

‣ Replicação da informação não agrega valor, apenas custos


adicionais

11
Gestão de Informação - Leis da Informação

2ª Lei - O valor da informação aumenta com o uso


‣ Tornando-se FATOR DE APOIO À DECISÃO e desse modo resultar em
PRODUTIVIDADE (mensurável objetivamente), valorizando-se à medida em que
os envolvidos na tomada de decisão possam agir sinergicamente.

‣ O valor empresarial de uma informação é diferente do valor financeiro de uma


informação. Imagine quanto vale a informação da fórmula da Coca-Cola???
A informação é um activo (património) e como tal deve ser preservado.

‣ O uso da informação a valoriza, desde que, o seja pelas pessoas certas, pois, se
uma informação se torna de domínio público, o seu uso aumentou de forma
incomensurável, contudo o seu valor pode, no limite, até deixar de existir.

‣ A informação carece dos princípios da segurança: Autenticidade, Legitimidade, Privacidade, Confiabilidade,


Inviolabilidade (Ver ANDREWS TANEMBAUM).

‣ A informação só terá seu valor aumentado se estiver disponível, compartilhada e no tempo certo, pois, pode estar
desatualizada.

‣ A informação é um activo intangível e isso a torna difícil de valorar.


12
Gestão de Informação - Leis da Informação

3ª Lei - A informação é perecível

‣ A informação perde parte de seu valor com o tempo.

‣ Imagine que uma grande empresa, descobre o “Plano de


Marketing” de seu maior concorrente antes ou durante a
implementação do mesmo. Com o passar do tempo suas
ações serão previsíveis e podendo mesmo ser antecipadas
pelo concorrente.

13
Gestão de Informação - Leis da Informação

4ª Lei - O valor da informação aumenta com a precisão

‣ O seu valor aumenta com a sua exactidão (FIDEDIGNIDADE).

‣ Quanto mais precisa, mais útil é a informação.

‣ Quanto mais útil, mais valiosa se torna.

‣ Informações com baixa precisão, INEXATAS, podem resultar em


grandes prejuízos na medida em que podem conduzir a uma
errada tomada de decisão.

‣ Em “Sistemas Críticos”, a informação deve ter uma elevada


precisão (100%).
Exs: um controle de voo, contas bancárias, ou mesmo um
sistema de monitorização de uma UCI.

14
Gestão de Informação - Leis da Informação

5ª Lei - O valor da informação aumenta quando há combinação


de informações

‣ Combinação de informações é diferente de integração de


informações.

‣ Os sistemas integrados de gestão, compostos por módulos


interdependentes para dar suporte às diversas áreas operacionais,
tais como finanças, produção, contabilidade e pessoal permitem a
obtenção de uma visão sistémica dos processos, em substituição
da visão estanque de funções, departamentos e produtos.

15
Gestão de Informação - Leis da Informação

6ª Lei - Mais informação não é necessariamente melhor

‣ ENTROPIA (excesso de informação que extrapola a capacidade de


leitura das mesmas pelo receptor...)

‣ Considere a relação Quantidade versus Qualidade das informações

‣ A informação, para ser útil, necessita de ser filtrada utilizando critérios de


relevância, quantidade e qualidade da sua apresentação. Informações
que não resultem em decisões ou processos produtivos melhores não
apresentam valor associado, e, assim como a insuficiência, o excesso de
informação é prejudicial ao desempenho

16
Gestão de Informação - Leis da Informação

7ª Lei – A Informação se Multiplica

‣ A Informação é um recurso não finito (“auto-regenerador”)


decorrente da síntese, análise ou combinação de uma
informação de origem com outras.

‣ A título de ilustração, considere a relação entre duas tabelas de uma base de dados, uma que contém a
informação de itens vendidos (controle de existências) e outra que contém a informação dos valores
associados a cada item (controle financeiro) cujo “relacionamento” entre ambas pode resultar numa
informação como “Item mais vendido e meio de pagamento mais utilizado, …”. Esse relacionamento entre
informações faz com que a 7º lei esteja intimamente ligada à 5º lei.

17
Gestão de Informação - Sistema de Informação

Sistema de Informação

Um sistema de informação pode ser definido


como um conjunto de componentes inter-
relacionados que coletam (ou recuperam),
processam, armazenam e distribuem informações
para apoiar a tomada de decisões e o controle
numa organização.

Além do mais, os sistemas de informação também


LAUDON & LAUDON, “Management Information Systems”, (2020)
podem ajudar gestores e trabalhadores a analisar
problemas, visualizar assuntos complexos e criar
novos produtos.

18
Gestão de Informação - Sistema de Informação

Objetivos de um Sistema de Informação Resultados desejáveis de um


Sistema de Informação
Aproximar DADOS de INFORMAÇÃO (Exemplos Mensuráveis)
Aproximar INFORMAÇÃO de DECISÃO
< Tempo de Resposta
Aproximar DECISÃO de AÇÃO
> número de clientes atendidos (dia / hora)
Aproximar AÇÃO de RESULTADOS
< Repetição de trabalho já efetuado

> Eficiência dos processos


Eficiência = Produção / Consumo

… etc.

19
Gestão de Informação - Sistema Informação nos negócios globais da actualidade

LAUDON & LAUDON, “Management Information Systems”, (2020)


20
Gestão de Informação - O que é uma organização ?

Organização
Uma organização, pode ser entendida como um conjunto de direitos,
privilégios, obrigações e responsabilidades delicadamente
equilibradas ao longo de um período de tempo no qual surgirão
inevitavelmente conflitos e para bem da mesma (organização) a
resolução dos mesmos.

As pessoas que trabalham nas organizações desenvolvem formas


rotineiras de desempenho das suas funções, estabelecem acordos
com subordinados e superiores sobre como, a quantidade e em que
condições o trabalho será efetuado.

A maioria destes “acordos” são feitos sem discussão e sem seguir


qualquer manual de procedimentos. LAUDON & LAUDON, “Management Information Systems”, (2020)

21
Gestão de Informação - Sistema Gestor Base Dados (SGBD)
Data Base Management System (DBMS)

SGBD Relacional / Relational DBMS

LAUDON & LAUDON, “Management Information Systems”, (2020)


O tipo de DBMS mais popular hoje para PCs, bem como para computadores e
mainframes é o DBMS relacional.

Bancos de dados relacionais representam dados como tabelas bidimensionais


(chamadas relações).

As tabelas podem ser chamadas de arquivos/ficheiros. Cada tabela contém dados


sobre uma entidade e seus atributos. O Microsoft Access é um DBMS relacional para
sistemas desktop, enquanto o DB2, Oracle Database e Microsoft SQL Server são DBMS
relacionais para grandes mainframes e computadores de médio porte. MySQL é um
DBMS de código aberto popular.

22
Gestão de Informação - JSON - JavaScript Object Notation

JSON - JavaScript Object Notation

JSON (JavaScript Object Notation) é um formato simples de intercâmbio de dados. É fácil para humanos ler e escrever. É fácil para as
máquinas de analisar e gerar. JSON é um formato de texto completamente independente de linguagem, mas usa convenções
familiares aos programadores da família de linguagem C, incluindo C, C++, C#, Java, JavaScript, Perl, Python e muitos outros. Essas
propriedades tornam o JSON uma linguagem de intercâmbio de dados ideal.
JSON é assenta em duas estruturas base:

Uma coleção de pares nome/valor.


‣ Em várias linguagens, isso é realizado como um objeto, registo, estrutura, dicionário,
tabela de hash, lista de chaves ou matriz associativa.
‣ Uma lista ordenada de valores. Na maioria das linguagens, isso é realizado como
uma matriz, vetor, lista ou sequência.

Estas são estruturas de dados universais. Praticamente todas as linguagens de


programação modernas as suportam de uma forma ou de outra. Desse modo faz sentido
que um formato de dados para troca de informação seja baseado nessas estruturas.

23
Gestão de Informação - JSON - JavaScript Object Notation

Um objeto é um conjunto não


ordenado de pares nome/valor. Um
objeto começa com “{“ e termina com
“}”. Cada nome é seguido por “:” e os Um número é muito parecido
pares nome/valor são separados por “,”. com um número C ou Java,
exceto que os formatos octal e
Um valor pode ser uma string hexadecimal não são usados.
entre aspas duplas, ou um
número, ou verdadeiro ou falso ou
nulo, ou um objeto ou uma matriz.
Essas estruturas podem ser
aninhadas.
Um array é uma coleção ordenada de Uma string é uma sequência de zero ou mais
valores. Um array começa com “[“ e caracteres Unicode, entre aspas duplas,
termina com “]”. Os valores são usando escapes de barra invertida. Um
separados por ,vírgula. caractere é representado como uma única Espaços em branco
https://www.json.org podem ser inseridos entre
cadeia de caracteres. Uma string é muito
parecida com uma string C ou Java. qualquer par de tokens.
24
Gestão de Informação - Data Warehouse

Data Warehouse

‣ A ferramenta tradicional para analisar dados empresariais


nas últimas décadas tem sido o data warehouse.

‣ Um data warehouse é um banco de dados (DB - Data Base)


que armazena dados atuais e históricos de interesse
potencial para os decisores de uma empresa.

‣ Os dados tem origem em diversos sistemas de transações


operacionais principais, como sistemas de vendas, contas
de clientes e manufatura, etc.

25
Gestão de Informação - Data Warehouse

Os produtos relacionais de DBMS e data warehouse não são adequados para organizar e analisar big data ou
dados que não se encaixam facilmente em colunas e linhas usadas em seus modelos de dados.

Para lidar com dados não estruturados e semiestruturados em grandes quantidades, bem como dados
estruturados, podemos utilizar o Hadoop.

O Hadoop é uma estrutura de software de código aberto (open source) mantida pela Apache Software
Foundation que permite o processamento paralelo distribuído de grandes quantidades de dados em
computadores baratos.

Ele divide um problema de big data em sub-problemas, distribui-os entre até milhares de nós de
processamento de computador de baixo custo e, em seguida, combina o resultado em um conjunto de dados
menor que é mais fácil de analisar.

Exemplos de utilização: encontrar o melhor preço de viagem aérea na Internet, obter direções para um
restaurante, fazer uma pesquisa no Google ou ligar-se a um amigo no Facebook.

26
Gestão de Informação - Data Warehouse

Os produtos relacionais de DBMS e data warehouse não são adequados para organizar e analisar big data ou
dados que não se encaixam facilmente em colunas e linhas usadas em seus modelos de dados.

Para lidar com dados não estruturados e semiestruturados em grandes quantidades, bem como dados
estruturados, podemos utilizar o Hadoop.

O Hadoop é uma framework de software de código aberto (open


source) mantida pela Apache Software Foundation que permite o
processamento paralelo distribuído de grandes quantidades de dados
https://hadoop.apache.org
em computadores baratos.

Ele divide um problema de big data em sub-problemas, distribui-os entre até milhares de nós de
processamento de computador de baixo custo e, em seguida, combina o resultado em um conjunto de dados
menor que é mais fácil de analisar.

Exemplos de utilização: encontrar o melhor preço de viagem aérea na Internet, obter direções para um restaurante, fazer uma
pesquisa no Google ou ligar-se a um amigo no Facebook.
27
Gestão de Informação - Analytic Platforms

Plataformas Analíticas

‣ A ferramenta tradicional para analisar dados empresariais nas últimas décadas tem sido
o data warehouse.

‣ Um data warehouse é um banco de dados (DB - Data Base) que armazena dados atuais
e históricos de interesse potencial para os decisores de uma empresa.

‣ Os dados tem origem em diversos sistemas de transações operacionais principais,


como sistemas de vendas, contas de clientes e manufatura, etc.

28
Gestão de Informação - Data Warehouse

Dados - Os dados de um DW são compostos por factos individuais e discretos que congregam valores descritivos, qualitativos e
quantitativos de interesse e relevância para o negócio.

Data Warehousing

Dados Operacionais - que descrevem as transacções e os acontecimentos diários

Dados Informativos - matéria prima a partir da qual a informação é construída

Informação - Coleção de dados organizada e apresentada num contexto específico e com significado para o negócio.

Conhecimento - O conhecimento é uma característica pessoal e individual; tem essencialmente a ver com a familiaridade,
compreensão e percepção que as pessoas possuem em relação a um determinado assunto e não com informação contida em
computadores ou software.

O conhecimento pode ser adquirido de diversos modos, pelo estudo, experiência, instinto ou mesmo crença. Estes factores são
diferentes de indivíduo para indivíduo, sendo que o conhecimento de cada um é, inevitavelmente, único.

29
Gestão de Informação - Data Warehouse

Data Warehouse - coleção de dados que:

‣ integrados – o data warehouse deverá ser uma fonte única e abrangente de informação para e sobre o negócio (não é
necessário aceder a múltiplas fontes de dados para responder a questões levantadas pelos utilizadores);

‣ organizados por assuntos – os dados e a informação deverão ser apresentados compartimentados por assuntos, de acordo
com as necessidades dos utilizadores finais;

‣ variam no tempo – o data warehouse contém o histórico da informação, assim como a informação actual, sobre o negócio,
possibilitando desta forma análises de evolução histórica;

‣ não são voláteis – o data warehouse contém informação estável. Os dados, uma vez chegados ao DW, não são apagados.
Assim, os dados são sempre adicionados de formas regular, de modo a fornecer registos históricos corretos e credíveis;

‣ acessíveis – uma das funções primárias de um data warehouse é proporcionar o acesso à informação de uma forma fácil e
rápida

30
Gestão de Informação - Data Warehouse

Um data warehouse é um repositório de informação que reune os dados históricos de cariz operacional e transacional de uma
organização agrupados numa base de dados.

Este armazenamento implica o favorecimento e a facilitação de tarefas como a análise e o reporting.

A criação de um data warehouse justifica-se por dois motivos fundamentais:

‣ A necessidade de integração de dados distribuídos por diferentes estruturas de bases de dados, tendo em vista uma análise
global;

‣ A necessidade de separação dos dados utilizados nas operações correntes, na análise e no reporting, tendo como fim a
tomada de decisões.

Data Mart - Uma sub-divisão de um data warehouse. Conjunto mais pequeno de informação agrupado de forma lógica.

31
Gestão de Informação - Data Warehouse

A modelização (desenho) da estrutura de um sistema de informação


como um data warehouse é fundamental.

Importa ter um conceito fundamentado em entidades lógicas


(coerentes com a estrutura da organização e com os processos de
negócio) e na descrição das dependências entre si.

A criação do DW tem o seu início na concepção do modelo, que será


carregado com os dados provenientes de diversas fontes através do
denominado «processo de ETL» (extraction, transformation e loading
– extracção, transformação e carregamento).

32
Gestão de Informação - Data Warehouse

Funções fundamentais de um data warehousing:

Recepção – Acolhem os dados das várias fontes para dentro do ambiente do data warehouse. As fontes podem ser dispersas e possuir diferentes
tecnologias, e a aquisição de dados ser feita em frequências temporais distintas. Habitualmente, durante este processo é feita a limpeza dos dados,
para que estes se apresentem o mais correctos e completos possível dentro do data warehouse;

Integração – Conjugam dados de várias fontes uns com os outros. Como exemplo, podemos ter o caso de, num determinado sistema operacional de
introdução de encomendas, um produto possuir o código x e no sistema operacional de gestão de stocks e armazém o mesmo produto possuir o
código y. A indicação de correspondência entre os diversos dados é feita nestes casos. Pode ser necessário fazer outra limpeza de dados além da já
efectuada durante a recepção de dados;

Distribuição – Os repositórios com esta responsabilidade representam activos de informação a longo prazo e com âmbito alargado. A distribuição
consiste no processo de transferir os dados deste tipo de repositório para repositórios concebidos para responder a necessidades de negócio mais
específicas (como os data marts);

Entrega – Os repositórios com esta função combinam os dados de acordo com o contexto que uma determinada unidade de negócio ou conjunto de
utilizadores necessita, dentro da organização. A entrega é feita transferindo os dados para um manancial de tecnologias, como data marts, cubos
multidimensionais, dashboards, etc.;

Acesso – Os repositórios com responsabilidade de acesso são os que permitem a consulta de informação de dados integrados e geralmente os alvos
do processo de distribuição.
33
Gestão de Informação - Star Scheme

O star schema (esquema em estrela) é o modelo mais utilizado na


concepção de um data warehouse.

O conceito pressupõe a criação de tabelas dimensionais (e. g., dimensão


tempo, dimensão clientes, dimensão geográfica), que ficam ligadas entre
si através de uma tabela de factos. A sua interligação baseia-se num
esquema lógico e simples: as tabelas dimensionais contêm as definições
das características dos eventos, enquanto as tabelas de factos, por sua
vez, armazenam os factos decorridos e as chaves estrangeiras (chaves de
ligação) para as características respectivas que se encontram nas tabelas
dimensionais.

Este modelo apresenta vantagens óbvias, como por exemplo a existência


de uma única tabela de factos contendo toda a informação sem
redundâncias, a definição de apenas uma chave primária por dimensão,
a redução do número de interligações e a consequente pouca
necessidade de manutenção.

34
Gestão de Informação - Snow Flake Schema

Na modelização dos dados, o esquema snowflake é uma


evolução mais complexa do star schema. O seu objectivo
é normalizar as dimensões, agrupando os dados de cada
uma em várias tabelas (e não apenas numa única grande
tabela como no esquema em estrela), evitando assim
redundâncias.

35
Gestão de Informação - Metadados

O significado literal de metadados (metadata) é «dados sobre os dados»,


isto é, o termo refere-se à informação que descreve as características de um
conjunto de dados.

Ex: um catálogo com a descrição de um conjunto de produtos e respectivos


atributos.

O armazenamento e gestão dos metadados da informação


existente nos sistemas operacionais é fundamental para a
uniformização, fiabilidade e coerência dessa mesma informação.

36
Gestão de Informação - Metadados - Ralph Kimball

Metadados presentes num data warehouse (Ralph Kimball) : ‣ Metadados do RDBMS (relational database management system)
• Tabela de conteúdos do RDBMS;
‣ Metadados do sistema – fonte de dados
• Scripts de processamento;
• Especificações das fontes – repositórios;
• Informação descritiva das fontes – como, por exemplo, descrição das
entidades detentoras da informação, frequência da actualização dos ‣ Metadados dos repositórios com função de entrega e acesso a dados
dados, limitações legais, metodologias de acesso; • Descrição das colunas;
• Informação sobre o processo – caso da rotina das tarefas ou dos • Dados da segurança da rede;
códigos de extracção;

‣ Metadados do repositório de recepção de dados


• Informação da aquisição da informação – (Ex: horários e resultados
da transmissão de dados, utilização dos ficheiros);
• Gestão das tabelas de dimensões – definição das várias dimensões,
funções das chaves substitutas;
• Transformação e agregação – mapping e aperfeiçoamento dos
dados, scripts de carregamento do DBMS, definições de agregação;
• Auditoria e registo (job logs) da informação;
37
Gestão de Informação - Metadados

Os metadados podem ser agregados em:

‣ Metadados de negócio – Descrevem o significado dos dados do data warehouse e das ferramentas de business intelligence.
Guardam informações como as definições e áreas de negócio, a estrutura e a hierarquia dos dados, as regras de agregação, a
definição de métricas de negócio, etc.;

‣ Metadados dos processos – Descrevem a origem, o momento, frequência e forma em que foram carregados os dados que
estão no data warehouse;

‣ Metadados técnicos – Descrevem os locais físicos, os formatos e os tipos de dados dos elementos de dados, estruturas de
ficheiros e tabelas, índices, etc.;

‣ Metadados aplicacionais – Descrevem a forma como se acede e utiliza os dados. Podem ainda descrever os momentos em
que os dados são acedidos, por quem, com que frequência, etc.

Os metadados são essenciais na gestão dos sistemas de informação, em tarefas indispensáveis de localização dos
dados pretendidos (tracing) e em conseguir monitorizar e controlar todo o processo de transformação de dados,
desde a fonte, aos interfaces de análise e reporting, até à sua validação final.

38
Gestão de Informação - Data Quality

O processo de carregamento do DW – o designado «ETL» – é, normalmente


executado utilizando pequenas quantidades de dados – amostras
relativamente restritas dos dados provenientes dos sistemas-fonte. Data Profiling

Na fase final de um projecto que envolve o carregamento do DW, são


utilizados volumes de dados próximos dos reais e é habitualmente nesta
fase que surgem os problemas relativos à qualidade dos dados.

Normalmente, este tipo de problemas deve-se a dados inconsistentes,


como valores em falta, dados duplicados ou redundantes, etc.

Estes problemas devem ser evitados sob pena de atrasarem o processo de


ETL e de aumentarem o seu custo.

Um problema detectado durante a fase de testes poderá custar 100 vezes


ou menos do que se for detectado durante a fase de concepção e
desenvolvimento. Para que isto não aconteça, torna-se essencial fazer o
Source : Oracle
denominado «perfil dos dados» (data profiling). Algumas ferramentas de
ETL já possuem este tipo de funcionalidade.
39
Gestão de Informação - Etapas construção Data Warehouse

Etapas de construção de um Data Warehouse

40
Gestão de Informação - Etapas construção Data Warehouse

O primeiro passo é o desenvolvimento de um business case sólido que respondenda a questões como:

‣ Quais serão as necessidades de negócio para esta iniciativa?


‣ Como é que o data warehouse vai ajudar a colmatar essas necessidades?
‣ Quais serão os custos potenciais de desenvolvimento e operação/manutenção
em termos de recursos humanos e infraestruturas?

‣ Quem será o patrocinador do negócio?


‣ Qual é o processo actual de obtenção de informação?

‣ A informação que é obtida pelos processos actuais é fiável?


‣ Aumentarão o data warehouse e as aplicações de BI a satisfação dos clientes?
Aumentarão eles os lucros? Reduzirão eles os custos?

‣ Que riscos corremos ao implementar (ou não implementar) um projecto de BI?


‣ Estaremos preparados para esse projecto?

41
Gestão de Informação - Etapas construção Data Warehouse

Análise de Risco - sólido que respondenda a questões como:

‣ A tecnologia a ser utilizada é recente? Tem provas dadas no mercado?

‣ Quão complexo é o ambiente informático? Os dados estão muito


dispersos? Quantos locais geograficamente separados terão que ser
suportados?

‣ Existe muita redundância nos dados? Os dados de diferentes fontes


podem possuir uma correspondência linear? Existem padrões nos
processos de negócio e na informática?

‣ A equipa que irá implementar o projecto possui a experiência necessária?

‣ Qual será a rapidez do retorno do investimento?

42
Gestão de Informação - Etapas construção Data Warehouse

O segundo passo avaliação de infraestruturas da empresa/organização :


Infraestrutura Técnica

‣ É necessário novo hardware? Quanto custa?

‣ São precisos mais recursos humanos para manter o novo hardware?

‣ O novo hardware conseguirá acomodar novas exigências? Integra-se


na infraestrutura existente?

‣ A largura de banda da rede é suficiente?

‣ Qual é a arquitectura dos sistemas-fonte? Em que formato poderão


fornecer os dados para consolidação? Será necessário middleware?

‣ Será necessário adquirir um SGBD? Quanto custa?

‣ Existe capacidade interna para gerir o SGBD?

43
Gestão de Informação - Etapas construção Data Warehouse

Infraestrutura Não-Técnica

‣ Há modelos lógicos definidos para os sistemas fonte? Se não,


quem será responsável pela sua criação para este projecto de BI?

‣ Quem fará a validação do modelo?


‣ Existe um repositório de metadados? Se não existe, o que deve
ser feito: desenvolver um internamente ou comprar?

‣ Quem são os responsáveis por recolher os diversos tipos de


metadados?

‣ Os padrões que existem na organização são demasiado


restritos? Estão documentados?

‣ Existe um programa para avaliar a qualidade e fazer a limpeza


dos dados?

44
Gestão de Informação - Etapas construção Data Warehouse

O terceiro passo para a implementação de uma aplicação de DW é essencial: planeamento e projecto

Esta fase envolve toda a equipa. Em virtude do tamanho e complexidade, o projecto poderá/deverá ser dividido em miniprojectos.

A fase de análise de negócio é constituída por quatro secções:

‣ definição de requisitos (poderá ser englobada juntamente com as outras três


secções ou enquadrada antes ou mesmo durante o planeamento do projecto)
- De que tipo de informações precisa o utilizador final?
- Quais as questões atuais para as quais o sistema é inacapaz de responder? Porquê?
- De que dados precisam os utilizadores? Como são obtidos atualmente?
- requisitos funcionais, - Os dados nos sistemas atuais possuem qualidade e estão actualizados?
- Quantas e que pessoas necessitam desses dados?
- requisitos de dados, - Quantos anos de histórico são necessários manter?
- É preciso carregar dados históricos das fontes de dados ou deve o histórico começar
- requisitos sobre dados históricos, apenas de agora em diante?
- Quão seguros têm os dados de ser? Que segurança existe nos sistemas fonte?
- requisitos de segurança - Quem deverá ter acesso aos dados?
- Que tempo máximo de consulta a uma aplicação de BI estão os utilizadores dispostos a
aceitar?
- requisitos de desempenho - Haverá relatórios susceptíveis de serem executados de um dia para o outro?
- Qual a duração e frequência de utilização da aplicação de BI durante o dia?

45
Gestão de Informação - Etapas construção Data Warehouse

Análise de negócio

‣ análise de dados É importante criar e implementar um protótipo, de


- identificar redundâncias e falhas de qualidade dos dados, modo a que os stakeholders possam ter uma ideia de
como será a aplicação de BI depois de instalada.
- seleccionar quais serão as fontes mais fiáveis para o DW e para
cada aplicação BI.
• Definir um âmbito pequeno, isto é, que não envolva demasiadas
áreas de negócio;
- Existem múltiplas fontes de dados potenciais para os mesmos dados?

Até que ponto são os metadados de negócio existentes actuais e fiáveis? • Escolher os dados fonte de maior qualidade e apenas uma
-
pequena quantidade de dados;
- Quem são os detentores da informação das fontes de dados?
• Testar bem as aplicações de BI com relatórios que possuam um
- A qualidade dos dados-fonte é reconhecida?
esquema relativamente complexo;
- Qual é a qualidade mínima aceitável para o representante do negócio? E
para os utilizadores? • Envolver ao máximo os utilizadores finais (sem no entanto serem
demasiados), com diversos níveis de experiência, quer a nível
- Quem irá elaborar o perfil dos dados? Como?
informático, quer a nível de negócio.
- Que dados são fundamentais e que dados são insignificantes para o
negócio, de forma a proceder à sua correcção?

46
Gestão de Informação - Etapas construção Data Warehouse

Análise de negócio

‣ análise do repositório de metadados


- definidos que tipos de metadados deverão ser recolhidos,
guardados e entregues aos utilizadores.

• Que tipos de metadados de negócios são necessários?

• Que tipos de metadados técnicos são necessários?

• Quem será responsável pelo repositório de metadados?

• Quem terá acesso ao repositório de metadados? E como?

• Servirá o repositório de metadados apenas as aplicações de BI e


o data warehouse ou toda a organização?

47
Gestão de Informação - Etapas construção Data Warehouse

O quarto passo consiste no desenho do modelo :

‣ Desenho da BD do DW - Escolha do tipo de diagrama a seguir.


Ex: Diagrama E-R (utiliza regras de normalização)

‣ Desenho do processo de ETL

‣ Desenho do repositório de metadados

48
Gestão de Informação - Etapas construção Data Warehouse - BD do DW

Chegados a este ponto, devemos questionar-nos como vamos lidar com enormes volumes de dados e, após a definição da
forma, os processos que pretendemos modelizar.

Caso o modelo escolhido seja o esquema em estrela (star) ou o esquema floco-de-neve (snowflake), deveremos:

‣ construir uma tabela de factos para cada processo escolhido;


‣ definir a granularidade de cada tabela de factos, para cada processo, especificando qual o nível de pormenor a apresentar;
isto deverá ser determinado conforme a necessidade de informação dos utilizadores/decisores (exs: em termos temporais –
diária, semanal, mensal – ou em termos geográficos – por loja, por região, por país);

‣ determinar as dimensões de cada tabela de factos;

‣ identificar os factos que devem figurar em concreto no modelo;

‣ analisar os atributos das dimensões, de modo a serem estabeleci- das descrições completas e uma terminologia adequada;

‣ tomar as decisões sobre o projecto físico: agregações, dimensões heterogéneas, minidimensões;

‣ preparar as dimensões para suportar evoluções históricas.


49
Gestão de Informação - Etapas construção Data Warehouse - BD do DW

Etapas construção Data Warehouse - BD do DW

Devemos ter resposta para as seguintes questões:

• A que o nível de agregação devem estar sujeitos os dados?

• Qual o número de utilizadores concorrentes?

• Qual a dimensão final das bases de dados que irão suportar as aplicações de BI?

• Qual a taxa de crescimento dessas bases de dados?

• Que tabelas serão particionadas? Como?

• Que tipos de índices serão mais adequados?

• Que SGBD será utilizado?

50
Gestão de Informação - Etapas construção Data Warehouse - ETL

Etapas construção Data Warehouse - ETL

Os dados-fonte para as aplicações de business intelligence


provirão das mais variadas plataformas, que são geridas e
mantidas por uma variedade relativamente grande de sistemas
operativos e aplicações.

O objectivo do processo de ETL é congregar dados destas


plataformas heterogéneas num formato padrão para a aplicação
de BI final e, ao mesmo tempo, integrar e padronizar os dados.

Assim sendo, o planeamento deste passo é bastante mais


complicado e moroso do que as fases de desenho da base de
dados e do repositório dos metadados.

51
Gestão de Informação - Etapas construção Data Warehouse - ETL

Um problema comum do dia-a-dia das empresas é a forma como recolhem dados várias fontes e em diversos
formatos.

ETL (Extract Transform Load - Extrair Transformar Carregar)


são ferramentas de software cuja função é a extração de
dados de diversos sistemas, transformação desses dados
conforme regras de negócios e por fim o carregamento dos
dados geralmente para um Data Mart ou Data Warehouse,
porém nada impede que também seja para enviar os dados
para um determinado sistema da organização. https://learn.microsoft.com/pt-pt/azure/architecture/data-guide/relational-data/etl

Os projetos de Data Warehouse consolidam dados de diferentes fontes. A maioria dessas fontes tendem a ser
bases de dados relacionais ou ficheiros de texto (plain text), mas podem existir outras fontes. Um sistema ETL
tem que ser capaz de se comunicar com as bases de dados e ler diversos formatos de arquivos utilizados por
toda a organização.

52
Gestão de Informação - ETL

Desafios ao ETL
Os processos de ETL podem ser bastante complexos e caso não sejam adequademente desenvolvidos podem causar
problemas significativos na operação (transformação) da informação.

Aquando especificado, um processo ETL, deverá ter em conta a gama de valores e os dados a serem processados por forma a
que estes se encontrem dentro das regras de validação e transformação.

O perfil dos dados de uma fonte durante a análise dos dados é de extrema importância para identificar as condições em que
os dados serão manipulados pelas especificações de regras de transformação.

Durante o processo de análise a escalabilidade de um sistema ETL deve ser estabelecida tendo em conta:

‣ Ciclo de vida
‣ Volume de informação e sua tendência (crescente)
‣ Tempo disponível para processar a informação
‣ SLA (Service Level Agreement - Acordo Nível Serviço)
‣ Segmentação de processos (paralelização)
53
Gestão de Informação - Etapas construção Data Warehouse - Desenho Repositório Metadados

Etapas construção Data Warehouse - Desenho Repositório de Metadados

Existem soluções comerciais para repositórios de metadados, mas este tipo de aplicações não é geralmente muito popular e
não segue um padrão, apesar de ser, habitualmente bastante flexível e expansível.

Os repositórios de metadados necessitam de ter interfaces de consulta para os utilizadores e técnicos assim como interfaces
para as aplicações de BI, como, por exemplo, aplicações OLAP (Online Analytical Processing), ETL (Extract Transform Load) ou o
dicionário de dados do DBMS (Data Base System Management).

O desenvolvimento de cada uma dessas interfaces deverá ser considerado como um subprojecto, pois irá requerer algum
esforço.

Existem três tipos de repositórios de metadados:

‣ os centralizados, mais fáceis de implementar e de manter;


‣ os descentralizados, que guardam informação em várias localizações e em várias bases de dados (interface de acesso que sabe
da localização em que os dados estão guardados);

‣ e os distribuídos, uma solução mais sofisticada, que utiliza XML (os metadados estão nas próprias aplicações).

54
Gestão de Informação - Etapas construção Data Warehouse

Etapas construção Data Warehouse - Fase de Construção do Data Warehouse

‣ o desenvolvimento do processo de ETL (Extração, Transformação e


Carregamento de dados),

‣ o desenvolvimento da aplicação de BI (ferramentas OLAP, data marts


multidimensionais e data mining)

‣ e o desenvolvimento do repositório de metadados (migração de


metadados existentes, documentos de processamento de texto, folhas de
cálculo, SGBD, ferramentas CASE, ferramentas de ETL, ferramentas OLAP e
ferramentas de data mining)

Source : IBM

55
Gestão de Informação - Infraestrutura BI

Infraestrutura de BI (Business Intelligence) Contemporânea

LAUDON & LAUDON, “Management Information Systems”, (2020)

56
Gestão de Informação - Big Data

Big Data é o termo utilizado para referenciar um grande número de dados, dispostos de maneira estruturada ou não,
que impactam o negócio quotidiano de uma empresa.

Big Data são conjuntos de dados em maior volume e mais complexos, especialmente de novas fontes de dados.

O big data é frequentemente caracterizado pelos “3Vs”: o


volume extremo de dados, a grande variedade de tipos e
fontes de dados e a velocidade com que os dados devem
ser processados.

Esses conjuntos de dados são tão volumosos (petabyte,


exabyte,…) que o software tradicional de processamento de
dados simplesmente não os consegue gerir. Mas, esses
enormes volumes de dados podem ser usados para resolver
problemas de negócio que antes não seriam resolúveis.

57
Gestão de Informação - Introdução

Exemplos de utilização - Big Data

‣ Os relógios inteligentes registam as pulsações de milhões de utilizadores e identificam padrões que


antecipam e evitam doenças cardiovasculares.

‣ Os sensores de humidade nos campos de cultivo planeiam a rega, combinando seus dados com as
previsões meteorológicas.

‣ O navegador sabe se a rota consultada por um utilizador sofre retenções de tráfego sugerindo-lhe
alternativas.

‣ Um canal de televisão em streaming por assinatura definiu os personagens e o enredo de uma série
analisando os conteúdos que os seus espectadores consomem e preferem.

‣ Na política … :-)

58
Gestão de Informação - Big Data

Exemplos de desafios

Um único motor a jato é capaz de gerar 10 terabytes de


dados em apenas 30 minutos, e há mais de 25.000 voos
diários.
O Twitter gera mais de 8 terabytes de dados diariamente.

De acordo com a IDC (International Data Center) empresa de


pesquisa de tecnologia, a quantidade de dados disponíveis
para as organizações mais que duplica a cada dois anos.

59
Gestão de Informação - Big Data

Porque as empresas estão interessadas em Big Data ?

Permite e revelação de mais padrões e relacionamentos interessantes com o potencial de fornecer novos “insights” (percepções)
sobre… o comportamento do cliente, padrões climáticos, actividade do mercado financeiro, gerir o tráfego, combater o crime,
ou outros fenómenos.

Exemplo :
Shutterstock, o mercado global de imagens online, armazena 24 milhões de
imagens, adicionando mais 10.000 a cada dia.
Para encontrar maneiras de otimizar a experiência de compra, a Shutterstock
analisa o seu universo big data para descobrir onde os visitantes do site colocam
os seus cursores (rato) e por quanto tempo passam o rato sobre uma imagem
antes de fazer uma compra.

60
Gestão de Informação - IA - Inteligência Artificial

Inteligência Artificial (IA) - Artificial Intelligence (AI)

Na visão mais ambiciosa, a IA envolve a tentativa de construir


sistemas computacionais que pensam e agem como humanos. Os
humanos veem, ouvem e se comunicam com linguagens naturais,
tomam decisões, planeiam o futuro, atingem objetivos, percebem
padrões e aprendem, entre muitas outras capacidades.

Os humanos também amam, odeiam e escolhem os objetivos que


pretendem alcançar. Esses são os fundamentos do que se chama
de “inteligência humana” e do que se chama de “senso comum”
ou inteligência generalizada.

61
Gestão de Informação - Introdução

Até agora, a “Grande Visão” da IA continua sendo um sonho distante: não há programas de computador que
tenham demonstrado inteligência humana generalizada ou bom senso. A inteligência humana é muito mais
complexa do que os programas de computador mais sofisticados e abrange uma gama mais ampla de
atividades do que é atualmente possível com sistemas e dispositivos de computador “inteligentes”.

Despidos de toda a hipérbole, os programas de inteligência artificial são como todos os programas de
computador: eles recebem dados do ambiente, processam esses dados e produzem saídas.
Os programas de IA diferem dos programas de software tradicionais nas técnicas e tecnologias que usam para
inserir e processar dados.
Os sistemas de IA hoje podem executar muitas tarefas que seriam impossíveis para humanos realizarem e
podem se igualar ou se aproximar aos humanos em tarefas como interpretar tomografias, reconhecer rostos e
vozes, jogar jogos como xadrez, ou superar especialistas humanos em certas tarefas bem definidas.

62
Gestão de Informação - Principais tipos de Técnicas de IA

Representam o conhecimento de especialistas como um conjunto de regras que podem ser


Expert systems programadas para que um computador possa auxiliar os decisores humanos.
Software que pode identificar padrões em grandes bancos de dados sem programação explícita,
Machine learning embora com treino humano significativo.
Vagamente baseados em neurônios humanos, algoritmos que podem ser treinados para classificar
objetos em categorias conhecidas com base em entradas de dados. O aprendizado profundo usa
Neural networks and deep learning várias camadas de redes neuronais para revelar os padrões subjacentes nos dados e, em alguns
casos limitados, identificar padrões sem treinamento humano.
Algoritmos baseados livremente na seleção natural evolutiva e mutação, comumente usados para
Genetic algorithms gerar soluções de alta qualidade para problemas de otimização e busca.
Algoritmos que tornam possível para um computador entender e analisar a linguagem humana
Natural language processing natural.

Computer vision systems Sistemas que podem visualizar e extrair informações de imagens do mundo real

Uso de máquinas que podem substituir os movimentos humanos, bem como sistemas de
Robotics computador para seu controle e processamento de informações
Agentes de software que usam conhecimento integrado ou aprendido para executar tarefas ou
Intelligent agents serviços específicos para um indivíduo.
63
Gestão de Informação - Expert Systems

Regras de um Sistema Especialista


(Expert System)

Um sistema especialista contém uma série de regras


a serem seguidas. As regras são interconectadas, o
número de resultados é conhecido antecipadamente
e é limitado, existem vários caminhos para o mesmo
resultado e o sistema pode considerar várias regras
de uma só vez.

A figura ao lado representa um sistema especialista


(expert system) para concessão de crédito.

LAUDON & LAUDON, “Management Information Systems”, (2020)

64
Gestão de Informação - Aprendizagem Automática

Aprendizagem Automática - Machine Learning (ML)


Mais de 75% do desenvolvimento de IA hoje envolve algum tipo de
machine learning (ML) realizado por redes neuronais, algoritmos
genéticos e redes de aprendizado profundo (deep learning), tendo
como objectivo principal encontrar padrões em dados e classificar
entradas de dados (inputs) em conhecidos (e desconhecidos) saídas de
dados (outputs).

Em machine learning não existem especialistas nem esforço de escrita


de código para elaboração de regras que reflictam o entendimento de
um especialista. Ao invés o ML começa com conjuntos de dados muito
grandes (dezenas a centenas de milhões de pontos de dados) e
encontra automaticamente padrões e relacionamentos analisando um
grande conjunto de exemplos e fazendo uma inferência estatística.

65
Gestão de Informação - Redes Neuronais

Redes Neuronais Aprendizagem Profunda (Neural Networks and Deep Learning)

Uma rede neuronal é composta por unidades interconectadas chamadas


neurónios. Cada neurónio pode receber dados de outros neurónios e
transferir dados para outros neurónios do sistema. Os neurónios artificiais não
são entidades físicas biológicas como no cérebro humano, mas sim programas
de software e modelos matemáticos que simulam as funções de entrada
(input) e saída (output) dos neurónios.

A força das conexões (peso) pode ser controlada pelos investigadores


utilizando uma Regra de Aprendizagem, um algoritmo que altera
sistematicamente a força das conexões entre os neurónios para produzir a
saída (output) final desejada que pode ser identificar uma imagem de um
tumor cancerígeno, transações fraudulentas com cartão de crédito ou padrões
suspeitos de chamadas telefónicas.

66
Gestão de Informação - Redes Neuronais

As redes neuronais encontram padrões e relacionamentos em grandes quantidades de dados que seriam muito complicados e
difíceis para um ser humano analisar usando algoritmos de machine learning e modelos computacionais vagamente baseados
em como o cérebro humano biológico funciona.

Alguns caminhos são mais bem-sucedidos do que outros na sua capacidade de identificar objetos como carros, animais, rostos
e vozes.

Pode haver milhões de caminhos através dos dados. Um algoritmo (Regra de Aprendizagem) identifica esses caminhos bem-
sucedidos e fortalece a conexão entre os neurônios nesses caminhos.
Esse processo é repetido milhares ou milhões de vezes até que apenas os caminhos melhor sucedidos sejam identificados.

Depois de analisados milhões de caminhos, o processo pára quando um nível aceitável de reconhecimento de padrões é
alcançado, por exemplo, identificando com sucesso tumores cancerígenos tão bem quanto humanos, ou até melhor que
humanos.

67
Gestão de Informação - Redes Neuronais

Como funciona uma Rede Neuronal

Uma rede neural usa regras que “aprende” com


padrões em dados para construir uma camada
oculta de lógica. A camada oculta então
processa as entradas, classificando-as com base
na experiência do modelo.

Neste exemplo, a rede neural foi treinada para


distinguir entre compras válidas e fraudulentas
com cartão de crédito.
LAUDON & LAUDON, “Management Information Systems”, (2020)

68
Gestão de Informação - Redes Neuronais

Exemplos de Rede Neuronal

Funcionalidade Entrada (Input) Processo Saída (Output)


Milhões de imagens digitais, Reconhecer padrões em imagens e Marcação de fotos; reconhecimento
Visão por Computador
vídeos ou sensores objectos facial; veículos autónomos
Reconhecer padrões e significados em Assistentes digitais, chatbots,
Reconhecimento Voz Bandas sonoras digitais, vozes
bandas sonoras e fala centros de ajuda
Controlo Máquinas Identifique o status operacional, Manutenção preventiva; controle de
IoT milhares de sensores
Diagnóstico padrões de falha qualidade
Milhões de frases em vários Traduzir frases de um idioma para
Tradução Idiomas Identificar padrões em vários idiomas
idiomas outro
Milhões de pedidos de Controle de fraudes; roubo de
Identificar padrões em transações
Análise Transacional empréstimo, negociações de serviços; previsões do mercado de
financeiras e outras
ações, telefonemas ações
Milhões de históricos de Identificar clusters de consumidores;
Anúncios on-line segmentados Publicidade programada
navegadores preferências

69
Gestão de Informação - Aprendizagem Profunda

Aprendizagem Profunda - Deep Learning

As redes neuronais de “aprendizagem profunda” são mais


complexas, com muitas camadas de transformação dos
dados de entrada para produzir uma saída de destino.
Coleções de neurônios são chamadas de nós ou camadas.
As redes de aprendizado profundo estão em sua infância
e são usadas quase exclusivamente para detecção de
padrões em dados não rotulados, onde o sistema não é
informado sobre o que procurar especificamente, mas
simplesmente para descobrir padrões nos dados. Espera-
se que o sistema seja autodidata.

As redes de aprendizado profundo (deep learning)


consistem em muitas camadas de redes neuronais que
trabalham de maneira hierárquica para detectar padrões. LAUDON & LAUDON, “Management Information Systems”, (2020)

70
Gestão de Informação - Algoritmos Genéticos

Algoritmos Genéticos

Algoritmos genéticos são outra forma de aprendizado de máquina. Os


algoritmos genéticos são úteis para encontrar a solução ótima para um
problema específico, examinando um número muito grande de soluções
alternativas para esse problema. Seu método de resolução de problemas é
baseado em ideias inspiradas na biologia evolutiva, como herança,
mutação, seleção e cruzamento (recombinação).
LAUDON & LAUDON, “Management Information Systems”, (2020)

Um algoritmo genético funciona pesquisando uma população de


Este exemplo ilustra uma população inicial de
sequências de dígitos binários geradas aleatoriamente para identificar a “cromossomas”, cada um representando uma
sequência correta que representa a melhor solução possível para o solução diferente. O algoritmo genético usa um
problema. À medida que as soluções se alteram e se combinam, as piores processo iterativo para refinar as soluções iniciais
são descartadas e as melhores sobrevivem para produzir soluções ainda de modo que as melhores, aquelas com maior
aptidão, tenham maior probabilidade de surgir
melhores.
como a melhor solução.

71
Gestão de Informação - Processamento de Linguagem Natural, Sistemas Visão Computacional
e Robótica

Linguagem Natural
A linguagem humana nem sempre é precisa. Muitas vezes é ambígua, e os significados das palavras podem depender de
variáveis complexas, como gírias, dialetos regionais e contexto social. O processamento de linguagem natural (NLP - Natural
Language Processing) possibilita que um computador entenda e analise a linguagem natural – linguagem que os seres humanos
usam instintivamente. Os algoritmos de NLP geralmente são baseados em machine learning, incluindo deep learning, que pode
aprender a identificar a intenção de um palestrante a partir de muitos exemplos.

O Mizuho Bank, com sede em Tóquio, emprega tecnologia avançada de reconhecimento de fala, software de análise de
conteúdo IBM® Watson TM e uma infraestrutura de serviços em núvem para melhorar as interações dos agentes do call center
com os clientes. Depois de converter a fala do cliente em dados textuais, a solução aplica algoritmos de processamento de
linguagem natural com base na análise de machine learning de interações com milhares de clientes. O sistema aprende cada
vez mais com cada interação com o cliente para que possa eventualmente inferir as necessidades ou objetivos específicos do
cliente em cada ponto da conversa. Em seguida, formula a resposta ideal, que é entregue em tempo real como um prompt na
tela do agente. Ao ajudar os agentes do call center a perceber e responder com mais eficiência às necessidades dos clientes,
essa solução reduziu a duração média das interações com os clientes em mais de 6% (IBM, 2018).

72
Gestão de Informação - Processamento de Linguagem Natural, Sistemas Visão Computacional
e Robótica

Sistemas de Visão Computacional


Os sistemas de visão computacional lidam com a forma como os
computadores podem emular o sistema visual humano para visualizar e
extrair informações de imagens do mundo real. Tais sistemas incorporam
processamento de imagens, reconhecimento de padrões e compreensão de
imagens.

Um exemplo é a ferramenta de reconhecimento facial do Facebook


chamada DeepFace, que é quase tão precisa quanto o cérebro humano no
reconhecimento de um rosto. O DeepFace ajudará o Facebook a melhorar a
precisão dos recursos de reconhecimento facial existentes do Facebook
para garantir que todas as fotos de um utilizador do Facebook estejam
conectadas à conta do Facebook dessa pessoa. Os sistemas de visão
computacional também são usados em veículos autônomos, como drones e
carros autônomos, sistemas industriais de visão de máquina (por ex:
inspeção de garrafas), aplicações militares e ferramentas robóticas.
73
Gestão de Informação - Processamento de Linguagem Natural, Sistemas Visão Computacional
e Robótica

Robótica

A robótica lida com o projeto, construção, operação e uso de


máquinas móveis que podem substituir os humanos, juntamente com
sistemas de computador para seu controle, feedback sensorial e
processamento de informações.

Os robôs não podem substituir inteiramente as pessoas, mas são


programados para realizar uma série específica de ações
automaticamente. São frequentemente usados em ambientes
perigosos (como detecção e desativação de bombas), processos de
fabricação (soldar, aplicar cola, pintar, …), operações militares
(drones) e procedimentos médicos (robôs cirúrgicos).

Existe o receio, atualmente, de que os robôs venham a substituir por


completo as pessoas e com isso acabar com muitos empregos.

74
Gestão de Informação - Agentes Inteligentes

Agentes Inteligentes

Agentes inteligentes são programas de software que funcionam em segundo plano


sem intervenção humana direta para realizar tarefas específicas para um utilizador
individual, processo de negócios ou aplicativo de software.

De interesse especial para os negócios são os bots de agentes inteligentes que


buscam informações na Internet. Os bots de compras ajudam os consumidores a
encontrar os produtos que desejam e os auxiliam na comparação de preços e
outros recursos.

Embora alguns agentes de software sejam programados para seguir um conjunto


simples de regras, outros são capazes de aprender com a experiência e ajustar seu
comportamento usando aprendizagem de máquina e processamento de linguagem
natural.

75
Gestão de Informação - Ciência dos Dados - Data Science

Ciência dos Dados - Data Science


A ciência de dados combina matemática e estatística, programação
especializada, análise avançada, inteligência artificial (IA) e
aprendizagem de máquina (machine learning) com conhecimento
específico no assunto para descobrir insights acionáveis ocultos nos
dados de uma organização. Esses insights podem ser usados para
orientar a tomada de decisões e o planeamento estratégico.

O volume acelerado de fontes de dados e, consequentemente, de


dados, tornou a ciência de dados um dos campos de crescimento
mais rápido em todos os setores. Como resultado, não é surpresa que
o papel do cientista de dados tenha sido apelidado de “o trabalho
mais sexy do século 21” pela Harvard Business Review. As
organizações dependem cada vez mais deles para interpretar dados e
fornecer recomendações que, acionadas, possam melhorar os
resultados dos negócios.

76
Gestão de Informação - Ciência dos Dados - Data Science

Processo de Ciência dos Dados - Data Science

Obtenção de dados - pré-existentes, de um repositório de dados, de outras fontes…

Supressão de dados - padronização dos dados de acordo com um formato predeterminado (correção de erros
(ortográficos; formato; …); remoção dados atípicos;

Exploração de dados - análise de dados preliminar usada para planear estratégias de modelação de dados.

Modelação de dados - algoritmos de software e machine learning para obtenção de insights e previsão de
resultados

Interpretação de dados - interpretação dos diagramas, gráficos, tabelas,…, e sua conversão em ações reais.

77
Gestão de Informação - Ciência dos Dados - Data Science - Benefícios

A ciência de dados promove vantagens competitivas para as empresas ao desenvolver modelos estratégicos de processamento
de informação.
Descoberta padrões transformadores com potencial transformador da empresa
Ex: Site comércio electrónico ao utilizar DS descobre que muitas das visitas que tem se verificam após horário de fecho e para
além disso que a probabilidade de aquisição de um produto é maior caso a resposta a uma ´dúvida, por parte do cliente, seja
imediata, em vez de no dia seguinte.
Solução : A implementação de um serviço de atendimento ao cliente 24x7 aumentaria a sua receita em 30%.

Inovação (produtos e soluções)


Percepções sobre decisões de compra e feedback de clientes e processos. Alterações de baixo custo podem promover
aumento da receita
Ex: Pagamento online - Ao falhar por 3 x a password a conta bloqueia sem possibilidade de recuperar o bloquear a conta (por
excesso de tentativas) bloqueia Clientes reclamam do sistema de recuperação de passwords.
Solução: Um processo mais expedito para recuperação de password aumentará o grau de satisfação do cliente.

Optimização em tempo real


A falta de resposta à mudança em tempo real pode causar perdas ou interrupções significativas à empresa.
Ex: Transportadora: A identificação de inatividade de uma carrinha, para manutenção, em conjunto com a análise das rotas,
pode auxiliar à previsão de peças de reposição para manutenção.
78
Gestão de Informação - Ciência dos Dados - Tecnologias

Tecnologias de Ciência dos Dados

Inteligência artificial: modelos de machine learning e software para obtenção de análises preditivas e
prescritivas.

Computação em nuvem: proporciona flexibilidade e capacidade de processamento necessária para análises


de dados avançadas.

Internet das Coisas: IoT (dispositivos podem ligar-se à internet) - dispositivos que recolhem e geram (grandes
quantidades) dados para posterior análise.

Computação quântica: efetuam cálculos extremamente complexos em velocidades elevadíssimas. Utilizados


para criar algoritmos quantitativos complexos.

79
Gestão de Informação - DDDM - Data Driven Decision Making

Tomar decisões orientadas por dados tornou-se um tema quente ao entrarmos na era big data. Hoje em dia muitas empresas já
utilizam essa abordagem para impulsionar decisões de crescimento.

A intuição é subjetiva e as decisões de negócios devem ser tomadas com base em informações objetivas.

A intuição é eficaz quando você não tem dados ou tempo para pensar logicamente antes de tomar uma decisão. No entanto,
desenvolver a intuição com base no conhecimento e na experiência e utilizá-la na tomada de decisão de negócio é uma opção
arriscada.

Dados são informações objetivas e imparciais.

Ao processo de estudar grandes quantidades de dados, de os analisar identificando padrões, obter insights e os utilizar para
tomar decisões de negócios designamos por tomada de decisão orientada por dados (DDDM - Data Driven Decision Making).

80
Gestão de Informação - DDDM - Data Driven Decision Making

Qual é melhor ? Intuição ou DDDM ?

Há dois fatores a considerar.

1 - Mais dados podem realmente ajudá-lo a escolher a opção certa ?

Ex: A sua empresa está considerando uma nova ideia de produto.


Você pode fazer pesquisas de mercado e avaliar as ofertas da concorrência – mas essas informações não garantem que
as pessoas comprem o seu produto. Numa situação como esta, você pode considerar os dados disponíveis e, em
seguida, confiar em seu instinto.

2 - Contexto do problema

Existem muitas situações em que os dados por si só podem ou não fornecem a imagem completa.
A intuição baseia-se nas informações objetivas e subjetivas que você já conhece – então sua intuição é, até certo ponto,
orientada por dados.

81
Gestão de Informação - DDDM - Data Driven Decision Making

Situações que favorecem a tomada de decisões intuitiva e orientada por dados

Orientada por Dados Intuitiva


Resolução Conflitos Decisões rápidas
Objectivos bem definidos Situações ambíguas
Estruturado e processado Problemas não estruturados
Decisões para “grandes apostas” Decisões Ad-hoc e diárias
Pouco frequentes e desconhecidas Situações familiares

“We start with the data. But the final call is always gut. It is called informed intuition.” Reed Hastings ‒ CEO, Netflix

82
Gestão de Informação - Como usar dados para tomar decisões

Num ambiente de negócios global em rápida mudança, a pressão sobre as organizações para tomar decisões precisas e
oportunas nunca foi tão grande. A capacidade de identificar desafios, identificar oportunidades e se adaptar com agilidade não
é apenas uma vantagem competitiva, mas também um requisito para a sobrevivência.

Nos negócios, existe sempre um elemento de risco, mas as decisões baseadas em dados tornam as empresas menos
vulneráveis a decisões arriscadas que se verificam posteriormente erradas.

1. Observe quais os seus objetivos e estabeleça prioridades


Quais os objetivos que se propõe a melhorar?
Comece com o mais importante quando você está tomando decisões.
Ex: Suponhamos que pretende que mais pessoas subscrevam o seu SaaS premium na
Europa. Nesse caso, gerar mais inscrições é sua principal prioridade. Mas, durante a fase
de pesquisa, você descobre que 75% das assinaturas premium vêm da Noruega, mas
menos de 10% vêm do Reino Unido ou da Alemanha.
Decisão vs Risco
Portanto, o objetivo é “aumentar as assinaturas premium no Reino Unido e na Alemanha”.
Uma vez decidido, você precisará de dados para apoiá-lo.
83
Gestão de Informação - Como usar dados para tomar decisões

2. Encontre e apresente dados relevantes


Depois de identificar o problema que deseja resolver e a decisão que
vai tomar, é hora de encontrar e apresentar dados relevantes.

É importante ressaltar que a palavra “relevante” é fundamental aqui.

Você não quer passar horas analisando dados que não terão nenhum
impacto na sua decisão final. Portanto, mantenha os dados relevantes
e recolha apenas os dados relacionados com o seu objetivo.

Os seus dados podem ser recolhidos de fontes como:


‣ CRM
‣ Website analítico
‣ Plataformas de BI
‣ Feedback de clientes
‣ Plataformas sociais
‣ …

84
Gestão de Informação - Como usar dados para tomar decisões

3. Tire conclusões desses dados

Verifique os dados de histórico recolhidos e tente identificar padrões ou tendências.

Ao longo desse processo, você pode descobrir que:

‣ Reescrever sua sequência de integração no passado levou a uma melhoria


positiva.
‣ Os “posts” nas redes sociais compartilhadas com um tom de voz mais jovial e
bem-humorado receberam mais engajamento (o que seus modelos de e-mail
não usam atualmente).
‣ A maioria das pessoas que visitam seu centro de suporte são clientes existentes,
mas a sua sequência de integração não direciona novos clientes para lá.

85
Gestão de Informação - Como usar dados para tomar decisões

4. Planeie sua estratégia

Após definir o(s) objectivo(s) que deseja melhorar e analisar os dados para tomar uma decisão de seguida necessitará de
estabelecer um plano de ação para colocar sua decisão em prática.

A chave nesta fase é definir metas claramente definidas sobre o que precisa ser feito e quando, por quem, por que você está
fazendo e qual é o resultado que você espera – em vez de criar metas vagas que “precisam ser feitas antes do final do ano”.

Por exemplo, você pode usar dados para concluir que um programa de recompensas ajudará na fidelização do cliente. Nesse
caso, seu objetivo claramente definido seria algo assim:

“José e Maria (meus colaboradores) criarão um programa de recompensas baseado em pontos para aumentar as taxas de
retenção de clientes nos próximos 2 meses. Isso melhorará a fidelização do cliente e aumentará a retenção em 15%.”
Simples, mas surpreendentemente eficaz.

86
Gestão de Informação - Como usar dados para tomar decisões

5. Meça o sucesso e repita

Sua decisão foi tomada e os resultados estão à vista – muito bem!


Mas isso não significa que seu processo de tomada de decisão acabou.
Observe os dados que recolheu originalmente e com base na sua decisão inicial e quando o chegar ao prazo definido para o
seu objetivo compare os dados históricos com os novos dados que recolheu e questione-se:
Sua decisão baseada em dados teve um impacto positivo no crescimento do seu negócio?

Se sua decisão foi bem sucedida, parabéns!

Se não foi, pelo menos agora você sabe o que não funciona. E, às vezes, isso é tão importante como saber o que funciona.

E como Thomas Edison disse uma vez sobre a invenção da lâmpada – “Eu não falhei, acabei de encontrar 10.000 maneiras que
não funcionaram”.

87
Arquitetura Interna Computador - Bibliografia

Livros de Apoio

• LAUDON, Kenneth C. e LAUDON, Jane. “Management Information Systems


Managing the Digital Firm”, 16ª edição, Pearson (2020)

• SANTOS, Maribel Y. e COSTA, Carlos. “Big Data - Concepts, Warehousing, and


Analytics”, FCA (2019)

88

Você também pode gostar