Escolar Documentos
Profissional Documentos
Cultura Documentos
B9780124114616000010/B9780124114616000010.xhtml#B9780124114616000010
CAPÍTULO 1
A demanda de negócios por dados, informações
e análises
Abstrato
No mundo dos negócios, conhecimento não é apenas poder. É a força vital de uma empresa
próspera. O conhecimento vem da informação, e esta, por sua vez, vem dos dados. Muitas
empresas estão sobrecarregadas pelo dilúvio de dados, que estão recebendo de todas as
direções. Eles estão se perguntando se podem lidar com Big Data – com seu volume,
variedade e velocidade em expansão. Há uma grande diferença entre dados brutos, que
por si só não são úteis, e informações acionáveis, que os empresários podem usar com
confiança para tomar decisões. Os dados devem ser transformados para torná-los limpos,
consistentes, adaptados, atuais e abrangentes – os cinco Cs dos dados. Cabe a uma equipe
de Business Intelligence (BI) coletar e gerenciar os dados para capacitar os grupos de
negócios da empresa com as informações de que precisam para obter conhecimento —
conhecimento que os ajuda a tomar decisões informadas sobre cada passo que a empresa
dá. Embora haja tentativas de contornar ou substituir o BI por sistemas operacionais, não
há realmente nenhum bom substituto para o verdadeiro BI. Os sistemas operacionais
podem se destacar na captura de dados, mas o BI se destaca na análise de informações.
Palavras-chave
“Eu só quero dizer uma palavra para você. Apenas uma palavra... Você está ouvindo? …
Plásticos. Há um grande futuro nos plásticos.”
Os Mr. McGuires do mundo não estão mais aconselhando recém-formados a entrar no mundo dos plásticos. Mas talvez
eles deveriam estar recomendando dados. No mundo digital de hoje, os dados são a chave, o bilhete e o Santo Graal, tudo
em um.
Não quero dizer apenas que está crescendo em importância como profissão, embora seja um ótimo campo para entrar, e
estou emocionado que meus filhos Jake e Josh estejam seguindo carreiras em dados e tecnologia. Os dados são onde estão os
dólares quando se trata de orçamentos da empresa. A cada poucos anos, há outro relatório mostrando que a inteligência de
negócios (BI) está no topo ou perto do topo da lista de prioridades do diretor de informações (CIO).
As empresas de hoje são movidas por dados ou, para ser mais preciso, por informações obtidas a partir de dados. Ele
lança luz sobre o que é desconhecido, reduz a incerteza e transforma a tomada de decisão de uma arte em uma ciência.
Mas seja Big Data ou apenas dados antigos, requer muito trabalho antes de ser realmente algo útil. Você não gostaria de
comer uma xícara de farinha, mas assado em um bolo com manteiga, ovos e açúcar pelo tempo certo na temperatura certa,
ele se transforma em algo delicioso. Da mesma forma, os dados brutos são intragáveis para o empresário que precisa deles
para tomar decisões. É inconsistente, incompleto, desatualizado, não formatado e repleto de erros. Os dados brutos
precisam de integração, design, modelagem, arquitetura e outros trabalhos antes que possam ser transformados em
informações consumíveis.
É aqui que você precisa de integração de dados para unificar e massagear os dados, data warehousing para armazená-los
e organizá-los e BI para apresentá-los aos tomadores de decisão de maneira compreensível. Pode ser um longo eprocesso
complicado, mas há um caminho; existem diretrizes e melhores práticas. Tal como acontece com muitas coisas que são
difíceis de fazer, há atalhos prometidos e “balas de prata” que você precisa aprender a reconhecer antes que eles te
tropecem.
Será preciso muito mais do que apenas ler este livro para tornar seu projeto um sucesso, mas minha esperança é que ele
ajude a colocá-lo no caminho certo.
Não é apenas que as empresas acumulam dados em volumes cada vez maiores, a variedade e a velocidade dos dados
também estão aumentando. Embora os bancos de dados "Big Data" emergentes possam fazer com que a capacidade de uma
empresa de coletar dados exploda, o volume, a velocidade e a variedade estão se expandindo, não importa quão "grandes"
ou "pequenos" sejam os dados.
Volume — De acordo com muitos especialistas, 90% dos dados no mundo hoje foram criados apenas nos últimos dois
anos. Quando você ouve essa estatística, pode pensar que vem de toda a conversa nas mídias sociais, mas os dados estão
sendo gerados por todos os tipos de atividades. Para dar apenas um exemplo, pense no surgimento da identificação por
radiofrequência (RFID) para rastrear produtos desde a fabricação até a compra. É uma enorme categoria de dados que
simplesmente não existia antes. Embora nem todos os dados coletados sejam significativos para uma empresa, eles ainda
deixam uma enorme quantidade de dados com os quais lidar.
Velocidade — Muitos dos dados agora são sensíveis ao tempo e há uma pressão maior para diminuir o tempo entre o
momento em que são capturados e o momento em que são usados para geração de relatórios. Agora dependemos da
velocidade de alguns desses dados. É extremamente útil receber uma notificação imediata do seu banco, por exemplo,
quando uma transação fraudulenta é detectada, permitindo que você cancele seu cartão de crédito imediatamente. Empresas
de todos os setores da indústria estão usando dados atuais ao interagir com seus clientes, prospects, fornecedores, parceiros,
funcionários e outras partes interessadas.
Variedade — As fontes de dados continuam a se expandir. Receber dados de fontes diferentes complica ainda mais as
coisas. Dados não estruturados, como áudio, vídeo e mídia social, e dados semiestruturadoscomo os feeds XML e RSS
devem ser tratados de forma diferente dos dados estruturados tradicionais. O CIO do passado pensava que os telefones
eram apenas para conversar, não algo que coletava dados. Ele também achava que o Twitter era algo que os pássaros
faziam. Agora que uma empresa pode coletar dados de tweets sobre seus produtos, como ela lida com esses dados e o que
faz com eles? Além disso, o que ele faz com os dados inestimáveis que os empresários criam em planilhas e documentos do
Microsoft Word e usam na tomada de decisões? Anteriormente, os CIOs só precisavam se preocupar em coletar e analisar
dados de aplicativos de back office, mas agora seus dados podem vir de pessoas, máquinas, processos e aplicativos
espalhados pelo mundo.
FIGURA 1.1 Muita informação. www.CartoonStock.com .
Infelizmente, as empresas não têm sido tão boas em organizar e entender os dados quanto em coletá-los. Os dados não
têm valor, a menos que você possa entender o que tem, analisá-lo e, em seguida, agir de acordo com os insights da análise.
Consulte o site que acompanha o livro www.BIguidebook.com para obter links para pesquisas do setor, modelos e outros
materiais para ajudá-lo a aprender mais sobre inteligência de negócios e tornar seu próximo projeto um sucesso.
Para receber atualizações sobre o material recém-publicado, assine a lista de e-mail no site ou siga o feed RSS do meu
blog em www.datadoghouse.com .
• Dois terços dos executivos consideram que suas organizações são “orientadas por dados”.
• Mais da metade (54%) diz que as decisões gerenciais baseadas puramente na intuição ou na experiência são cada vez mais
consideradas suspeitas.
• A maioria dos executivos (58%) confia na análise de dados não estruturados, incluindo texto, mensagens de voz, imagens e
conteúdo de vídeo.
• Embora 42% dos executivos digam que a análise de dados desacelerou a tomada de decisão, a grande maioria (85%) acredita
que o volume crescente de dados não é o principal desafio, mas sim poder analisá-lo e agir em tempo real .
• À medida que as organizações buscam cada vez mais o resultado da análise para automatizar a tomada de decisões, a
qualidade dos dados é vista como um grande obstáculo.
A importância da análise
As empresas não podem subestimar a importância de suas iniciativas de análise. Embora as empresas ainda precisem de
líderes e tomadores de decisão com intuição, elas dependem de dados para validar suas intuições. Nesse sentido, os dados
tornam-se um guia estratégico que ajuda os executivos a ver padrões que, de outra forma, não perceberiam. Um estudo da
Bain descobriu que as empresas com os recursos de análise mais avançados superaram os concorrentes por amplas margens,
com os líderes mostrando estes resultados [5] :
• Duas vezes mais probabilidade de estar no quartil superior de desempenho financeiro em seus setores
• Cinco vezes mais probabilidade de tomar decisões muito mais rápido do que os pares do mercado
• Três vezes mais probabilidade de executar decisões conforme pretendido
• Duas vezes mais propenso a usar dados com muita frequência ao tomar decisões.
Desafios do Analytics
O uso de análises não está apenas crescendo em volume; também está se tornando mais complexo. A análise avançada está
se expandindo para incluir análise preditiva, visualização de dados e descoberta de dados.
Analytics não é apenas sobre números; é sobre poder cerebral. Mais empresas estão percebendo que precisam contratar
uma nova classe de pessoas com experiência em dados para desenvolver modelos analíticos complicados; essas pessoas são
frequentemente chamadas de cientistas de dados. Um relatório da McKinsey afirmou que “Até 2018, somente os Estados
Unidos poderão enfrentar uma escassez de 140.000 a 190.000 pessoas com habilidades analíticas profundas, bem como
1,5 milhão de gerentes e analistas com know-how para usar a análise de Big Data para tomar decisões eficazes ” [6] . As
empresas estão preocupadas com isso? Pode apostar! De acordo com o Gartner CIO Agenda Report de 2014, “Cinquenta e
um por cento dos CIOs estão preocupados que a torrente digital esteja chegando mais rápido do que eles podem lidar, e 42%
não sentem que têm as habilidades e capacidades certas para enfrentar este futuro. ”[7] .
Nosso setor enfrenta uma escassez de pessoas qualificadas em inteligência de negócios, análise e integração de dados que
impedem os negócios de usar efetivamente os dados que já possuem. Com a investida do Big Data e as habilidades
avançadas que ele exige, é importante que mais pessoas aprendam a trabalhar com essas soluções de análise avançada.
Estratégia de análise
A análise de negócios é indispensável para analisar esses dados e usá-los para tomar decisões de negócios informadas. Um
relatório da Forrester [8] destaca algumas das razões pelas quais a análise de BI é tão crítica:
• Muitas decisões de negócios permanecem baseadas em palpites intuitivos, não em fatos
• A análise diminui a descontinuidade entre a intuição e a tomada de decisão factual
• A diferenciação competitiva pode ser alcançada pelo uso de dados mais sofisticado
• O Big Data permite novos casos de uso, mas exigirá análises para aproveitar ao máximo seu potencial.
Para aproveitar ao máximo o poder da análise, uma empresa precisa de uma estratégia baseada em como seus executivos
interagem e usam os dados. O Capítulo 15 abordará esse tópico em detalhes, mas, para resumir, uma estratégia de análise
pode incluir:
• Projetar uma arquitetura de dados que permite relatórios, análises, modelagem preditiva e BI de autoatendimento
• Arquitetar um portfólio de BI
• Arquitetar soluções com descoberta de dados, visualização de dados e BI na memória
• Habilitação de BI operacional e analítico
• Projetar e implementar sandboxes e hubs analíticos
• Criação de programas de governança analítica e de dados
• Criação de ambientes compartilhados de metadados de BI.
Há uma grande diferença entre dados e informações, embora os termos sejam frequentemente usados de forma
intercambiável. Os dados são brutos, aleatórios e desorganizados. Informações são dados que foram organizados,
estruturados eprocessado. Informação é o que você usa para obter conhecimento. Todos nós comemos, então vamos ver
como um foodie abordaria esses conceitos:
• Dados: uma coleção de ingredientes sobre o balcão. Eles incluem cenouras, cebolas, alho-poró, alho e batatas do mercado do
fazendeiro, e um pacote de frango, uma caixa de arroz e algumas latas de caldo da mercearia. No mundo de armazenamento de
dados (DW)/BI, isso é como dados de origem de diferentes sistemas operacionais.
O BI transforma dados em informações “acionáveis” – informações úteis para o negócio e que o ajudam a obter
conhecimento. A demanda de negócios por informações acionáveis está em constante expansão. Com gerentes de negócios e
funcionários aparentemente conectados 24 horas por dia, 7 dias por semana por meio de seus smartphones, tablets e outros
dispositivos, as expectativas estão aumentando ainda mais para sistemas de BI que podem ir além de relatórios básicos e
fornecer recursos de análise na velocidade do pensamento.
É bom que as empresas tenham reconhecido o valor comercial significativo de analisar a quantidade crescente de
informações e, em seguida, agir de acordo com essa análise. É uma coisa ruim, no entanto, quando as empresas ficam tão
sobrecarregadas pelo dilúvio de informações que não podem analisá-lo efetivamente ou receber informações atuais o
suficiente para agir.
As empresas estão nessa posição porque muitas ainda estão usando as técnicas e tecnologias padrão que se tornaram
comuns em BI e DW antes do dilúvio de informações atual. As empresas têm encontrado aumentos significativos em
volume, variedade e velocidade nos últimos anos, à medida que se expandem da integração de dados de sistemas
operacionais internos para o intercâmbio de dados com clientes, clientes potenciais, parceiros, fornecedores e outras partes
interessadas.
Depois que os dados necessários são localizados e avaliados, muitas vezes é preciso trabalhar para transformá-los em um
conjunto de informações limpo, consistente e abrangente que esteja pronto para ser analisado.
A espinha dorsal da informação
Não importa qual seja a solicitação de BI, as informações comerciais corretas devem estar disponíveis. Isso não significa que
tudo o que você precisa fazer é conceder a uma pessoa de negócios acesso a um banco de dados. Dados abrangentes,
consistentes, conformados, limpos e atuais não acontecem sem uma estratégia para gerenciar as informações.
Uma vez que as informações estejam em ordem, os empresários podem se conectar ao backbone de informações por meio
de muitas ferramentas de BI, como descoberta de dados, visualização de dados, consulta ad hoc, painéis, scorecards, análise
OLAP, análise preditiva, relatórios e planilhas. As demandas de dados de uma empresa estão sempre se expandindo e
evoluindo, o que significa que o backbone de informações também está se expandindo. Isso geralmente requer integração de
dados, limpeza de dados, criação de perfil de dados e, o mais importante, governança de dados.
Para entender o papel de um sistema de BI versus um sistema de processamento de transações, comece com os dados – há
uma grande diferença entre apenas capturar dados e usá-los para análise. Capturar dados significa convertê-los ou traduzi-
los para um formato digital. Por exemplo, quando você digitaliza um código de barras impresso no caixa do supermercado,
ele captura dados sobre o preço do item. Quando você usa seu smartphone para escanear o código QR em um pôster de
filme, ele captura esses dados e o envia para um vídeo da Web com uma prévia do filme. Quando você usa seu telefone para
digitalizar um cheque para depósito on-line e, em seguida, digita o valor do depósito, essa informação é capturada e
enviada ao banco.
Os dados capturados são inseridos nos sistemas operacionais. São os sistemas que realizam as transações do dia a dia de
uma empresa, como depósitos em banco, vendas em loja e matrículas de cursos em uma universidade. Eles também são
chamados de sistemas de processamento de transações, porque é onde a empresa processa suas transações.
Compare isso com inteligência de negócios, que são os aplicativos usados para relatórios, consultas e análises. Essa
categoria também inclui data warehousing, que é a espinha dorsal do banco de dados para dar suporte a aplicativos de
BI. Um data warehouse não é a única fonte de dados usada pelo BI, mas continua sendo um ingrediente chave para uma
solução corporativa que fornece informações limpas, consistentes, conformadas, abrangentes e atuais, em vez de mais um
silo de dados.
Tradicionalmente, os sistemas operacionais tinham apenas recursos de relatórios limitados. Isto é incompreensível; eles
são construídos para processamento transacional, afinal. Os dados de uma empresa podem estar espalhados por muitos
sistemas operacionais diferentes, tornando muito difícil coletar e consolidar. Em um grande centro médico, por exemplo, um
sistema pode processar dados relacionados a contas de pacientes, outro pode ser delegado a dados de pesquisas médicas e
outro pode ser usado para recursos humanos. Os sistemas são construídos para processar grandes quantidades de dados e
fazê-lo rapidamente.
A resposta à necessidade de melhores relatórios foi o BI – e ainda é a resposta. Mas também existe um meio termo,
chamado BI operacional, que causa muita confusão.
O BI operacional borra as linhas
O BI operacional (também chamado de BI em tempo real) transfere as consultas e os relatórios para os próprios sistemas
operacionais. No lado positivo, isso permite consultas em dados em tempo real e resultados imediatos. Do lado negativo,
causa confusão. Trabalhei com clientes onde as pessoas não entendiam os limites entre captura e análise de dados; eles
achavam que os mesmos dados poderiam ser usados tanto para processamento quanto para análise de transações. A
realidade é que os dados ainda precisam ser estruturados para análise – daí o enigma da captura de dados versus análise de
informações.
É perigoso quando uma empresa considera o BI operacional como uma panacéia para suas necessidades de informações
de negócios. Muitas vezes, a tecnologia mais recente é vista como uma solução que evita todas as coisas difíceis e demoradas
de integração de dados que fazemos há anos. Não é um atalho. A TI e os negócios ainda precisam se comunicar e concordar
com as definições de dados e transformações de dados para informações de negócios.
Onde o armazenamento de dados se encaixa
É fácil ver por que a ideia de simplesmente acessar os dados corporativos onde estão armazenados nos sistemas
operacionais parece tão atraente. O BI operacional tem muitos benefícios, como a simplicidade de um único conjunto de
ferramentas de BI para acessar, relatar e analisar dados. Mas é um grande erro pensar que isso torna o data warehouse
obsoleto. Nem mesmo perto. O armazenamento de dados é uma parte necessária da estratégia de gerenciamento de
informações de uma empresa por vários motivos.
• Os dados operacionais são diferentes dos dados analíticos de várias maneiras:
• Os dados operacionais são estruturados para processar e gerenciar com eficiência as transações e interações comerciais,
enquanto os dados nos data warehouses são estruturados para que os empresários compreendam e analisem.
• Os sistemas operacionais vivem no aqui e agora, enquanto o armazenamento de dados deve suportar o passado, o presente e
o futuro. Os sistemas operacionais registram o evento de negócios como está, enquanto o armazenamento de dados rastreia
as mudanças nas dimensões – produtos, clientes, negócios, geopolíticas, estruturas de contas e hierarquias organizacionais –
para que as informações possam ser examinadas como estão, como eram e como serão.
• Os dados operacionais normalmente contêm um período de tempo relativamente curto, enquanto os dados analíticos são
históricos. Uma empresa precisa realizar análises de período a período ou examinar tendências usando dados históricos.
• Os dados de muitos dos atributos que a empresa deseja analisar não são necessários nem estão disponíveis em um sistema
operacional.
• Os dados operacionais estão espalhados por muitos sistemas de origem, dificultando a reunião e a análise. Quanto mais
fontes você tiver, mais integração de dados você precisará.
• Toda empresa, não importa quão grande ou pequena, deve realizar a integração de dados para garantir que seus dados sejam
consistentes, limpos e corretos.
• Existem muitos algoritmos de negócios usados para transformar dados em informações fora dos sistemas
operacionais. Finanças, vendas, marketing e outros grupos de negócios devem transformar os dados no contexto de
negócios de que precisam para realizar seu trabalho.
• Existem medidas de desempenho de indicadores-chave de desempenho (KPIs) em toda a empresa e específicas de grupos de
negócios que precisam ser derivadas fora dos sistemas operacionais.
Houve inúmeras ocasiões em que os fornecedores proclamaram que o armazenamento de dados não é mais
necessário. Ao longo dos anos, ouvimos falar deles sobre middleware, data warehouses virtuais, data marts conformados,
integração de informações corporativas (EII), integração de aplicativos corporativos (EAI), arquiteturas orientadas a serviços
(SOA), virtualização de dados e acesso em tempo real de cada geração de ferramentas de BI. Na verdade, é um tema
recorrente. Não há “bala de prata” que ajude uma empresa a evitar o trabalho árduo de integração de dados. Informações
limpas, abrangentes, consistentes, conformadas e atuais não são um acaso; requer pensamento e trabalho.
Quaisquer que sejam as promessas de bala de prata que você possa ouvir, a resposta não tem nada a ver com
conectividade, largura de banda, memória ou interfaces elegantes. A realidade é que muita análise é necessária para
entender os dados espalhados pelos silos dentro e fora das empresas. Os sistemas operacionais carecem de muitos atributos-
chave e não suportam todas as transformações de negócios necessárias para lidar com essa análise.
As empresas precisam de BI operacional e analítico. O Capítulo 5 abordará o BI operacional com mais detalhes e incluirá
seus benefícios, riscos e diretrizes para fazê-lo corretamente.
Tabela 1.1
Terminologia comum
Aplica-se
Prazo a BI, DW
e/ou DI
DW.
Referências
[1] Gualtieri M, Yuhanna N, Kisker Ph.D. H, Curran R, Murphy D. Os dados do cliente devem
ser a força vital de sua empresa . Forrester Research, Inc.; 11 de junho de 2014 Web.
[3] O Gartner prevê que business intelligence e analytics continuarão sendo o foco principal dos
CIOs até 2017 . Comunicado de imprensa; 16 de dezembro de 2013 Web.