SMR509

INVERNO 2015

Uso de Experiência Simulada para

Compreender Grandes Volumes de
Dados

À medida que as análises de dados ficam mais complexas, qual a

melhor forma para as empresas poderem comunicar seus
resultados, garantindo que os tomadores de decisões entendam
adequadamente as implicações dos dados?

Robin M. Hogarth
Emre Soyer

Vol. 56 | Reimpressão #56215 | http://mitsmr.com/1wD4cHc

Este documento é autorizado somente para uso e revisão de educadores por Oscar Javier Celis Ariza, Universidade Estácio de Sá até fevereiro de 2017. Cópia ou publicação
configura violação dos direitos autorais. Permissions@hbsp.harvard.edu ou 617.783.7860
 TOMADA DE DECISÕES : SIMULAÇÕES

Uso de Experiência A PRINCIPAL

PERGUNTA
Qual a melhor forma para
as empresas

Simulada para comunicarem

resultados
analíticos a seus

Compreender Grandes executivos?

Volumes de Dados
RESULTADOS

À medida que as análises de dados ficam mais complexas,

Geralmente há uma
qual a melhor forma para as empresas poderem comunicar grande diferença entre
as conclusões de
seus resultados, garantindo que os tomadores de decisões analistas e o que tomadores
de decisões
entendam adequadamente as implicações dos dados? compreendem.
Descrições de
informações estatísticas
complexas podem ser
enganosas.
POR ROBIN M. HOGARTH E EMRE SOYER A interação com
um modelo de simulação
pode ajudar executivos
a tomarem melhores
decisões.

EM UM AMBIENTE econômico e social cada vez mais

complexo, o acesso a grandes quantidades de dados e
informações pode ajudar as organizações e governos a adotar
políticas, previsões e decisões melhores.
De fato, cada vez mais os tomadores de decisões confiam
em resultados estatísticos e modelos de decisão com base
em dados ao abordar problemas e traçar estratégias. Cientistas,
pesquisadores, tecnólogos e jornalistas vêm acompanhando
essa tendência, tentando entender quando e como essa
abordagem é mais útil e eficaz.¹

Até agora, as discussões se concentraram mais na análise:

coleta de dados, infraestruturas tecnológicas e métodos
estatísticos. Contudo, outra questão vital recebe muito menos
atenção: como os resultados analíticos são comunicados aos
tomadores de decisões. Conforme o volume dos dados aumenta

e as análises ficam mais complexas, qual a melhor forma para os

analistas comunicarem os resultados, garantindo que tomadores
de decisões entendam adequadamente suas implicações?

Comunicar Informações Estatísticas

Independentemente do quão bem executada, a utilizada de uma
análise depende de como os resultados são compreendidos pelo
público-alvo. Pense em um paciente indo ao médico para tratar
uma doença. Sem dúvida, a tarefa mais importante é o diagnóstico
da doença, que poderá levar à escolha do tratamento adequado.
Contudo, mesmo se a decisão final for do paciente, o trata-
mento escolhido poderá depender de como o médico informar
as diferentes opções ao paciente.
O mesmo se aplica quando o investidor consulta um especialista
financeiro ou o gerente procura os serviços de uma empresa de
consultoria.
Vários experimentos comportamentais mostraram que quando
as mesmas informações estatísticas são transmitidas de
formas diferentes, as pessoas tomam decisões bem diferentes.
 TOMADA DE DECISÕES : SIMULAÇÕES
A ciência dos dados, assim como diagnósticos
médicos ou pesquisas científicas, está nas mãos
de analistas especializados, que devem explicar
seus resultados a executivos tomadores de deci-
Sões, que muitas vezes possuem menos
conhecimento sobre o raciocínio formal e esta-
tístico. No entanto, vários experimentos
Comportamentais mostram que quando as
mesmas informações estatísticas são transmitidas
de formas diferentes, as pessoas tomam deci-
sões radicalmente diferentes.²
Consequentemente, geralmente há uma grande di-
Ferença entre conclusões de analistas e o que os
Tomadores de decisão entendem. Aqui, abordamos
a questão ao identificar, primeiro, os pontos fortes
e fracos dos modos mais comuns utilizados
para comunicar resultados: descrição e ilustração.
Em seguida, apresentamos um terceiro método
— experiência simulada —, que permite a inter-
pretação intuitiva de informações estatísticas
e, portanto, comunica resultados analíticos
até para tomadores de decisões ingênuos quando
se trata de estatística.
Descrição Descrição é o modo padrão de
apresentar informações estatísticas. Em geral,
Envolve declaração verbal ou um relatório,
que pode ter uma ou mais tabelas para
resumir os resultados. O ponto forte dessa
abordagem é a velocidade fornecer ao tomador
de decisões os aspectos mais essenciais e sali-
entes de uma análise. Mas conforme o problema
fica mais complexo, esse ponto forte vira um
DESCREVER O PROBLEMA DE INVESTIMENTO
Pense em um cenário onde Y é uma variável desejável, como riqueza ou saúde,
e X é um recurso valioso e escasso, como dinheiro ou tempo. Você quer ter mais
Y fazendo um investimento em X. A análise de investimentos passados mostra
que, em média, aumentar X em uma unidade leva ao aumento de uma unidade
em Y. Seu investimento atual é X = 0, e você pensa em aumentá-lo para
X = 5. Com esse valor de investimento, quais são as chances de você acabar com
Y negativo? Ou então, quantas unidades de X você precisaria para ter 80% de
certeza de que acabaria com Y positivo ?
Do
O aspecto saliente dessa descrição é o efeito médio estimado de 1 para
1. No entanto, ao enfatizar esse aspecto, a descrição esconde por completo
as incertezas inerentes em Y. Em particular, a informação fornecida não
deixa qualquer dúvida quanto a como eventos aleatórios, além do controle
do tomador de decisão, podem afetar o resultado. Essa incerteza poderia,
fato, resultar em alguém com grande investimento terminando pior do que
alguém com investimento menor ou sem investimento. Poderíamos, por
exemplo, acordar que fumar é mau para a saúde, mas não fumar não
garante uma vida mais longa e saudável em comparação ao fumante.
Portanto, usando apenas a informação sobre o efeito médio, é impossível
responder precisamente as perguntas específicas feitas sobre o problema ou
perceber os riscos potenciais associados à decisão.
grande erro. Embora enfatizem uma questão, as
descrições podem acabar escondendo detalhes
com importantes consequências para tomada de
decisões. (Vide “Descrevendo um Problema de
Investimento). A questão, então, torna-se: Quando
se trata de tomar decisões, será que somos
capazes de diferenciar entre descrições boas e
ruins?
Nossa própria pesquisa sugere que as descrições
podem desviar até mesmo os tomadores de
decisões mais especializados. Em um experimento
recente, pe- dimos que 257 estudiosos de economia
fizessem julgamentos e previsões com base em uma
simples análise de regressão. (Vide “Sobre a
Pesquisa”). Esse é o tipo mais comum de análise
empregado na economia aplicada para identificar e
quantificar uma relação causal entre duas variáveis.
Para nossa surpresa, a maioria dos especialistas teve
dificuldade para decifrar e agir de forma precisa sobre
os resultados do tipo de análise que eles mesmos
geralmente realizam. Em particular, descobrimos que
nossa descrição dos resultados, que imitava o padrão
da indústria, induzia a uma ilusão de previsibilidade —
uma crença errônea de que os resultados analisados
eram mais previsíveis do que realmente o eram .
A descrição atrapalhou algumas fontes de
incerteza e os tomadores de decisão tiveram
excesso de confiança quanto a suas
expectativas. Em última análise, conseguimos
evitar essa ilusão ao substituir a descrição com
uma ilustração. Dessa vez, os julgamentos e
decisões foram precisos, sugerindo que a
descrição dos resultados realmente era a
3
culpada pelos equívocos.
Ilustração Ilustrações na forma de gráfico, figura,
diagrama ou quadro também são regularmente
usadas para comunicar informações estatísticas.
Ao contrário da descrição, o principal objetivo é
fornecer uma visão geral da análise e oferecer uma
noção mais generalizada (embora menos precisa)
dos resultados. Consequentemente, os tomadores
de decisão são mais capazes de reconhecer as
tendências, efeitos e riscos de suas decisões em
4
potencial. Com o uso de ilustrações, é mais difícil
partes importantes dos resultados ficarem
escondidas. Portanto, um benefício de visualizar os
dados está em tornar as incertezas mais
transparentes. (Vide “Ilustrando um Problema de
Investimento”, p. 52). De fato, um artigo de 2011 da
Science que avalia a proficiência humana em
visualizar dados é habilmente intitulada
5
“Visualizando a Incerteza sobre o Futuro.”
Contudo, apesar de todos os seus benefícios, a
ilustração nem sempre é uma forma ideal de
comunicar complexidades. Quanto mais variá-
veis, mudanças estruturais, conexões e padrões
nos dados, mais difícil é condensá-los em uma
apresentação. Além disso, tal como a descrição,
a ilustração geralmente é estática e não intera-
tiva. Hans Rosling, professor de saúde interna-
cional no Karolinska Institute, em Solna,
Suécia, tentou neutralizer essas falhas com a
ajuda de tecnologia visual. Especificamente,
criou visualizações inovadoras de tendências no
desenvolvimento global usando gráficos dinâmicos
6
com mudanças ao longo do tempo. De forma seme-
lhante, Betterment LLC, serviço de investimento
Baseado em Nova York, criou recentemente uma
ferramenta permitindo que os usuários
visualizem a evolução de um investimento de $100 no
7
S&P 500 em determinado período.
Não obstante, as falhas de descrição e ilus-
tração continuam um problema geral. Projetar
um processo multifacetado, intricado e complicado
em palavras estáticas, tabelas e gráficos inexoravel-
mente significa omitir partes cruciais dos resultados.
Informações relevantes são inevitavelmente
perdidas. Portanto, seria possível desenvolver
uma alternativa dinâmica para as abordagens
disponíveis — algo que permitisse que tomadores
de decisão entendessem mais rápido as com-
plexidades e incertezas inerentes nas análises?
Em uma série de estudos, projetamos e testa-
mos a eficácia de um método alternativo de co-
municação. Em vez de descrever ou ilustrar a aná-
lise, deixamos os tomadores de decisões ganharem
experiência sobre os resultados de diferentes atos
possíveis ao interagir com simulações baseadas na
mesma análise. Nossos resultados mostraram
que independentemente do seu nível de sofisti-
cação estatística, as pessoas se identificam
com essa abordagem. Ademais, conforme as
análises ficam mais complicadas, os tomadores
de decisões tendem a confiar na experiência
mais do que em suas intuições analíticas.
O mais importante, seus julgamentos e decisões aumen-
tam diante do aumento da incerteza e complexidade.
Chamamos essa abordagem de experiência simu-
8
lada.
Experiência Simulada
Por dezenas de milhares de anos, os humanos
SOBRE A PESQUISA
Recentemente publicamos uma série de ensaios sobre psicologia experi-
mental sobre a eficácia da experiência simulada como ferramenta de comu-
nicação para informações estatísticas. Para pesquisar esses ensaios, con-
zimos diversos experimentos. Por exemplo, em um deles, pedimos que 257
estudiosos de economia fizessem julgamentos e previsões baseados em uma
simples análise de regressão — um tipo de análise com a qual são muito
familiarizados. Contudo, a maioria dos especialistas teve dificuldades ao
decifrar e atuar de forma precisa sobre os resultados. De fato, nossa descrição
dos resultados, embora imitasse o padrão da indústria, disfarçava algumas
fontes de incerteza. Por fim, conforme detalhado neste artigo, conseguimos
evitar essa ilusão ao substituir a descrição com uma ilustração.
Em outra série de estudos, projetamos e testamos a eficácia de um mé-
todo de comunicação. Em vez de descrever ou ilustrar a análise, deixamos to-
madores de decisões — que agrupamos em partes diferentes com base nos
níveis de sofisticação estatística — ganhar experiência quanto aos resultados
de diferentes ações possíveis ao interagir com simulações baseadas na mês-
ma análise. Nossos resultados mostraram que, independentemente do nível de
sofisticação estatística, as pessoas se identificam com essa abordagem. Espe-
cificamente, seus julgamentos e decisões melhoraram diante do aumento
de incerteza e complexidade. Outras conclusões às quais chegamos incluem:
•Descrições são fáceis de construir, mas tendem a esconder incertezas ao
concentrar a atenção em efeitos médios.
•Ilustrações tornam incertezas mais visíveis. Entretanto, não lidam bem com
análises complexas envolvendo múltiplas variáveis.
•Conforme as incertezas e complexidades de situações aumentam, as pes-
soas tendem a confiar na experiência mais do que na capacidade analítica.
•Independentemente do nível de conhecimento estatístico, a experiência si-
mulada ajuda tomadores de decisão a entender possíveis resultados de
análise estatística subjacente.
recentes. Em particular, a teoria da probabilidade,
que constitui a base dos nossos métodos atuais
9
de análise, só foi concebida no século XVII. O
problema que vemos hoje é nossa capacidade de
comunicar e compreender resultados estatísticos
não ter avançado tão rápido quanto nossa profici-
ência em manusear dados. De fato, todos os ani-
mais não humanos ainda dependem exclusivamente
da experiência para fazer escolhas e resolver pro-
blemas. Onde há fontes de alimentos disponíveis
— e com que regularidade? Onde estão os preda-
dores? Que padrões e tendências meteorológicos
existem em um ambiente específico? Essas são
questões vitais para a sobrevivência. Portanto,
não é surpresa que a evolução tenha dotado ambos os
animais e os humanos com capacidades incríveis de
10
Decodificar informações sobre ocorrências passadas.
Quando se trata de compreender e comunicar infor-
mações estatísticas, a experiência é uma ferramenta
ponderosa, contudo muitas vezes subestimada.
A experiência simulada explora nossa capacidade
fizeram julgamentos e tomaram decisões exclusivamente natural de transformar informações complicadas em
por meio da experiência. O raciocínio formal estatístico
e as ferramentas são, comparativamente, inovações conhecimento contestável. Essencialmente, permite
TOMADA DE DECISÕES : SIMULAÇÕES

que o tomador de decisão reviva o problema várias

vezes com ajuda da simulação. (Vide Interação Tomadores de decisão executivos
“Compreendendo um Problema de Investimento por interagem com o modelo de simulação e
meio da Experiência Simulada.”) A implantação da inserem ações em potencial e observam os
experiência simulada envolve quatro componentes: resultados subsequentes.

Análise Conduzir uma análise usando os dados Experiência Os tomadores de decisão podem
experimentar mudar suas inserções. Dessa forma,
disponíveis, a partir dos quais um analista
podem experimentar quantos resultados quiserem,
normalmente pode desenvolver uma descrição ou de acordo com essas inserções. Os executivos
ilustração. ganham evidências experimentais sobre
consequências potenciais de suas ações, com base
na análise estatística.
Simulação Em vez de criar algum tipo de descrição
ou ilustração, o analista constroi um modelo de A pesquisa atesta à eficácia dessa abordagem
simulação com base nos resultados da análise. quando o problema é tanto difícil de lidar quanto
repleto de incertezas. Por exemplo, um artigo no
ILUSTRANDO UM PROBLEMA DE INVESTIMENTO Journal of Consumer Research descobriu que
Considere o problema de investimento descrito na figura anterior. Aqui está a indivíduos criam melhores planos de aposentadoria
ilustração da relação X-Y com base em 250 observações individuais, sobre quando observam interativamente seus potenciais
as quais a análise é conduzida: benefícios11 futuros. Pesquisadores da Universidade
de Zurique descobriram que a experiência simulada
Y
ajuda investidores a observarem com precisão o perfil
40 subjacente de risco-retorno de seus investimentos12.
Um artigo recente da Management Science sugere
que bancos poderiam empregar esse método de
comunicação para ajudar seus clientes a observarem
30
com precisão os riscos associados a diferentes
produtos de investimento13. John Sterman, professor
de Administração Jay W. Forrester no MIT Sloan
20
School of Management e director do Grupo de
Dinâmica de Sistema do MIT, argumenta que debates
de mudança climática envolvem conceitos errados
cruciais — e efetivamente os retira ao simular
10 cenários viáveis14.

Em nossa própria pesquisa, descobrimos que as

0 X pessoas têm dificuldade ao avaliar suas chances de
sucesso em concorrências e decisões de inserção no
0 5 10 15 20 25 30 35
Mercado, mas similar essas situações leva a
15
avaliações e decisões mais adequadas. Além disso,
-10
a experiência simulada comprovadamente ajuda a
corrigir tendenciosidades de julgamento, tais como
16
Ver um gráfico de investimentos passados em vez de uma descrição que os negar taxas básicas em declarações probabilísticas.
resuma ajuda um tomador de decisão a reconhecer as incertezas inerentes Da mesma forma, iniciativas como Probability
fica claro que, apesar de um efeito médio de 1 para 1, alguém com investimento Management Inc. — uma organização sem fins
positivo pode ter resultado negativo (vide os pontos de dados abaixo da linha
horizontal). Além disso, um investimento maior nem sempre garantiria um retorno lucrativos que pretende melhorar a comunicação da
maior do que o daquele de alguém que fez um investimento menor. incerteza por meio de ferramentas de fonte aberta no
Ilustrar a relação entre duas variáveis é fácil. E se, no entanto, houvesse diversas apoio das decisões — buscam colocar essas
opções de investimento em vez de só uma? Esse é quase sempre o caso em evidências em uso, aplicando comunicação baseada
análises e situações da vida real. Ilustrar muitas variáveis interrelacionadas em
uma figura é pesado, senão inexequível. Diante dessas complexidades, as em simulação para melhorar as decisões gerenciais
17
ilustrações são menos significativas. reais e as políticas públicas. (Vide “Projetando
Simulações,” p. 54.)

Há diversos pacotes de software que oferecem as

feramentas necessárias para criar uma ampla variedade
de simulações para diversas situações de tomada de
decisões.
Oracle Crystal Ball, Plataforma de Solução de
Risco da Frontline Systems e Analytica, da Lumina
estão entre as principais. Com um pouco de
conhecimento em programação, pode-se criar
simulações do princípio usando plataformas,
como MATLAB ou C++. Claro, o Excel, da Micro-
soft, é sempre útil se a decisão é relativamente sim-
ples.
Experiências simuladas não vêm sem pontos
fracos e cegos. Por exemplo, se os tomadores de
decisão simularem apenas poucas experiências, as
intuições resultantes podem ser influenciadas por
variabilidade de amostra. A solução é ge-
rar uma grande quantidade de observações, com
a mesma entrada, antes de formar uma ideia so-
COMPREENDENDO UM PROBLEMA DE INVESTIMENTO
POR EXPERIÊNCIA SIMULADA
Dessa vez, considere um problema de investimento um pouco mais complexo,
onde há três opções possíveis de investimento (X1, X2 e X3)
afetando o resultado Y, em vez de só um. A interface abaixo permite que to-
madores de decisões insiram suas escolhas de X1, X2 e X3. Quando um
usuário clica no botão de simulação, o modelo simula um Y corresponden-
te baseado na análise feita dos dados disponíveis. Os usuários são livres pa-
ra inserir quantos conjuntos de entradas quiserem e simular quantas saídas
quiserem para cada.
A simulação apresentada aqui registra as entradas e resultados anteriores.
Isso permite que os usuários selecionem uma sub-amostra de resultados (a
parte sobressalente da coluna “Y Selecionado”) e obtenham a média dessa sub-
amostra selecionada. (O botão de retornar limpa todos os dados
previamente simulados). Portanto, os usuários não apenas ganham ideias
para tomar decisões e experimentar as consequências, como também
Coletam informações sobre os efeitos médios de suas estratégias. Pode-se
também construir um histograma com base na sub-amostra selecionada —
uma ilustração das frequências das saídas simuladas — para mostrar
visualmente a distribuição dos resultados.

bre as incertezas. Por fim, assim como todos os ou-

tros métodos de comunicação, a experiência simu- Escolha de X1 X1 X2 X3 Y Simulado Y Selecionado
lada é útil, enquanto a análise subjacente for im- Contagem Média
5 10 3 0 0,5
parcial e precisa. Se a análise tiver pontos 10 3 0 -0,3 6 5,1
cegos, assim será com as descrições, ilustrações Escolha de X2

Simlar 10 3 0 3,2
e experiências simuladas decorrentes. 5 5 5 5 4,7

5 5 5 10,8
Escolha de X3 Retornar

Precisamente Errado Contra 5 5 5 4,2

5

Aproximadamente Correto 5 5 5 4,4

Os avanços na tecnologia da computação 5 5 5 -1,0
nos permitem construir simulações em quase qual-
quer cenário. Entretanto, isso não significa que 5 5 5 7,5
… … … …
devamos empregar esse método para todos os
problemas. Para situações probabilísticas sim-
ou construir ilustrações usando características de software
ples, uma descrição ou ilustração pode ser de estatística. Em segundo lugar, e mais
uma escolha mais sábia. Mas conforme
a complexidade e as incertezas aumentam, as importante, simulações são vagas. Uma interface
simulações podem ajudar gerentes a entender me- que lhe permita fornecer suas entradas, simular

lhor as informações estatísticas e, dessa forma, a análise e observar os resultados relacionados

permitir que tomem melhores decisões, indepen- não lhe conduz para uma resposta precisa. Você
dentemente de seus níveis de experiência estatís- precisa se decidir conforme vivencia os resultados
tica. Não defendemos o abandono das descri- simulados.Geralmente não gostamos dessa abor-
ções ou ilustrações, argumentamos que devem dagem vaga, especialmente se a decisão for impor-
ser aumentadas com simulações extras. tante. Buscamos soluções perfeitas — manobras
Por que, então, raramente encontramos simu- exatas que levem aos resultados desejados. Como
lações para decisões essenciais sobre tratamentos
médicos, opções de investimento, planos de pen- gerentes, polítucos e tomadores individuais de
são, programas de seguro, etc? Afinal de contas, decisões, preferimos aprender as respostas
tecnologia de simulação não é algo novo. De fato, corretas imediatamente.
 Entretanto, a própria presença da incerteza sugere
sempre foi essencial a qualquer processo de enge- que é sensato não buscar soluções rápidas. Nenhuma
nharia. O problema é que simulações ainda são decisão tem um conjunto completamente previsível de
principalmente vistas como ferramentas sofisticadas resultados. Nos negócios e na vida, a sorte tem a sua
vez. Depender muito de probabilidades
para análise estatística — em oposição a um inevitavelmente levará à crença de que podemos
meio de resultado de comunicação. prever resultados de forma mais precisa do que
Há duas principais razões para isso. A primeira realmente podemos. Esses conceitos errados podem
é técnica: Há um custo para construir simulações. levar a respostas precisas, porém erradas, a questões
Então é mais fácil para os analistas apenas im-
desenvolver descrições portantes.
 TOMADA DE DECISÕES : SIMULAÇÕES
PROJETAR
SIMULAÇÕES
Eis algumas recomen-
dações sobre como
projetar e usar expe-
riência simulada:
•A interface deve ser feita
para o usuário. A interação
não deve ser cara.
•Tomadores de decisões
devem ser informados que
a experiência simulada é
uma ferramenta de
comunicação; ajuda as
pessoas a entenderem os
resultados de uma análise,
mas não prova a
confiabilidade da
análise.
- Tomadores de decisões
devem ser aconselhados
sobre como a simulação
funciona e como calcula os
resultados de acordo com
as entradas.
• Tomadores de decisões
devem ter tempo para
interagir com a simula-
ção e decidir-se em
seu próprio ritmo.
•A simulação deve incorpo-
rar incertezas.
Por exemplo, deve permi-
tir que os tomadores
vivenciem resultados
diferentes com as mesmas
entradas quando houver
aleatoriedade no
processo subjacente.
A experiência simulada pretende contrariar essa
tendência ao permitir que tomadores de decisão
sintam as respostas mais prováveis. Nas palavras de
um famoso matemático norte-americano, o saudoso
John W. Tukey: “Muito melhor uma resposta
aproximada à pergunta certa, que geralmente é vaga,
do que uma resposta exata à pergunta errada, que
pode ser sempre tornada precisa.”
Robin M. Hogarth é professor emérito no departamento
de economia e negócios da Universitat Pompeu Fabra,
em Barcelona, Espanha. Emre Soyer é professor
assistente de julgamento e tomada de decisões da
faculdade de administração da Özyegin University, em
Istambul, Turquia. Comente sobre este artigo em
http://sloanreview.mit.edu/56215 ou entre em contato
com os autores em smrfeedback@mit.edu.
REFERÊNCIAS
1. P. Simon, “Too Big to Ignore: The Business Case for
Big Data” (Hoboken, New Jersey: John Wiley & Sons,
2013) oferece uma visão geral das aplicações de
negócios de ciência de dados. Vide também
R. Fildes e P. Goodwin:
“Against Your Better Judgment? How Organizations
Can Improve Their Use of Management Judgment in
Forecasting,” Interfaces 37, nº 6 (Novembro-Dezembro
2007): 570-576.
2. A. Tversky e D. Kahneman, “The Framing of Deci-
sions and the Psychology of Choice,” Science 211, no.
4481 (30 de janeiro de 1981): 453-458; A. Tversky, P.
Slovic e D. Kahneman,: “The Causes of Preference
Reversal”, American Economic Review 80, nº 1
(março de 1990): 204-217;K. Hsee, G.F. Loewenstein,
S. Blount e M.H. Bazerman: “Preference Reversals
Between Joint and Separate Evaluations of
Options: A Review and Theore ical Analysis”,
Psychological Bulletin 125, nº 5, (setembro de 1999):
576-590; A. Tversky and R.H.
Thaler, “Anomalies: Preference Reversals,” Journal of
Economic Perspectives 4, nº 2 (primavera de 1990):
201-211;
and f
or a specific case study, see J. Koehler, “Psychology
of Numbers in the Courtroom: How to Make
DNA-Match Statistics Seem Impressive or Insufficient,”
S uthern Calif rnia Law Review 74 (2001): 1275-1306.
3. E. Soyer and R.M. Hogarth, “The Illusion of Predict-
ability: How Regression Statistics Mislead Experts,”
International Journal of Forecasting 28, no. 3 (julho-
setembro 2012): 695-711.
4. R.M. Hogarth and E. Soyer, “A Picture’s Worth a
Thousand Numbers,” Harvard Business Review 91,
no. 6 (junho 2013): 26.
5. D. Spiegelhalter, M. Pearson and I. Short,
“Visualizing Uncertainty About the Future,” Science 333,
no. 6048 (09 de setembro de 2011): 1393-1400.
6. H. Rosling, “The Best Stats You’ve Ever Seen,”Palestra
TED filmada em fevereiro de 2006, www.ted.com.
7. Uma interface mostra a relação entre tempo e
retornos com base em dados diários.Videe: D. Egan,
“It’s About Time in the Market, Not Market Timing.”
October 14,2014, www.betterment.com.
8. R.M. Hogarth and E. Soyer, “Sequentially Simulated
Outcomes: Kind Experience Versus Nontran sparent
Description,” Journal of Experimental P sychology:
General 140, no. 3 (agosto de 2011): 434-463; R.M.
Hogarth and E. Soyer, “Providing Inf ormation for
Decision Making: C ontrasting Descriptio n and Simula
tion,” Journal of Applied Research in Memory and
Cognition, in press, publicado online em 29 de janeiro
de 2014;
R.M. Hogarth and E. Soyer, “Communicating Forecasts:
The Simplicity of Simulated Experience,” Journal of
Business Research, in press.

9. G. Shafer, “The Early Development of Mathematical

Probability,” in “Companion Encyclopedia of the History
and Philosophy of the Mathematical Sciences, Volume
2”
ed. I. G attan-Guinness (London and New York: Rout-
ledge, 1993): 1293-1302.
10. L. Hasher and R.T. Zacks, “Automatic and Effortful
Pr ocesses in Memory,” Journal of Experimental Psy-
chology: General 108, no. 3 (setembro de 1979):
356-388;
L. Hasher and R.T. Zacks, “Automatic Processing of
Fundamental Information: The Case of Frequency of
Occurrence,” American Psychologist 39, no. 12
(dezembro 1984): 1372-1388; P. Sedlmeier and T.
Betsch, “Etc. Frequency Processing and Cognition”
(Nova York: Oxford University Press, 2002).
11. D.G. Goldstein, E.J. Johnson and W.F. Sharpe,
“Choosing Outcomes Versus Choosing Products:
Consumer- Focused Retirement Investment Advice,”
Journal of Consumer Research 35, no. 3 (outubro
2008): 440-456.
12. M.A. Bradbury, T. Hens and S. Zeisberger, “Improv-
ing Investment Decisions With Simulated Experience,”
Review of Finance, publicado online em 06 de junho de
2014.
13. C. Kaufmann, M. Weber and E. Haisley, “The Role
of Experience Sampling and Graphical Displays on
One’s Investment Risk Appetite,” Management Science
59, no.2 (fevereiro 2013): 323-340.
14. J.D. Sterman, “Communicating Climate Change
Risks in a Skeptical World,” Climatic Change 108, no.
4 (outubro 2011): 811-826.
15. R.M. Hogarth, K. Mukherjee and E. Soyer,
“Assess-ing the Chances of Success: Naïve Statistics
Versus Kind Experience,” Journal of Experimental
Psychology: Learning, Memory, and Cognition 39, no.
1 (janeiro 2013): 14-32.
16. B.K. Hayes, B.R. Newell and G.E. Hawkins.
“Causal Model and Sampling Approaches to Reducing
Base Rate Neglect,” in “Proceedings of the 35th Annual
Conference of the Cognitive Science Society,” eds. M.
Knauff, M. Pauen, N. Sebanz and
I. Wachsmuth (Austin, Texas: Cognitive
Science Society, 2013.)
17. Probability Management é uma organização que
busca melhorar a comunicação de incertezas por meio
de ferramentas de ferramentas de fonte aberta no apoio
das decisões. Mais informações podem ser encontradas
em www.probabilitymanagement.org.
Reimpressão 56215.
Direitos Autorais © Massachusetts Institute of
Technology, 2015. Todos os direitos reservados.
 MIT SLOAN MANAGEMENT REVIEW
DADOS & ANALÍTICA

PDFs Reimpressões Permissão para Cópia Edições Anteriores

Artigos publicados na MIT Sloan Management Review são protegidos por direitos autorais pelo Instituto
de Tecnologia de Massachusetts, exceto especificação em contrário ao fim de um artigo.
Os artigos, permissões e edições anteriores da MIT Sloan Management Review podem ser adquiridos
em nosso site: sloanreview.mit.edu ou você pode solicitá-los por meio de nosso Centro de Serviços
Comerciais (de 09:00 às 17:00 – horário da costa leste dos Estados Unidos) nos números de telefone
listados abaixo. Reimpressões em papel estão disponíveis em quantidades de 250 ou mais.
Para reproduzir ou transmitir um ou mais dos artigos da MIT Sloan Management Review por
meios eletrônicos ou mecânicos (inclusive fotocópias ou arquivos em qualquer armazenamento de
informações ou sistema de recuperação), é necessária permissão.

Para solicitar permissão, utilize nosso site: sloanreview.mit.edu

Ou
E-mail: smr-help@mit.edu
Telefone (EUA e Internacional): 617-253-7170 Fax: 617-258-9739

A publicação integral de artigos SMR em sites publicamente acessíveis da internet é proibida.

Para obter permissão para publicar artigos em sites intranet seguros e/ou protegidos por senha, envie
por e-mail sua solicitação para smr-help@mit.edu.
'' (# ' !!' '! ! ! (# + #!' ' !" #!! $%% & !'& ( &% )*+(,(

Este documento é autorizado somente para uso e revisão de educadores por Oscar Javier Celis Ariza, Universidade Estácio de Sá até fevereiro de 2017. Cópia ou publicação
configura violação dos direitos autorais.
Permissions@hbsp.harvard.edu ou 617.783.7860