Escolar Documentos
Profissional Documentos
Cultura Documentos
Baseado em evidências
Técnico
Análise
Aplicando o Científico
Método e
Inferência estatística
para sinais de negociação
DAVID R. ARONSON
Publicado por John Wiley & Sons, Inc., Hoboken, Nova Jersey.
Publicado simultaneamente no Canadá.
Conteúdo
Agradecimentos ix
Sobre o autor XI
Introdução 1
Notas 477
Índice 517
Machine Translated by Google
Introdução
Abordar a AT, ou qualquer outra disciplina, de maneira científica não é fácil. Conclusões
científicas frequentemente entram em conflito com o que parece intuitivamente óbvio. Para os
primeiros humanos, parecia óbvio que o sol circulava a Terra. Foi necessária a ciência para
demonstrar que essa intuição estava errada. Uma abordagem informal e intuitiva para a
aquisição de conhecimento provavelmente resultará em crenças errôneas quando os
fenômenos são complexos ou altamente aleatórios, duas características proeminentes do
comportamento do mercado financeiro.
Embora não seja garantido que o método científico extraia ouro das montanhas de dados de
mercado, uma abordagem não científica quase certamente produzirá ouro de tolo.
A segunda afirmação deste livro é que grande parte da sabedoria que compreende
a versão popular da AT não se qualifica como conhecimento legítimo.
Machine Translated by Google
2 INTRODUÇÃO
Já usei os termos conhecimento e crença , mas não os defini com rigor. Esses e vários outros
termos-chave serão usados repetidamente neste livro, portanto, algumas definições formais
são necessárias.
O bloco de construção fundamental do conhecimento é uma declaração declarativa,
também conhecida como afirmação ou proposição. Uma declaração declarativa é
um dos quatro tipos de enunciados que também incluem exclamações, perguntas,
e comandos. As declarações declarativas são diferenciadas das demais
em que eles têm valor de verdade. Ou seja, podem ser caracterizados como
verdadeiro ou falso ou provavelmente verdadeiro ou provavelmente falso.
A declaração “As laranjas estão à venda no supermercado por cinco centavos o
dúzia” é declarativa. Ele faz uma afirmação sobre um estado de coisas existente em
o mercado local. Pode ser verdadeiro ou falso. Em contrapartida, a exclamação
declaração “Caramba, que negócio”, o comando “Vá me comprar uma dúzia” ou
a pergunta “O que é uma laranja?” não pode ser chamado de verdadeiro ou falso.
A nossa investigação sobre a AT estará relacionada com declarações declarativas,
como, “A regra X tem poder preditivo”. Nosso objetivo é determinar qual
essas declarações declarativas garantem nossa crença.
O que significa dizer “eu acredito em X.”? “No que diz respeito aos estados de coisas
em geral (ou seja, 'questões de fato' ou 'o que acontecerá') acreditar X
equivale a esperar experimentar X se e quando estivermos em posição de
fazê-lo.”2 Portanto, se eu acredito na afirmação de que as laranjas estão à venda por cinco
centavos a dúzia, significa que espero poder comprar laranjas por cinco
centavos a dúzia se eu for à loja. No entanto, o comando para comprar alguns ou anges ou a
exclamação de que estou feliz com a oportunidade, não configura
tal expectativa.
O que tudo isso significa para nós? Para que qualquer afirmação seja considerada como
candidata à crença, ela deve “afirmar algum estado de coisas que
pode ser esperado.3 Diz-se que tais declarações têm conteúdo cognitivo—
eles transmitem algo que pode ser conhecido. “Se a declaração contém
nada para saber, então não há nada para se acreditar.”4
Embora todas as declarações declarativas tenham presumivelmente conteúdo cognitivo,
nem todas realmente têm. Isso não é um problema se a falta de capacidade cognitiva
conteúdo é óbvio, por exemplo, a declaração “A raiz quadrada de
Terça-feira é um número primo.”5 Esse enunciado é, à primeira vista, um absurdo.
Existem outros enunciados declarativos, porém, cuja falta de conteúdo cognitivo não é tão
óbvia. Isso pode ser um problema, porque tais
declarações podem nos levar a pensar que foi feita uma afirmação que cria uma expectativa,
quando, na verdade, nenhuma afirmação foi realmente apresentada. Essas declarações
pseudo-declarativas são essencialmente sem sentido
afirmações ou proposições vazias.
Machine Translated by Google
Introdução 3
Embora afirmações sem sentido não sejam candidatas válidas para crença, isso
não impede muitas pessoas de acreditar neles. As vagas previsões
feitas na coluna diária de astrologia ou as nebulosas promessas feitas por
promotores de falsas curas de saúde são exemplos de alegações sem sentido.
Aqueles que acreditam nessas proposições vazias simplesmente não percebem que
o que lhes foi dito não tem conteúdo cognitivo.
Uma maneira de saber se um enunciado tem conteúdo cognitivo e é, portanto, um
candidato para crença é o teste de diferença discernível6 descrito por Hall.
“Enunciados com conteúdo cognitivo fazem afirmações que são verdadeiras ou
falso; e se eles são verdadeiros ou falsos faz uma diferença que pode ser
discernido. É por isso que esses enunciados oferecem algo em que acreditar e
por que não há sentido em tentar acreditar em um enunciado que não faz tal
oferta”7 Em outras palavras, uma proposição que passa pela diferença-discernível
teste estabelece uma expectativa tal que o estado de coisas, se a declaração
fosse verdadeira, é reconhecidamente diferente do estado de coisas, se a afirmação fosse
falsa.
O critério da diferença discernível pode ser aplicado a declarações que pretendem ser
previsões. Uma previsão é uma afirmação de saber algo sobre
o futuro. Se uma previsão tiver conteúdo cognitivo, será claramente discernível no resultado
se a previsão foi precisa ou não. Muitos, se não
maioria, das previsões emitidas por praticantes de AT popular são desprovidas de
conteúdo cognitivo por esses motivos. Em outras palavras, as previsões são
normalmente muito vagos para determinar se eles estavam errados.
A verdade ou falsidade da alegação de que as laranjas estão à venda por cinco centavos o
dúzia fará uma diferença perceptível quando eu chegar ao mercado. Isso é
essa diferença discernível que permite que a afirmação seja testada. Como será descrito no
Capítulo 3, testar uma afirmação com base em uma diferença discernível é central para o
método científico.
Hall, em seu livro Praticamente Profundo, explica por que acha
A psicanálise freudiana não tem sentido quando examinada à luz da
teste de diferença discernível.
“Certas afirmações freudianas sobre o desenvolvimento sexual humano são compatíveis
com todos os estados de coisas possíveis. Não há como confirmar ou desmentir a 'inveja do
pênis' ou o 'complexo de castração' porque não há
diferença distinguível entre evidências que afirmam e evidências que negam essas
interpretações de comportamento. Comportamentos exatamente opostos são
igualmente previsível, dependendo se o suposto psicossexual
o estresse é evidente ou reprimido”. A exigência de “regras de conteúdo cognitivo
todos os enunciados que são tão soltos, mal formados ou obsessivamente mantidos
(por exemplo, teorias da conspiração) de que não há diferença reconhecível entre o que
seria o caso se fossem assim, e qual seria o caso
se não fossem.”8 Na mesma linha, a Teoria do Design Inteligente não carrega
carga cognitiva no sentido de que não importa qual forma de vida é observada, é
Machine Translated by Google
4 INTRODUÇÃO
consistente com a noção de que ela manifesta uma forma subjacente especificada
por algum designer inteligente.9
O que é então o conhecimento? O conhecimento pode ser definido como verdadeiro justificado
crença. Assim, para que um enunciado declarativo se qualifique como conhecimento, não
só deve ser um candidato a crença, porque possui
conteúdo, mas também deve atender a duas outras condições. Primeiro, deve ser
verdadeiro (ou provavelmente verdadeiro). Em segundo lugar, a afirmação deve ser
acreditada com justificação. Uma crença é justificada quando é baseada em inferências sólidas de
Evidência sólida.
Os humanos pré-históricos tinham a falsa crença de que o sol se movia
o céu porque o sol orbitava a terra. Claramente eles não estavam em posse de
conhecimento, mas suponha que houvesse uma pessoa pré-histórica
que acreditavam corretamente que o sol se movia no céu por causa de
a rotação da Terra. Embora essa crença fosse verdadeira, esse indivíduo poderia
não pode ser descrito como possuidor de conhecimento. Mesmo que eles acreditassem
o que os astrônomos finalmente provaram ser verdade, não havia evidência
ainda para justificar essa crença. Sem justificação, uma crença verdadeira não atinge o
status de conhecimento. Esses conceitos são ilustrados em
Figura I.1.
eueu
UMA St t e ment s
uma
Reivindicações vazias
Perguntas
Comandos
Bem formado
Declarações Declarativas
(Verdadeiro ou falso)
Verdadeiro
Declarações
Verdadeiro
Crenças
Justificado Conhecimento
por Evidência
& Inferência
Introdução 5
6 INTRODUÇÃO
Introdução 7
o foco principal do EBTA é determinar quais métodos objetivos são dignos de uso real.
8 INTRODUÇÃO
Os métodos TA não podem atender a esse padrão. AT objetiva, conduzida de acordo com as
normas da EBTA can.
A análise técnica baseada em evidências não é uma ideia nova. Nos últimos dois
décadas, numerosos artigos em revistas acadêmicas respeitadas16 abordaram a AT da maneira
rigorosa preconizada por este livro.17 As evidências não são uniformes. Alguns estudos mostram
que a AT não funciona, mas alguns
mostre que sim. Porque cada estudo está confinado a um aspecto particular da
AT e um corpo de dados específico, é possível que os estudos alcancem diferentes
conclusões. Este é frequentemente o caso da ciência.
A seguir estão algumas das descobertas da AT acadêmica. Isto mostra
que, quando abordado de forma rigorosa e intelectualmente honesta, a TA
é uma área de estudo que vale a pena.
• As tendências nos grupos e setores da indústria persistem por tempo suficiente após a
detecção por indicadores simples de impulso para obter retornos excedentes.23
• As ações que exibiram força relativa anterior e fraqueza relativa continuam a apresentar
desempenho acima da média e abaixo da média em horizontes de 3 a 12 meses.24
• As ações dos Estados Unidos, vendendo perto de suas máximas de 52 semanas, superam
outras ações. Um indicador definido como o diferencial entre um
o preço atual da ação e sua alta de 52 semanas é um preditor útil de fu
Machine Translated by Google
Introdução 9
tura desempenho relativo.25 O indicador é um preditor ainda mais potente para ações
australianas.26
• O padrão gráfico de cabeça e ombros tem poder de previsão limitado
quando testado de forma objetiva em moedas. Melhores resultados podem
ser tido com regras de filtro simples. O padrão cabeça e ombros, quando
testado objetivamente em ações, não fornece informações úteis.27
Os comerciantes que agem em tais sinais seriam igualmente servidos seguindo
um sinal aleatório.
• As estatísticas de volume de negociação de ações contêm informações preditivas
úteis28 e melhoram a lucratividade dos sinais com base em grandes preços
alterações após um anúncio público.29
• Redes neurais de modelagem de dados com uso intensivo de computador, algoritmos
genéticos e outros métodos de aprendizado estatístico e inteligência artificial
encontraram padrões lucrativos em indicadores técnicos.30
10 INTRODUÇÃO
inclusive eu, sei muitas coisas que não são assim e acredito em muitas
coisas estranhas.
Há um debate na comunidade de AT: é uma arte ou uma ciência? A pergunta foi formulada
incorretamente. É mais apropriadamente declarado como: A AT deve ser
baseado em superstição ou ciência? Enquadrado desta forma, o debate evapora.
Alguns dirão que a AT envolve muitas nuances e interpretações para tornar seu
conhecimento na forma de afirmações cientificamente testáveis. A isso eu retruco: AT que não
é testável pode soar como conhecimento, mas não é. Isso é
superstição que pertence ao reino da astrologia, numerologia e outras
práticas não científicas.
A criatividade e a inspiração desempenham um papel crucial na ciência. Eles serão
importante no EBTA também. Todas as investigações científicas começam com uma hipótese,
uma nova ideia ou um novo insight inspirado por uma misteriosa mistura de
conhecimento, experiência e um salto de intuição. No entanto, a boa ciência equilibra
criatividade com rigor analítico. A liberdade de propor novas ideias deve
casar com uma disciplina inflexível que elimina ideias que provam
inútil no cadinho do teste objetivo. Sem essa âncora na realidade, as pessoas se apaixonam
por suas ideias, e o pensamento mágico substitui o pensamento crítico.
É improvável que a AT venha a descobrir regras que prevejam com a precisão das leis
da física. A complexidade inerente e aleatoriedade de
mercados financeiros e a impossibilidade de experimentação controlada
impedir tais achados. No entanto, a precisão preditiva não é a definição
exigência da ciência. Em vez disso, é definida por uma abertura intransigente para reconhecer
e eliminar ideias erradas.
Tenho quatro esperanças para este livro: Primeiro, que estimule um diálogo
entre os analistas técnicos que acabarão por colocar nosso campo em uma base intelectual
mais firme; segundo, que irá encorajar mais pesquisas ao longo
as linhas aqui preconizadas; terceiro, que irá encorajar os consumidores de AT
exigir mais “carne” de quem vende produtos e serviços
mediante AT; e quarto, que irá encorajar os praticantes de AT, profissionais
e de outra forma, entender seu papel crucial em uma parceria homem-máquina que tem o
potencial de acelerar o crescimento de AT legítimos
conhecimento.
Sem dúvida, alguns colegas praticantes de AT ficarão irritados com essas
Ideias. Isso pode ser uma coisa boa. Uma ostra irritada por um grão de areia
às vezes dá uma pérola. Convido meus colegas a gastarem seus
Machine Translated by Google
Introdução 11
Metodológico,
Psicológico,
Filosófica e
Estatística
Fundações
Machine Translated by Google
Regras objetivas e
suas
Avaliação
T e uma metodologia para sua avaliação rigorosa. Ele define uma avaliação
ção de referência com base na rentabilidade de um sinal não informativo.
Também estabelece a necessidade de descompensar os dados de mercado para que os
desempenhos de regras com diferentes vieses de posição comprada/vendida possam ser comparados.
A análise técnica (AT) divide-se em duas grandes categorias: objetiva e subjetiva. A AT subjetiva
é composta por métodos e padrões de análise que não são definidos com precisão. Como
consequência, uma conclusão derivada de um método subjetivo reflete as interpretações
particulares do analista que aplica o método. Isso cria a possibilidade de que dois analistas que
aplicam o mesmo método ao mesmo conjunto de dados de mercado possam chegar a conclusões
totalmente diferentes. Portanto, os métodos subjetivos não são testáveis e as alegações de que
são eficazes estão isentas de contestação empírica. Este é um terreno fértil para os mitos
florescerem.
REGRAS DA AT
Diz-se que uma regra gera um sinal quando o valor da série de saída muda. Um sinal
pede uma mudança em uma posição de mercado previamente recomendada. Por exemplo,
uma mudança na saída de +1 para –1 exigiria o fechamento de uma posição longa
anteriormente mantida e o início de uma nova posição curta. Os valores de saída não
precisam ser limitados a {+1, –1}. Uma regra complexa, cuja saída abrange o intervalo {+10,
–10}, é capaz de recomendar posições que variam em tamanho. Por exemplo, uma saída de
+10 pode indicar que 10 posições longas são garantidas, como 10 contratos longos de cobre.
Uma mudança na produção de +10 para +5 exigiria uma redução na posição comprada de
10 contratos para 5 (ou seja, vender 5).
ENTRADA RESULTADO
Mercado Série Temporal
Tempo de
Series Posição de mercado
Tempo Regra
Matemática e
Grandes
Lógico
Tempo
Tempo Operadores Curto
etc.
FIGURA 1.1 A regra TA transforma as séries temporais de entrada em séries temporais de posição de
mercado.
a série temporal for maior que o limite, então a saída da regra = +1, caso contrário, a saída da
regra = –1.
Um limite pode ser definido em um valor fixo ou seu valor pode variar ao longo do tempo
como resultado de mudanças na série temporal que está sendo analisada. Os limites variáveis
são apropriados para séries temporais que exibem tendências, que são grandes mudanças de
longa duração no nível da série. As tendências, que tornam impraticáveis as regras de limite
fixo, são comumente observadas em preços de ativos (por exemplo, índice S&P 500) e
rendimentos de ativos (rendimento de títulos AAA). A média móvel e o filtro de reversão
Alexander, também conhecido como filtro ziguezague, são exemplos de operadores de séries
temporais comumente usados para definir limites de variáveis. Os operadores usados nas
regras discutidas neste livro são detalhados no Capítulo 8.
Preço
Nível Série Temporal
Mudança
Média
Regra Tempo
Resultado
+1
-1
As regras com limites de valor fixo são apropriadas para séries temporais de mercado que
não exibem tendências. Tais séries temporais são ditas estacionárias.
Existe uma definição matemática estrita de uma série temporal estacionária, mas
aqui estou usando o termo em um sentido mais amplo para significar que uma série tem um
valor médio relativamente estável ao longo do tempo e tem flutuações que são confinadas a um
intervalo aproximadamente horizontal. Os praticantes de análise técnica muitas vezes
referem-se a essas séries como osciladores.
As séries temporais que exibem tendências podem ser eliminadas. Em outras palavras, eles
pode ser transformada em uma série estacionária. A eliminação de tendências, que é descrita
com mais detalhes no Capítulo 8, frequentemente envolve tomar diferenças ou proporções. Por
exemplo, a razão de uma série temporal para seu movimento
average produzirá uma versão estacionária da série temporal original. Uma vez
destendida, a série será vista flutuando dentro de uma faixa horizontal relativamente bem
definida em torno de um valor médio relativamente estável. Uma vez o
as séries temporais foram tornadas estacionárias, regras de limite fixo podem ser empregadas.
Um exemplo de regra de limite fixo usando um limite de valor de
75 é ilustrado na Figura 1.3. A regra tem um valor de saída de +1 quando
a série é maior que o limite e um valor de –1 em outros momentos.
100
75
50
25
0
+1
Regra
Resultado
-1
Preço
Preço
Faixa Superior Média móvel
Banda inferior
Regra
Resultado
+1
-1
A Parte Dois deste livro é um estudo de caso que avalia a lucratividade de aproximadamente
6.400 regras binárias longas/curtas aplicadas ao índice S&P 500.
Muitas das regras geram posições de mercado consistentes com os princípios tradicionais de
análise técnica. Por exemplo, sob TA tradicional
princípios, uma regra de cruzamento de média móvel é interpretada como otimista (saída
valor +1) quando a série temporal analisada estiver acima de sua média móvel, e
bearish (valor de saída de -1) quando está abaixo da média móvel. eu me refiro
a estes como regras tradicionais de AT.
Dado que a veracidade da AT tradicional pode ser questionável, é desejável testar regras
contrárias à interpretação tradicional. Dentro
Em outras palavras, é inteiramente possível que os padrões que são tradicionalmente
considerados para prever o aumento dos preços possam realmente ser preditivos de queda
preços. Alternativamente, é possível que nenhuma configuração tenha qualquer valor preditivo.
Preço
Mudança
Média
Regra Tradicional
+1
Tempo
-1
+1
-1
Regra Inversa
saída é simplesmente o oposto de uma regra TA tradicional. Eu me refiro a elas como regras
inversas . Isso é ilustrado na Figura 1.5. O inverso da regra de cruzamento de média móvel
produziria um valor de –1 quando a série temporal de entrada estiver acima de sua média móvel
e +1 quando a série estiver abaixo de sua média móvel.
Há ainda outra razão para considerar regras inversas. Muitas das regras testadas na Parte
Dois utilizam séries de entrada diferentes do S&P 500, por exemplo, o diferencial de rendimento
entre títulos corporativos BAA e AAA. Não é óbvio como esta série deve ser interpretada para
gerar sinais.
Portanto, tanto as tendências de alta quanto as tendências de baixa no diferencial de rendimento
foram consideradas como possíveis sinais de compra. Os detalhes dessas regras são retomados
no Capítulo 8.
o fato de uma regra ter obtido uma taxa de retorno de 10% em um teste de retorno não significa
nada. Se muitas outras regras ganharam mais de 30% com os mesmos dados, 10
por cento indicaria inferioridade, ao passo que se todas as outras regras mal fossem
lucrativo, 10% pode indicar superioridade.
Qual é então uma referência apropriada para o desempenho da regra de AT?
Que padrão uma regra deve superar para ser considerada boa? Há uma série de padrões
razoáveis. Este livro define esse padrão como o desempenho de uma regra sem poder preditivo
(ou seja, um padrão gerado aleatoriamente
sinal). Isso é consistente com a prática científica em outros campos. Na medicina, um novo
medicamento deve superar de forma convincente um placebo (pílula de açúcar) para
ser considerado útil. É claro que os investidores racionais podem razoavelmente
escolha um padrão mais alto de desempenho, mas não um menor. Algum outro
benchmarks que poderiam fazer sentido seriam a taxa de retorno sem risco,
o retorno de uma estratégia buy-and-hold, ou a taxa de retorno da regra atualmente em uso.
De fato, para ser considerada boa, não basta que uma regra simplesmente
bater o ponto de referência. Deve vencê-lo por uma margem suficientemente ampla para excluir
a possibilidade de que sua vitória tenha sido meramente por acaso (boa sorte). Isso é
perfeitamente possível que uma regra sem poder preditivo supere seu benchmark
em uma determinada amostra de dados por pura sorte. A margem de vitória que é suficiente para
excluir a sorte como explicação provável relaciona-se à questão da significância estatística. Isso
é retomado nos Capítulos 4, 5 e 6.
Tendo agora estabelecido que o benchmark que usaremos é o retorno que poderia ser
obtido por uma regra sem poder preditivo, agora enfrentamos
outra pergunta: quanto pode ganhar uma regra sem poder preditivo?
À primeira vista, pode parecer que um retorno de zero é uma expectativa razoável. No entanto,
isso só é verdade sob um conjunto específico e bastante limitado de
condições.
De fato, o retorno esperado de uma regra sem poder preditivo pode ser
dramaticamente diferente de zero. Isso porque o desempenho de um
regra pode ser profundamente afetada por fatores que nada têm a ver com sua
poder preditivo.
resultados de back-test e dificultam a avaliação de regras. Pode fazer com que uma regra sem
poder preditivo gere um retorno médio positivo ou pode fazer com que uma regra com poder
preditivo genuíno produza um retorno médio negativo. A menos que este componente de
desempenho seja removido, a avaliação precisa da regra é impossível. Vamos considerar os
dois fatores que impulsionam esse componente.
O primeiro fator é o viés de posição comprada/ vendida de uma regra. Isso se refere à
quantidade de tempo que a regra gastou em um estado de saída +1 em relação à quantidade
de tempo gasto em um estado de saída –1 durante o backtest. Se um dos estados de saída
dominou durante o teste de retorno, diz-se que a regra tem um viés de posição. Por exemplo,
se mais tempo foi gasto em posições longas, a regra tem um viés de posição longa.
Para esclarecer, imagine uma regra de AT que tenha um viés de posição longa, mas que
sabemos não ter poder preditivo. Os sinais de tal regra podem ser simulados por uma roleta.
Para criar o viés de posição longa, a maioria dos slots da roda seria alocada para posições
longas (+1). Suponha que cem slots sejam alocados da seguinte forma; 75 são +1 e 25 são –1.
A cada dia, durante um período de dados históricos, a roda é girada para determinar se uma
posição longa ou curta deve ser mantida para aquele dia. Se a variação média diária do
mercado durante esse período fosse maior que zero (ou seja, tendência líquida de alta), a regra
teria uma taxa de retorno esperada positiva, mesmo que os sinais não contenham informações
preditivas. A taxa de retorno esperada da regra pode ser calculada usando a fórmula usada
para calcular o valor esperado de uma variável aleatória (discutida posteriormente).
Assim como é possível que uma regra sem poder preditivo produza uma taxa de retorno
positiva, é igualmente possível que uma regra com poder preditivo produza uma taxa de retorno
negativa. Isso pode ocorrer se uma regra tiver um viés de posição contrário à tendência do
mercado. O efeito combinado da tendência do mercado e do viés de posição da regra pode ser
suficiente para compensar qualquer retorno positivo atribuível ao poder preditivo da regra. A
partir da discussão anterior, deve ficar claro que o componente de desempenho devido à
interação do viés de posição com a tendência do mercado deve ser eliminado para desenvolver
um benchmark de desempenho válido.
Machine Translated by Google
À primeira vista, pode parecer que uma regra que tem um viés de posição comprada
durante uma tendência de alta do mercado é uma evidência do poder preditivo da regra.
No entanto, isso não é necessariamente assim. O viés de alta da regra pode ser
simplesmente devido à forma como suas condições longas e curtas são definidas. Se a
condição comprada da regra for mais facilmente satisfeita do que sua condição vendida,
todas as outras coisas sendo iguais, a regra tenderá a manter as posições longas uma
proporção maior do tempo do que as posições curtas. Essa regra receberia um aumento
de desempenho quando testada em dados históricos com uma tendência de mercado crescente.
Por outro lado, uma regra cuja condição vendida é mais facilmente satisfeita do que sua
condição comprada seria tendenciosa para posições vendidas e obteria um aumento de
desempenho se simulada durante um mercado de tendência descendente.
O leitor pode estar se perguntando como a definição de uma regra pode induzir um
viés para posições longas ou curtas. Isso merece alguma explicação. Lembre-se de que as
regras de reversão binária, do tipo testado neste livro, estão sempre em uma posição
comprada ou vendida. Dado isso, se a condição longa (+1) de uma regra é relativamente
fácil de satisfazer, segue-se que sua condição curta (–1) deve ser relativamente difícil de
satisfazer. Em outras palavras, a condição necessária para o estado de saída –1 é mais
restritiva, tornando provável que, com o tempo, a regra gaste mais tempo longo do que
curto. É igualmente possível formular regras onde a condição longa é mais restritiva do que
a condição curta. Todas as outras coisas sendo iguais, tal regra recomendaria posições
curtas com mais frequência do que longas. Seria contrário ao nosso propósito permitir que
a avaliação do poder preditivo de uma regra fosse impactada pelo relativo rigor ou frouxidão
da forma como suas condições longas e curtas são definidas.
Para ilustrar, considere a seguinte regra, que tem uma condição curta altamente
restritiva e, portanto, uma condição longa relativamente relaxada. A regra, que gera
posições no índice S&P 500, é baseada no Dow Jones Transportation Average.10 Suponha
que uma média móvel com bandas definidas em +3% e –3% seja aplicada ao DJTA. A
regra é estar curto no S&P 500 enquanto o DJTA estiver abaixo da banda inferior, por
definição uma condição relativamente rara, e longo em todos os outros momentos. Consulte
a Figura 1.6.
Claramente, tal regra se beneficiaria se o S&P estivesse em tendência de alta durante o
período de back-test.
Agora vamos considerar o backtest de duas regras de reversão binária que são
chamadas de regra 1 e regra 2. Elas são testadas nos dados do S&P 500 durante o período
de 1º de janeiro de 1976 a dezembro de 2004. Durante esse período de aproximadamente
7.000 dias, o S&P 500 tiveram um retorno médio diário de +0,035% ao dia composto, ou
+9,21897% anualizado. Suponha que a regra 1 estivesse em um estado longo 90% do
tempo e a regra 2 estivesse em um estado longo 60% do tempo. Além disso, suponha que
nenhuma regra tenha poder preditivo - como se seus valores de saída fossem determinados
por uma roleta com 100 slots. A saída para a regra 1 é baseada em uma roleta
Machine Translated by Google
Preço
DJTA
Média móvel
Mais baixo
Banda
Regra Tempo
Resultado
+1
-1
FIGURA 1.6 Regra com condição curta restritiva e viés de posição longa.
O retorno esperado de uma regra depende de três quantidades; (1) a proporção de tempo
que a regra passou em posições compradas, (2) a proporção de tempo gasto em posições
vendidas (1 menos a proporção de tempo comprada) e (3) a variação média diária do preço do
mercado durante o período de teste histórico.
O retorno esperado (ER) é dado pela equação a seguir.
Retorno esperado
Com base nesse cálculo, o retorno esperado para a regra 1 é 0,028% ao dia ou 7,31%
anualizado.12 O retorno esperado para a regra 2 é
Machine Translated by Google
0,007 por cento ao dia ou 1,78 por cento anualizado.13 Isso demonstra que
o desempenho histórico das regras nos engana de duas maneiras. Primeiro, ambos
as regras geram retornos positivos, mas sabemos que nenhuma delas tem poder preditivo.
Em segundo lugar, a regra 1 parece ser superior à regra 2, embora
sabem que eles têm o mesmo poder preditivo — nenhum.
Ao testar as regras reais de negociação, uma maneira de remover o efeito enganoso
devido à interação do viés de posição e a tendência do mercado seria
faça o seguinte: Subtraia o retorno esperado de uma regra não preditiva
com o mesmo viés de posição que a regra testada a partir do retorno observado de
a regra testada. Por exemplo, suponha que não conhecemos as regras 1 e 2
não tinha poder preditivo. Simplesmente por conhecer seu viés de posição histórica,
90% para a regra 1 e 60% para a regra 2, e conhecendo o retorno médio diário do mercado
durante o período de back-test, poderíamos
calcular os retornos esperados para regras sem poder preditivo tendo
esses vieses de posição usando a equação para o retorno esperado já
mostrando. Os retornos esperados para cada regra e seriam então subtraídos
do desempenho observado de cada regra. Portanto, do retorno testado da regra 1, que foi de
7,31%, subtrairíamos 7,31%,
dando resultado zero. O resultado reflete adequadamente a falta de poder preditivo da regra
1. Do retorno de 1,78% da regra 2, subtraímos um valor
de 1,78 por cento, dando também um valor de zero, revelando também a sua falta de poder
preditivo.
A linha inferior é esta: ajustando o desempenho testado (observado) pelo retorno
esperado de uma regra sem poder preditivo com um viés de posição equivalente, o
componente enganoso do desempenho
pode ser removido. Em outras palavras, pode-se definir o benchmark para qualquer
regra como o retorno esperado de uma regra não preditiva com um viés de posição equivalente.
O procedimento que acabamos de descrever pode ser bastante oneroso quando muitas regras
estão sendo testados. Exigiria que um benchmark separado fosse calculado
para cada regra com base em seu viés de posição específico. Felizmente existe um
maneira mais fácil.
Por exemplo, se os vieses de posição forem 60% longos e 40% vendidos, o retorno
esperado é zero.
Se, por outro lado, uma regra tem poder preditivo, sua expectativa
o retorno dos dados descontinuados será maior que zero. Esse retorno positivo reflete o fato de
que as posições compradas e vendidas da regra são inteligentes e não
do que aleatório.
Dizem que o diabo mora nos detalhes. Quando se trata de testar regras, isso
verdade se aplica. Há mais dois itens que devem ser considerados para garantir
testes históricos precisos. Eles são (1) o viés de antecipação e a emissão relacionada, preços
de execução assumidos e (2) custos de negociação.
O+2
Pos0 × Log
O+1
Onde:
PDV 0 = Posição de mercado da regra no fechamento do dia0
O+1 = Abrir S&P 500 no dia+1
Esta equação não mostra a versão sem tendência dos retornos de regra, pois
mostrado aqui:
O+2
Pos0× Log – ALR
O+1
Onde:
PDV 0 = Posição de mercado da regra no fechamento do dia0
O+1 = Abrir S&P 500 no dia+1
O viés de antecipação também pode infectar resultados de testes anteriores quando uma
regra usa uma série de dados de entrada que é relatada com um atraso ou que está sujeita a revisão.
Por exemplo, o back-test de uma regra que usa estatísticas de caixa de fundos mútuos,15 que é
divulgada ao público com um atraso de duas semanas, deve levar em conta esse atraso por sinais
de atraso para refletir a verdadeira disponibilidade dos dados.
Nenhuma das regras testadas neste livro usa informações relatadas com atraso ou que estão
sujeitas a revisão.
Machine Translated by Google
Custos de negociação
O Ilusório
Validade de
Subjetivo
Técnico
Análise
UMA
falsidade é adotada, ela tende a persistir mesmo quando novas evidências mostram que ela
está errada. Essa longevidade também é atribuível a vários erros cognitivos que nos levam a
defender as crenças existentes.
Uma ilusão visual é um exemplo de crença errônea que persiste mesmo depois de
apontada. Na Figura 2.1, o segmento de linha A parece mais longo que o segmento B, mas se
você aplicar uma régua, verá que eles têm o mesmo comprimento. No entanto, esse
conhecimento não desfaz a ilusão. Ver pode enganar, e o engano dura.
A Figura 2.22 mostra outra ilusão visual. O tampo da mesa à direita parece mais alongado.
Se você compará-los, verá que eles têm as mesmas dimensões.
Assim como há percepções ilusórias, há conhecimento ilusório. Parece válido, mas não é,
e semelhante às ilusões perceptivas, o falso conhecimento tende a ocorrer em situações além
daquelas que moldaram a evolução
Conforme definido no Capítulo 1, TA subjetiva é qualquer método de análise que, por causa de
imprecisão, não pode ser definido como um algoritmo que pode ser
testado por computador. Embora o domínio subjetivo da AT seja composto por
muitos métodos diferentes, eles compartilham a crença de que o conhecimento válido sobre os
mercados financeiros pode ser descoberto de maneira informal e não científica. Eu afirmo que
essa fé é equivocada.
Conforme discutido na Introdução, a AT subjetiva não pode ser chamada de
errado, porque chamar um método de errado implica que ele foi testado e contrariado por
evidências objetivas. A AT subjetiva é imune a
desafio porque não é testável. Assim, é pior do que errado; é insignificante.
Crenças que não podem ser testadas devem ser aceitas com base na fé, evidência
anedótica ou pronunciamento autoritário. Desta forma, a AT subjetiva é semelhante
a práticas como a medicina da Nova Era, a astrologia, a numerologia e uma
host de outras afirmações não testáveis, nenhuma das quais pode ser legitimamente classificada
como conhecimento.
No entanto, muitos praticantes e consumidores de AT acreditam fortemente na
a validade dos métodos subjetivos e, se perguntados, sem dúvida cada um afirmaria que sua
crença é justificada e apoiada por evidências. eu defendo isso
é uma consequência das mesmas falhas cognitivas que fundamentam as crenças errôneas em
geral e da maneira não científica pela qual a AT tradicional é
praticado.
A AT certamente não é o único campo a sofrer os efeitos nocivos de métodos não
científicos. Medicina e psicologia, onde as penalidades para
sabedoria são muito maiores, também estão sobrecarregados com conhecimentos errôneos.
Isso gerou um movimento emergente chamado medicina baseada em evidências
Machine Translated by Google
que apela aos médicos para que se restrinjam a práticas com eficácia comprovada. Há um
movimento semelhante na psicoterapia. Uma revista chamada Scientific Review of Mental
Health Practice4 descreve sua missão como livrar o campo de tratamentos infundados e não
testados. Infelizmente, é improvável que médicos e psicoterapeutas tradicionais abandonem
seus caminhos arraigados. Velhas crenças são difíceis de mudar. No entanto, novos praticantes
podem ser persuadidos, e são seus pacientes que se beneficiarão de métodos com eficácia
comprovada.
Embora este capítulo seja uma crítica à AT subjetiva, a AT objetiva também é vulnerável
ao conhecimento errôneo. No entanto, isso acontece de uma maneira totalmente diferente.
Enquanto a AT subjetiva sofre de falta de evidências quantitativas, a AT objetiva sofre de
inferências erradas extraídas de evidências quantitativas. Este problema e possíveis soluções
são explorados no Capítulo 6.
Um livro sobre a necessidade de evidência objetiva quantitativa pode ser um lugar estranho
para anedotas pessoais. Não obstante, ofereço um relato em primeira mão de minha conversão
inicial a um verdadeiro crente em AT, minha queda da fé e meu renascimento como um cético
científico que acredita que AT pode oferecer valor quando pesquisado de maneira disciplinada.
Soube da TA pela primeira vez na adolescência e queria acreditar que suas afirmações
eram verdadeiras. Ganhar dinheiro com padrões gráficos parecia mágico, mas plausível. Até
aquela época, meus ganhos vinham dos verões que passava cuidando de gramados, cavando
mariscos na costa norte de Long Island e trabalhando em um caminhão de lixo em um resort
local. Embora eu nunca tenha evitado o trabalho físico, a ideia de ganhar dinheiro sem suor
tinha um grande apelo.
Como a maioria dos verdadeiros crentes da TA, minhas convicções iniciais vieram de
segunda mão, lendo a sabedoria revelada das autoproclamadas autoridades do campo. Nunca
me ocorreu que suas alegações não pudessem ser fundamentadas em pesquisas sólidas. O
próprio termo análise técnica tinha um tom científico. Mais tarde, ficou claro que, em muitos
casos, as autoridades não estavam baseando suas alegações em pesquisas de primeira mão,
mas apenas regurgitando o que haviam lido de especialistas autoproclamados anteriores. O
humorista e filósofo Artemus Ward disse: “Não são tanto as coisas que não sabemos que nos
colocam em apuros, mas as coisas que sabemos que simplesmente não são assim”.
Minha primeira leitura foi How I Made Two Million Dollars in the Stock Market , de Nicholas
Darvas, um dançarino profissional. Ele atribuiu seu sucesso a
Machine Translated by Google
um método de gráficos chamado Teoria da Caixa. Como minha primeira exposição à AT, o
ideia de que os sinais de compra e venda podem ser derivados do comportamento de uma ação
era inteiramente novo e excitante. Darvas baseou sua análise em uma escada como o arranjo
de faixas de preço que ele chamou de caixas. Logo aprendi isso
era vinho velho em garrafa nova — as boas e velhas zonas de suporte e resistência da AT. Meu
entusiasmo foi inabalável. Em seguida, estudei o Método de Ponto e Figura do ofício cartográfico
e comecei a manter gráficos em um grande
estável dos estoques. No meu aniversário de dezesseis anos meus pais me deram a bíblia,
Análise Técnica de Tendências de Ações, por Edwards e Magee, e minha versão con foi completa.
Em pouco tempo, eu estava dando dicas de ações para meu professor de química, Sr. Corn.
Meu sucesso inicial com uma ação chamada Cubic fez com que vários outros professores
fãs dos meus gráficos misteriosos. Eu escolhi vários outros vencedores. Ninguém, não
mesmo eu, considerei a possibilidade de que esses primeiros sucessos pudessem ter
sido nada mais do que uma corrida de boa sorte. Não havia razão para isso. Nenhum
dos livros de AT que estudei já discutiam os papéis da aleatoriedade no comportamento do
mercado ou da sorte no desempenho de um método de investimento. Meu
as primeiras pontuações eram plausíveis porque eram consistentes com as anedotas que
enchiam os livros, mas não durou muito. Minha trajetória começou a
defeito e meus fãs desapareceram. No entanto, o meu entusiasmo pela AT continuou a
crescer porque sempre foi possível explicar meus fracassos. Depois
o fato, eu sempre podia ver onde eu tinha interpretado mal o gráfico. eu acertaria
próxima vez.
No ensino médio eu era um bom aluno de ciências, embora agora perceba que
era cientificamente analfabeto. Mais tarde, cursos universitários de filosofia da ciência me
ensinaram que a ciência é mais do que um conjunto de fatos. Em primeiro lugar,
é um método para distinguir o conhecimento real do ilusório. Seria
levem-me a maior parte de 40 anos para ver a conexão entre a filosofia da ciência e a AT.
período completo de cinco anos e meio, meus resultados, para ser generoso, foram
sem brilho.
Antes de ingressar na Spear, Leeds & Kellogg, eu era um defensor da
métodos de negociação objetivos, então, enquanto na Spear, fiz esforços para desenvolver
um programa sistemático de negociação na esperança de melhorar meu desempenho. No entanto,
com tempo e capital de desenvolvimento limitados, esses
planos nunca se concretizaram. Assim, continuei a confiar na análise clássica de gráficos de
barras, complementada com vários indicadores que interpretei
subjetivamente.
No entanto, fui objetivo de várias maneiras. No início da minha carreira comercial
com Spear, comecei a manter um diário detalhado. Antes de cada negociação, eu
observe sua justificativa de AT. Além disso, cada comércio foi baseado em um objetivo
previsão falsificável - um ponto definido de adversidade onde eu admitiria
o comércio estava errado. Meus gerentes insistiram nisso. Eu mantive o diário diariamente ao
longo dos mais de cinco anos de negociação. Depois que cada transação foi
concluído, fiz uma análise post-mortem. Esta prática tornou difícil para mim
racionalizar meus fracassos. Lá eles estavam me encarando. Isso acelerou minha queda da fé na
AT subjetiva.
Como meus resultados foram para apenas uma pessoa, considerei a possibilidade de não
estar implementando adequadamente os ditames dos textos de AT que eu tinha
estudo há mais de 30 anos. No entanto, também comecei a me perguntar se o que
eles disseram que estava correto ou se o que eles disseram era mesmo substantivo.
Quando discuti meu crescente ceticismo com os colegas, a resposta deles foi que a AT era
obviamente válida. Tendências e padrões na história
os gráficos eram simplesmente evidentes demais para serem ilusórios. Um texto de AT
amplamente utilizado6 afirma que a AT é válida por esses motivos. Isso não me satisfez. Quando eu
aprendeu que os mesmos padrões e tendências,7 aos quais a AT atribui tais
significado, também aparecem com regularidade em dados puramente aleatórios, minha fé em
análise de gráficos foi abalada ao núcleo. Além disso, chamou minha atenção
que os estudos mostraram que os leitores de gráficos especializados não conseguem distinguir
de forma confiável os gráficos de mercado reais dos gráficos produzidos por um processo aleatório.8
Esses gráficos, que são gerados por sorteios aleatórios de uma amostra de mudanças reais de
preços, são, por design, desprovidos de tendências e padrões autênticos.
e, portanto, impossíveis de prever, mas, para grafistas experientes, eles
parecia com gráficos de preços autênticos. Com base nisso, parece que
previsões baseadas em gráficos autênticos não podiam ser confiáveis. Claramente, “validade
óbvia” é um padrão inadequado para julgar a validade do mercado.
padrões.
Com inspiração em dois livros, Como sabemos o que não é assim , de
Thomas Gilovich,9 e Por que as pessoas acreditam em coisas estranhas , de Michael Shermer10,
cheguei à conclusão de que a AT deve ser abordada com o ceticismo e o rigor do método científico.
Machine Translated by Google
Um apetite voraz, mas indiscriminado por conhecimento, inevitavelmente leva a crenças estranhas.
Nossa suscetibilidade à adoção de falsas crenças foi evidenciada dramaticamente em uma
pesquisa Gallup de 1990 com 1.236 americanos adultos. A proporção de pessoas que acreditam
em todo tipo de bobagem, incluindo o paranormal, é assustadora.14 Essas são estatísticas
apresentadas por Shermer.15
O astrônomo Carl Sagan16 lamentou que mais pessoas acreditem na astrologia do que na
teoria da evolução. Ele atribuiu essa irracionalidade e superstição generalizada a uma alta taxa
de analfabetismo científico, que as pesquisas estimam em mais de 95%. “Nessa atmosfera, a
pseudociência prospera. Crenças estranhas, como as práticas de saúde da Nova Era, são
apoiadas de maneiras que se pretendem científicas, mas na verdade não são. As evidências
apresentadas são insuficientes, e os fatos que apontam em outras direções recebem pouca
atenção. No entanto, as ideias que eles oferecem sobrevivem e prosperam porque falam
Machine Translated by Google
Excesso de confiança,
Autoatribuição Retrospectiva
Tendência
Otimismo, Tendência
Tendência
Conhecimento Confirmação
Ilusão Tendência
ILUSÃO
DO
Ilusão de VALIDADE
Ilusório
Ao controle Correlação
Enviesado Ilusório
Tendências
Amostra
Usado Tamanho
e
Conhecimento Negligência
Padrões
Representatividade
Viés heurístico
Alto
C
Baixo Alto
Baixo
B
Baixo Alto
UMA
Alto
C
Baixo Alto
Baixo
B
Baixo Alto
UMA
podem realizar tal façanha são muito confiantes - confiantes demais! Isso não é
surpreendente. É apenas um exemplo do viés de excesso de confiança.
vem. No entanto, eles mantêm sua confiança apesar desses erros.41 Se os estrategistas
estivessem realmente aprendendo a reduzir sua confiança, eles fariam previsões
subsequentes com faixas mais amplas de incerteza, e os resultados seriam menos
propensos a ficar fora dessas faixas. Eles não parecem fazer isso.
De acordo com um estudo, existem duas profissões de previsão que conseguiram evitar
o excesso de confiança: meteorologistas e deficientes em corridas de cavalos. Suas
estimativas de suas habilidades preditivas estão bem calibradas porque: “Eles enfrentam
problemas semelhantes todos os dias; fazem previsões probabilísticas explícitas (falsificáveis);
e obtêm feedback rápido e preciso sobre os resultados. Quando essas condições não são
satisfeitas, o excesso de confiança deve ser esperado tanto para especialistas quanto para
não especialistas.”42
É impossível para os praticantes de AT subjetiva obter feedback preciso no contexto da
pesquisa histórica simplesmente porque seus métodos para gerar previsões e avaliar a
precisão das previsões não estão bem definidos. O feedback só é possível com métodos
objetivos.
No entanto, no contexto da previsão em tempo real, os praticantes subjetivos poderiam obter
feedback se estivessem dispostos a fazer previsões falsificáveis.
Uma previsão falsificável é aquela que tem conteúdo cognitivo. Ou seja, estabelece uma
diferença claramente discernível entre os resultados que indicariam que a previsão estava
correta e os resultados que indicariam que a previsão estava errada. Considere o seguinte
como um exemplo de uma previsão falsificável:
O S&P 500 estará mais alto doze meses a partir de hoje e não cairá mais de 20% em
relação aos níveis atuais nesse período.
Se o mercado não estiver mais alto daqui a 12 meses ou se cair mais de 20% do nível
atual nos próximos 12 meses, é claro que a previsão estava errada. Infelizmente, previsões
falsificáveis raramente são dadas por praticantes subjetivos, impedindo assim o feedback
para eles e seus clientes. O excesso de confiança persiste.
Machine Translated by Google
a face do desempenho que, por qualquer padrão objetivo, seria considerado negativo.
O viés retrospectivo cria a ilusão de que a previsão de um evento incerto é mais fácil
do que realmente é quando o evento é visto em retrospecto, depois que seu resultado
é conhecido. Uma vez que aprendemos o resultado de uma situação incerta, como
qual time ganhou um jogo de futebol ou em qual direção os preços
Machine Translated by Google
movidos, após um padrão de AT, tendemos a esquecer o quão incertos estávamos antes de
saber o resultado. Consulte a Figura 2.6.
Essa distorção cognitiva pode ser entendida em termos do modo como as memórias
são armazenadas no cérebro. Os eventos passados são armazenados em categorias de
eventos semelhantes (por exemplo, eventos esportivos) em vez de um registro temporal sequencial.
Por esta razão, tipos semelhantes de eventos que ocorreram em momentos diferentes se
misturam. Como resultado, após o resultado de um jogo de futebol ser conhecido, o estado
de conhecimento pré-jogo (incerteza) torna-se misturado com o conhecimento pós-jogo
definitivo. Nosso estado de conhecimento antes do jogo era incerto devido à natureza
ambígua das evidências pré-jogo. Alguém poderia ter defendido a vitória de qualquer equipe.
Tempo
Preço
Tempo
UMA
Preço
H
S
Tempo
UMA
Preço
Tempo
UMA
Bandeira de alta
Preço Óbvio em retrospectiva
Tempo
UMA B
bullish bull flag para um observador olhando para trás do ponto B. Da mesma forma, o
conhecimento do resultado possuído pelo observador no ponto B torna o
padrão de cabeça e ombros de baixa menos perceptível. O observador no ponto
B fica com a impressão de que a evidência no gráfico suporta a validade da análise do gráfico.
S&S de baixa
Óbvio em retrospectiva
Preço H
S
Tempo
UMA B
o assunto não está resolvido, parece ir além do desejo de nos vermos como inteligentes
e no controle. Uma conjectura que recebeu algum apoio sugere que tem a ver com o
modo como a memória funciona, ou melhor, deixa de funcionar.55 Em termos
simplificados, o registro de memórias pelo cérebro não é um processo passivo no qual
os eventos são armazenados na sequência temporal adequada, prontos para reprodução
nessa sequência. Em vez disso, a memória envolve uma desconstrução ativa de eventos
para armazenamento e, em seguida, uma reconstrução ativa de eventos quando eles
são lembrados. À medida que os eventos são vivenciados, eles são fatiados e
armazenados por categorias associativas, e não por tempo de ocorrência. Um encontro
com um cachorro no mês passado na casa de um amigo no campo é dissecado e
armazenado em categorias distintas e locais neurais; memórias de cães, memórias de
amigos e memórias de viagens ao campo, todas elas podem ter ocorrido em vários
momentos no passado. Quando tentamos recordar a visita do último mês ao país, a
mente reconstrói a memória juntando pedaços de informação armazenados nesses
locais associativos separados. Os psicólogos especularam que nossos cérebros
evoluíram dessa maneira porque geralmente é eficaz e eficiente.
O mercado estará mais alto daqui a seis meses e, dentro desse prazo, o mercado não
cairá mais de 20% em relação aos níveis atuais, ou
O mercado avançará 20% em relação aos níveis atuais antes de cair 20% em relação
aos níveis atuais.
Um sinal de compra foi dado. Mantenha a posição longa até que um sinal de venda
seja dado.
Ninguém tem tempo, muito menos experiência, para obter todo o conhecimento necessário
por meio da experiência direta. Portanto, por necessidade, a maior parte do que sabemos
aprendemos em segunda mão daqueles que supostamente sabem.
Entre as inúmeras maneiras pelas quais o conhecimento é comunicado, o relato
narrativo ou história é de longe o mais popular. O biólogo Stephen Jay Gould chamou os
humanos de “o primata que conta histórias”. Temos partilhado ideias desta forma há
milhares, talvez milhões de anos. Conseqüentemente, muito do que
Machine Translated by Google
sabemos, incluindo até mesmo como fazer aritmética, está armazenado na mente em um
formato narrativo. 56
Por essa razão, boas histórias são persuasores mais poderosos do que fatos objetivos.
Psicólogos especulam que contos concretos, coloridos e emocionalmente interessantes
têm um impacto poderoso em nossas crenças porque
tais histórias trazem à mente roteiros mentais pré-existentes.57 Conceitos e abstrações
simplesmente não podem iluminar as redes de histórias do cérebro da maneira que um
conto animado pode. O filósofo Bertrand Russell disse que quando aprendemos
coisas informalmente (não cientificamente), somos impactados pelo
interesse das instâncias, não pelo seu número”58 .
que os cientistas se treinam para reagir exatamente da maneira oposta, ou seja,
desconsiderar histórias dramáticas e prestar atenção a fatos objetivos, de preferência
aqueles que podem ser reduzidos a números.
Nem todas as histórias são igualmente atraentes. Para chamar a atenção, uma história
deve ser interessante e compreensível, mas não nos aborrece com o que já sabemos.
Somos mais cativados por relatos vívidos sobre pessoas reais,
de preferência pessoas que conhecemos. Histórias que falam às nossas necessidades emocionais
ao ser divertido e informativo vendem o melhor. Um bom conto não só
nos anima, mas ganha vida própria, à medida que é contada e recontada
mais uma vez.
Conto de Elliott
O poder de uma boa história pode explicar o apelo duradouro do Elliott
Princípio da Onda (EWP), uma das conjecturas mais grandiosas da TA. O Princípio
das Ondas de El Liott sustenta que as ondas de preços expressam uma ordem universal e
forma que se encontra não apenas nas flutuações dos mercados financeiros, mas
todo o mundo natural, incluindo as formas de conchas do mar, galáxias,
pinhas, girassóis e inúmeros outros fenômenos naturais.
De acordo com a EWP, as tendências do mercado são fractais - uma hierarquia aninhada de
ondas compartilhando a mesma forma, mas variando em magnitude e duração
de micro-ondas que duram apenas alguns minutos a grandes macroondas milenares
que pode durar milhares de anos.65 Essa forma compartilhada, chamada de Elliott
wave, é uma configuração de oito segmentos de movimentos de preços ascendentes
e descendentes. Na verdade, esse padrão universal de crescimento e decadência
descreve não apenas a evolução dos preços nos mercados financeiros; Isso é também
manifestada na evolução das tendências da psicologia de massa, a ascensão e
queda de civilizações, modas culturais e outras tendências sociais. A teoria
afirma descrever praticamente qualquer coisa que passa por ciclos de
crescimento e mudança. Até mesmo a carreira empresarial do líder da Elliott wave
O defensor Robert Prechter, segundo o próprio Prechter, seguiu um
série de altos e baixos que estão em conformidade com o Princípio Elliott Wave. este
Machine Translated by Google
O Princípio da Onda Elliott, como praticado popularmente, não é uma teoria legítima, mas
uma história, e uma história convincente que é eloquentemente contada por Robert
Prechter . história até suas flutuações mais minuciosas. Eu afirmo que isso é possível pelas
regras vagamente definidas do método e pela capacidade de postular um grande número
de ondas aninhadas de magnitude variável. Isso dá ao analista Elliott a mesma liberdade e
flexibilidade que permitiram aos astrônomos pré-copernicanos explicar todos os movimentos
observados dos planetas, mesmo que sua teoria subjacente de um universo centrado na
Terra estivesse errada. A analogia entre o astrônomo medieval ajustando epiciclo após
epiciclo aos seus dados e os analistas da EWP ajustando onda dentro de onda aninhada
para dados de mercado é forte. Assim, mesmo que a noção fundamental de EWP esteja
errada, o método de análise ainda será capaz de obter um ajuste muito bom aos dados
passados.68
O interesse próprio pode motivar a distorção em contas de segunda mão. Pessoas com
uma posição ideológica ou teórica tendem a aguçar seletivamente alguns aspectos de uma
história e minimizar outros para alinhá-la melhor com seu ponto de vista. Os fornecedores
de métodos específicos de AT ou de AT em geral têm interesses ideológicos e financeiros
claros em jogo.
Essa acusação pode ser feita a mim71 ou a qualquer autor que defenda uma posição.
No entanto, quando o contador de histórias é constrangido por evidências objetivas e
procedimentos repetíveis, há menos margem de manobra para que os efeitos distorcidos
do interesse próprio funcionem.
Machine Translated by Google
“Uma vez que uma crença se forma, filtramos as informações de forma a sustentá-la.”72 O viés
de confirmação é a tendência de ver como novas evidências críveis que confirmam nossas
crenças anteriores, mas de ver como evidências incríveis que as contradizem.73 Essa tendência
inibe o aprendizado de novas experiências e sufoca a eliminação de ideias incorretas. O viés
de confirmação explica por que ficamos presos a crenças errôneas.
Em muitos casos, é racional dar peso e preferência a evidências que apóiam uma crença
existente e ver com ceticismo aquilo que a contradiz. As crenças seriam altamente instáveis
sem tal regra.
A utilização do conhecimento prévio como filtro interpretativo é uma marca da inteligência
humana, desde que o conhecimento prévio seja bem sustentado. Os cientistas estavam
justificadamente céticos quanto à afirmação de que a fusão nuclear havia sido alcançada à
temperatura ambiente em um aparelho construído com peças disponíveis na loja de ferragens
local.74 Suas dúvidas foram posteriormente confirmadas por testes objetivos que não
conseguiram reproduzir o chamado frio -efeito de fusão. Poucos de nós aceitariam pelo valor
nominal a manchete do tablóide de supermercado: “Elvis retorna sobre OVNIs e construirá um
parque temático alienígena”. No entanto, quando as crenças anteriores são injustificadas porque
não têm o apoio de inferências sólidas de evidências sólidas, não é racional conceder-lhes o
status de guardiões intelectuais. O problema é que as pessoas muitas vezes não estão cientes
de quais de suas crenças são injustificadas. Conseqüentemente, o viés de confirmação opera
mesmo quando não deveria.
Percepção tendenciosa
Não apenas deixamos de perceber novas informações que estão em conflito com
crenças anteriores, também relutamos em tirar conclusões que estão em desacordo
com o que já acreditamos ser assim. Como resultado, tendemos a aceitar em
informações de valor de face que são consistentes com o pensamento pré-existente enquanto
examinamos criticamente e descontamos informações que são inconsistentes com
crenças anteriores. O viés de confirmação explica por que nossas crenças não mudam
em resposta a novas informações, tanto quanto deveriam.76
Fica pior. O viés de confirmação, operando em conjunto com
as leis do acaso, prevê que crenças errôneas se fortalecerão com
tempo e familiaridade.77 Um método TA sem poder preditivo (por exemplo, um sinal
baseado em um lançamento de moeda) terá sucesso ocasional devido ao acaso. Sobre
tempo, essas instâncias de confirmação se acumularão e, devido ao viés de confirmação,
terão maior peso do que as instâncias em que a
método falha. O resultado é um ciclo vicioso de auto-engano crescente. este
sugere que a crença na eficácia de um método falho aumentará ao longo
tempo, independentemente do seu mérito real. Implica também que os profissionais de AT
os mais experientes com um método inútil serão os menos capazes de reconhecer suas
falhas por causa da exposição mais prolongada aos sucessos baseados no acaso do método.
Fatores Motivacionais
O viés de confirmação também é impulsionado por fatores motivacionais. Os praticantes de
AT têm um grande investimento emocional e financeiro em seus
método. Isto é especialmente verdadeiro para profissionais cujas vidas profissionais
estão vinculados a um determinado método.
Há também um forte motivo para manter a consistência dentro de nossas crenças e
atitudes do sistema. A teoria da dissonância cognitiva formulada
de Festinger78 afirma que as pessoas são motivadas a reduzir ou evitar inconsistências
psicológicas.79 O desconforto provocado pela evidência de que
contradiz o que acreditamos torna difícil digerir tais evidências.
Pessoas treinadas no método científico fazem duas coisas para combater isso
tendência. Primeiro, no início de um teste, eles estabelecem critérios objetivos
para avaliar os resultados. Em segundo lugar, eles buscam ativamente evidências que possam
contradizem crenças e suposições anteriores. Os cientistas são guiados pela noção de que
ideias que podem sobreviver a uma busca vigorosa de evidências contraditórias têm maior
validade do que ideias que são meramente apoiadas por evidências contraditórias.
evidência confirmatória descoberta por uma busca direcionada exatamente a isso.
O viés de confirmação pode ocorrer no contexto da AT objetiva como
Nós vamos. Considere um analista procurando regras lucrativas com backtesting.
Se a primeira regra testada apresentar desempenho insatisfatório, a pesquisa
para uma regra com bom desempenho continua. Isso envolve testar uma sequência de regras
com parâmetros alterados, lógica, indicadores e assim por diante até que uma boa seja
encontrada. Isso é mineração de dados. Porque a decisão sobre
quando terminar este processo depende inteiramente do analista, o escopo do
a pesquisa é ilimitada. Isso garante que, em última análise, uma regra com boa
desempenho passado será descoberto. A crença inicial do pesquisador de que um
boa regra será encontrada é assim confirmada.
De fato, o desempenho passado de uma regra descoberta pela mineração de dados
indica seu provável desempenho no futuro. Esse exagero é chamado de
viés de mineração de dados e é discutido no Capítulo 6. Este problema não é de dados
mineração em si. Na verdade, quando feito corretamente, a mineração de dados é um método
de pesquisa produtivo. O erro é a falha em levar em conta o aumento
viés causado pela mineração de dados. Como será explicado no Capítulo 6, tomando
em conta a extensão da busca que levou à descoberta do bom
regra, é possível fazer inferências sólidas sobre o lucro futuro da regra
potencial.
Como a AT subjetiva é vaga sobre como suas previsões devem ser avaliadas, a evidência de
seu sucesso e fracasso é ambígua. Isso facilita a
capacidade do analista de apontar para previsões anteriores que funcionaram (confirmação
viés) e, ao mesmo tempo, evitar a identificação de erros de previsão. Isso efetivamente
imuniza os praticantes subjetivos do feedback negativo que pode levá-los a mudar suas
crenças.80
Erros de previsão de um método subjetivo podem ser obscurecidos em vários
de maneiras. Uma é o que chamo de renomeação de padrão. Uma fuga de cabeça
padrão que falha é rotulado como uma armadilha de touros bem-sucedida. De acordo com a
doutrina da TA, alega-se que as fugas ascendentes predizem tendências ascendentes. Isso é
ilustrado na Figura 2.12.
Quando uma tendência de alta não se materializa, deve ser contada como um erro de
previsão. Se, em vez disso, o padrão for renomeado para bull trap,81 acabamos
Machine Translated by Google
Preço
Previsto
Resultado
Sinal de fuga
Real
Resultado
Tempo
com um sinal bem sucedido de um padrão diferente como mostrado na Figura 2.13.
Definições objetivas de padrões e critérios de avaliação claramente pré-definidos
evitariam tal manipulação de evidências após o fato.
Outra maneira pela qual os erros de previsão são obscurecidos é quando as
previsões não possuem um ponto final claro. O ponto final da previsão é um tempo
ou evento futuro que exige que a previsão seja avaliada. Uma previsão ou sinal que não
Preço
Bem sucedido
Armadilha
Sinal
Tempo
pena capital.87 Os sujeitos eram de dois tipos: aqueles com uma crença prévia de que
a pena capital era boa e aqueles com uma crença prévia de que a pena capital era ruim.
Ambos os grupos receberam resumos e críticas a dois estudos diferentes sobre a pena
capital. Um estudo apresentou evidências mostrando que a pena capital era um
impedimento eficaz contra o crime, enquanto o outro forneceu evidências mostrando
que não era eficaz . o estudo que conflitava com a visão deles foi visto como pesquisa
falha e evidência fraca. Depois de serem expostos a evidências de ambos os lados da
questão, os participantes saíram do experimento com suas crenças anteriores
fortalecidas. Em outras palavras, uma mistura de evidências pró e contra fez com que
os dois grupos se tornassem mais polarizados.
sempre no valor de seu método enquanto murmuram sobre acadêmicos de torre de marfim
que têm suas cabeças presas nas nuvens ou em algum lugar pior.
Teoria
Predição
Revisar ou
Predição Teoria do Abandono
Comparado com
Nova observação
Acordo
Aceitação Provisória da Teoria
CORRELAÇÕES ILUSÓRIAS
Os estudos discutidos até este ponto trataram dos erros errôneos das pessoas.
crenças sobre si mesmo e suas habilidades. Consideremos agora os estudos que
examinou as crenças das pessoas sobre o mundo em geral, especificamente se um
existe uma relação preditiva entre um par de variáveis.101 Estas têm
mostrou que as pessoas têm uma tendência a perceber a correlação ilusória. Uma correlação
ilusória é a falsa percepção de uma relação entre um par
de variáveis. É um problema significativo para os praticantes subjetivos de AT.
Também se pode dizer dos padrões subjetivos, que tanto o preditor quanto o
o resultado são variáveis binárias. Ou seja, eles assumem apenas dois
valores possíveis. Com relação à variável preditora, o padrão ou sinal está (1) presente no
momento ou (2) não está presente.
variável de resultado, o movimento futuro de preço que o padrão ou sinal pretende prever, ou (1)
ocorre ou (2) não ocorre.
Por exemplo, o padrão superior de cabeça e ombros é suposto ser
correlacionado com (preditivo de) uma tendência de baixa pós-padrão. Em um determinado ponto
com o tempo, um padrão superior de cabeça e ombros e um sinal de quebra de linha de pescoço
estão presentes no gráfico ou não.103 Seguindo o sinal, a tendência de baixa
ou ocorre ou não. Todos os padrões e sinais subjetivos podem ser interpretados dentro dessa
estrutura.
A afirmação central deste capítulo é que o conhecimento subjetivo da AT possui apenas
validade ilusória. Esta seção examina uma ilusão específica de validade – correlação ilusória.
Uma correlação ilusória é a
percepção de uma correlação entre duas variáveis que não estão verdadeiramente relacionadas.
Machine Translated by Google
Previsto Previsto
Resultado Resultado
Ocorre Não ocorre
Correto
Padrão/Sinal Predição Erro
Ocorre Confirmatório Sinal Falso
Instâncias
três células. Cometemos este erro por duas razões. A primeira tem a ver com a saliência das
instâncias confirmatórias, e a segunda tem a ver com uma noção intuitiva defeituosa do que
constitui evidência suficiente para concluir que existe uma correlação.
ou há uma motivação para encontrar um, o viés de confirmação, discutido anteriormente, torna
provável que uma relação correlativa seja detectada mesmo que não exista. É difícil imaginar
um analista de AT que não seja afetado por crenças anteriores, motivação ou ambos.
Mesmo que não haja crença prévia ou motivação para acreditar, as pessoas ainda exibem
uma tendência pronunciada de perceber correlações ilusórias.
Smedslund realizou um dos primeiros experimentos mostrando essa tendência.112 As
enfermeiras viram 100 cartões que deveriam representar pacientes reais. Cada cartão indicava
se o paciente manifestou um sintoma específico ou não (o preditor binário) e se esse paciente
foi finalmente diagnosticado com uma doença específica (o resultado binário). A tarefa dos
enfermeiros era determinar se o sintoma estava realmente correlacionado com a doença. Os
dados apresentados aos enfermeiros estão resumidos na tabela de contingência da Figura 2.16.
Mais de 85 por cento dos enfermeiros disseram que o sintoma estava correlacionado com
a doença. Eles foram persuadidos pelas 37 ocorrências confirmatórias salientes que caíram na
célula superior esquerda (sintoma presente e doença presente). No entanto, sua conclusão não
foi apoiada pelos dados. Uma análise adequada desses dados, que leva em consideração
todas as contagens de células, indica que o sintoma não está correlacionado com a doença.
Diagnóstico Verdadeiro
Doença Doença
Presente Não presente
Célula A Célula B
Sintoma
Presente 37 17
instâncias instâncias
Célula C Célula D
Sintoma
Não presente
33 13
instâncias instâncias
Um teste estatístico formal que considerasse todas as contagens de células seria a maneira
rigorosa de determinar se os dados dos enfermeiros eram indicativos de uma correlação
válida. No entanto, não é preciso nem mesmo recorrer a um teste formal para ver que há
não há correlação entre o sintoma e a doença. Todas as células podem ser
levado em consideração calculando algumas razões simples da célula
conta. Por exemplo, a proporção de pacientes que manifestaram o sintoma e que finalmente
provaram ter a doença foi de aproximadamente
0,69 (célula A dividida por [célula A + célula B], 37/54 = 0,685). No entanto, a proporção de
pacientes que não apresentaram o sintoma e que acabaram sendo diagnosticados com a
doença foi quase a mesma ou 0,72 (célula C dividida por
[célula C + célula D], 33/46 = 0,717). Este cálculo rápido e sujo mostra
essa probabilidade de ter a doença era aproximadamente a mesma (0,69 e 0,72),
independentemente de o sintoma estar presente. Teve o sintoma realmente
correlacionada com a doença, as duas proporções teriam sido
bastante diferente, como 0,90 daqueles com o sintoma tinham a doença
enquanto que apenas 0,40 daqueles sem o sintoma tinham a doença. este
não necessariamente sugeriria que o sintoma era a causa da doença, mas apenas que era
um preditor válido dela.
À luz do fato de que mesmo proporções simples não mostraram correlação entre sintoma
e doença, é surpreendente que 85% dos enfermeiros
concluíram que o sintoma era um preditor confiável da doença. o
os enfermeiros também foram apresentados a outros conjuntos de dados. No geral, o fator que
melhor explicou se os enfermeiros perceberam que uma correlação era simplesmente o
número de ocorrências confirmatórias (célula A: ambos os sintomas e a doença ocorrem).
Seus julgamentos não foram afetados pelas proporções relativas que
entrou no cálculo feito anteriormente. Em outras palavras, os enfermeiros
não prestar atenção ao número de casos nas outras três células. Como observado
anteriormente, muitos estudos psicológicos apoiaram a teoria de Smedslund.
descobertas. 113
A maneira estatisticamente correta de detectar uma correlação entre duas variáveis
binárias é o teste Qui-quadrado.114 O teste determina se o
número de instâncias que caem em cada célula difere significativamente do
número que seria esperado em cada célula se não houvesse correlação
entre as variáveis. Em outras palavras, o teste determina se a contagem de células
afastam-se significativamente de uma dispersão aleatória das instâncias entre os
quatro células. Quando as contagens de células se afastam significativamente115 de um
padrão aleatório, a estatística Qui-quadrado assume um valor grande. Esta é uma evidência
legítima de uma correlação.
Na Figura 2.17, os dados do estudo dos enfermeiros foram alterados para ilustrar como
as contagens de células podem aparecer para um sintoma correlacionado
com a doença. Cada célula também contém o número de instâncias que
Machine Translated by Google
Diagnóstico Final
Doença Doença
Presente Não presente
Célula A Célula B
Sintoma
54
Presente 47 7
Esperado = 37,8 Esperado = 16,2
Célula C Célula D
Sintoma
Não presente 46
23 23
Esperado = 32,2 Esperado = 13,8
70 30 100
seria esperado se não houvesse relação preditiva entre sintoma e doença (o padrão aleatório).
Por exemplo, na célula B, houve apenas 7 ocorrências de doença com o sintoma presente (um
sinal falso). Se as instâncias obedecessem a um padrão aleatório, seria de esperar cerca de 16
sinais falsos. Assim, a proporção relativa de doença, se o sintoma estiver presente, é de 0,87
versus 0,50 quando o sintoma não está presente. A diferença nas proporções mostra que o
sintoma está correlacionado com a doença.
pode se surpreender com os padrões que aparecem. Muitos serão semelhantes aos
padrões encontrados em gráficos reais de ativos financeiros. Claramente, os padrões
ou tendências que aparecem em um flip chart não podem prever sua evolução futura.
Isso levanta uma questão importante: se padrões do tipo gráfico podem aparecer
com tanta regularidade em passeios aleatórios, e se sabe que esses padrões não
podem ser preditivos, como os mesmos padrões podem ser considerados preditivos
simplesmente porque aparecem em um gráfico real?
Talvez não devêssemos confiar nos olhos de Roberts. Ele era um estatístico, não
um especialista em AT. Se um cartógrafo experiente fosse capaz de identificar os
padrões que ocorrem em gráficos de passeio aleatórios como falsos da mesma forma
que um joalheiro competente pode detectar um diamante falsificado, então o
experimento de passeio aleatório de Roberts não provaria nada além de sua falta de
experiência em gráficos. Certamente, os grafistas especialistas devem alegar que
podem dizer a diferença entre padrões que ocorrem em passeios aleatórios e aqueles
que ocorrem em gráficos reais. Afinal, se os padrões nos gráficos dos mercados reais
se formam como resultado de mudanças na oferta e demanda e/ou oscilações no
humor do mercado, como afirma TA, eles devem parecer diferentes dos meandros
acidentais em um gráfico de passeio aleatório!130
Infelizmente, os grafistas especialistas não foram capazes de dizer a diferença
entre gráficos reais e falsos. Arditti131 os colocou à prova. Quando apresentados a
uma variedade de gráficos reais misturados com gráficos de caminhada aleatória, os
grafistas examinados por Arditti não eram mais precisos em distinguir o real do falso
do que uma suposição. Esse resultado foi posteriormente confirmado em um estudo
informal132 do professor Jeremy Siegel, da Wharton Business School.133 Siegel
apresentou os gráficos mostrados na Figura 2.18 (quatro reais e quatro aleatórios) a
um grupo dos principais corretores da bolsa de Wall Street que se consideravam
competentes leitores de gráficos. Mais uma vez, os especialistas foram incapazes de
distinguir com segurança o real do aleatório. Realizei uma experiência semelhante
com estudantes de administração de pós-graduação que haviam acabado de concluir
um curso de análise técnica. Sua precisão era consistente com a adivinhação. Os
gráficos reais são indicados pelo X.
O que podemos concluir desses resultados? Primeiro, eles não implicam que os
mercados financeiros sejam aleatórios e, portanto, desprovidos de tendências e
padrões válidos. Mas eles questionam a eficácia da análise subjetiva/visual de gráficos
como meio de aquisição de conhecimento e previsão. Se a leitura de gráficos fosse
uma habilidade válida, deveria pelo menos ser possível distinguir um gráfico real de
um falso aleatório.
jogador não acha que as quedas de rebatidas ou sequências de rebatidas são reais? Fãs
de basquete, jogadores, treinadores e comentaristas esportivos falam da chamada mão
quente, uma tendência de precisão de arremesso acima da média.
Essas crenças são amplamente aceitas porque as tendências no desempenho
atlético parecem tão óbvias. No entanto, a análise estatística rigorosa do desempenho do
jogador134 indica que o fenômeno da mão quente é uma ilusão. Os fãs foram enganados
por sua intuição. Essa crença errônea deriva de uma noção errônea sobre como os
fenômenos aleatórios devem se comportar . processo. Em vez disso, a intuição nos diz
incorretamente que processos aleatórios devem exibir algo semelhante a um padrão
alternado de resultados positivos e negativos.
o tiro é acertado ou perdido é determinado por uma série de fatores não casuais, sendo a
maioria deles a habilidade dos jogadores ofensivos e defensivos envolvidos. No entanto, um
fator que não influencia ou prediz o
resultado é a taxa de acerto recente do jogador.”136
Para entender por que fãs de esportes, atletas e analistas de gráficos são vítimas
à ilusão de tendências e padrões em dados que podem de fato ser aleatórios
devemos nos aprofundar um pouco mais na natureza do julgamento intuitivo.
A heurística da representatividade:
Raciocínio por semelhança
A heurística da representatividade , que foi identificada pela primeira vez por Tversky
e Kahneman145 é de particular relevância para AT subjetiva. Nós usamos isso
regra para fazer julgamentos de classificação intuitivos. Em outras palavras, é usado
para estimar a probabilidade de que um objeto em particular, por exemplo, o cachorro
antes de mim, pertence a uma determinada classe de objetos, por exemplo, a classe
de poodles. A premissa subjacente da heurística da representatividade é
que cada membro de uma classe deve exibir os principais atributos comuns
que definem a classe. É bastante razoável esperar que os objetos do
mesma classe deve possuir um conjunto similar de características. Ao chegar a um
julgamento por representatividade sobre se um determinado objeto pertence a um
classe particular, inconscientemente consideramos o grau de similaridade ou
correspondência entre os atributos do objeto e o conjunto de atributos supostamente
representativos dessa classe. É por isso que essa heurística é referida como um raciocínio
por representatividade.
Nesta seção e na próxima, argumentarei que a análise de gráficos visuais é inerentemente
falha por causa de um viés para a percepção de ordem e padrão, mesmo em dados que são
verdadeiramente aleatórios. Afirmo que esse preconceito se deve a
uma má aplicação da heurística da representatividade. Em outras palavras, um
Machine Translated by Google
CKQ
Objeto C GMQ
de
Incerto
Classe
Classe
FIGURA 2.19 Classificação por número de atributos correspondentes.
Linda tem 31 anos, é solteira, franca e muito inteligente. Ela se formou em filosofia. Como
estudante, ela se preocupou profundamente com questões de discriminação e justiça
social, e também participou de
manifestações antinucleares. Qual possibilidade é mais provável? (1)
Linda é caixa de banco, ou (2) Linda é caixa de banco E está ativa em
o movimento feminista.
do que Linda era simplesmente uma caixa de banco. Esta conclusão ignora a relação lógica
entre um conjunto e um subconjunto próprio. Os assuntos tornaram-se tão
fixado no fato de que Linda possuía um conjunto de características marcantes que
correspondia a um estereótipo intuitivo de uma feminista, que eles cometeram o
falácia da conjunção. Claramente, o conjunto de mulheres que são caixas de banco
e ativa no movimento feminista é um subconjunto de uma categoria maior que
contém todas as caixas de banco do sexo feminino, incluindo aquelas que são feministas e
aqueles que não são. Outros estudos confirmaram esses achados e levaram Tversky
e Kahneman para concluir que os julgamentos de probabilidade das pessoas são tendenciosos
pela adição de detalhes salientes. Mesmo que cada detalhe adicional descrevendo um objeto
reduza a probabilidade de que tal objeto exista,151
quando as pessoas raciocinam por representatividade, detalhes adicionais aumentam a
número de características que correspondem a um estereótipo de classe, aumentando assim
uma estimativa intuitiva de probabilidade. A falácia da conjunção é ilustrada
na Figura 2.20.
A falácia da conjunção pode ter consequências desastrosas quando
se infiltra nos veredictos do júri. Por exemplo, considere qual das duas possibilidades
pareceria mais provável152:
kT
B n e ers
eueu
uma
Caixas de banco
Quem é
Feministas
A HEURÍSTICA DA REPRESENTATIVIDADE E A
TENDÊNCIAS E PADRÕES DE ILUSÃO EM GRÁFICOS:
REAL E FALSO
topo duplo, etc). A questão que devemos considerar é esta: por que essa sequência, que sabemos
ser de origem aleatória, dá a aparência de
ter padrões e tendências autênticos. Ou, dito de outra forma, por que os dados
gerados por um processo puramente aleatório aparecem como se tivessem sido gerados por
um processo regido por regras que, se descoberto, tornaria possível a previsão?
Preço
Tempo
Preço
Tempo
A Lei dos Grandes Números nos diz que o tamanho da amostra é de suma importância porque
determina a confiança que podemos ter nas inferências
com base em uma amostra de dados. Também conhecida como a Lei das Médias, a Lei da
Números Grandes nos diz que apenas amostras compostas por um grande número de
Machine Translated by Google
Aleatório
Processo
?
Estereótipo
Amostra de dados Aleatório
Dados
Não aleatório
Processo
FIGURA 2.23 Presume-se que os dados sejam passíveis de previsão porque não
não corresponde a um estereótipo intuitivo de aleatoriedade.
Processo aleatório
FIGURA 2.24 A ilusão de tendências e padrões em pequenas amostras – dados gerados por um
processo aleatório.
processo é que existem dois resultados igualmente prováveis. Esta é a base para uma
expectativa de que a proporção de caras seja 0,50. Essa intuição é de fato correta quando o
número de jogadas é grande. Em uma amostra de 100.000 lançamentos, a proporção de caras
será extremamente próxima de 0,50. Se alguém repetisse esse experimento muitas vezes, a
proporção de caras seria sempre muito próxima de 0,50. Na verdade, seria improvável que
ficasse fora do intervalo de 0,497–0,503,154
O problema é que a intuição não presta atenção ao tamanho da amostra ou à Lei dos
Grandes Números. Portanto, também esperamos que 0,50 cabeças apareçam em todas as amostras.
Embora seja verdade que a proporção esperada de caras em qualquer amostra seja sempre
0,50, mesmo para apenas dois lançamentos, a proporção de caras que dará
Preço
Ilusório
S&S
Padrão
Tempo
FIGURA 2.25 Se pequenas partes de um gráfico parecem ordenadas, todo o gráfico assume uma
aparência não aleatória.
Machine Translated by Google
No entanto, uma análise formal dos locais de impacto dos mísseis mostrou que eles eram
totalmente consistentes com um padrão aleatório.
Um exemplo mais recente de agrupamento espacial ilusório que promoveu um raciocínio
causal errôneo foi a chamada histeria do agrupamento de câncer na Califórnia. As pessoas
ficaram alarmadas se o número de casos diagnosticados de câncer de um tipo específico (por
exemplo, câncer de pulmão causado pelo amianto) estivesse muito acima da média em sua
comunidade. Acontece que os clusters podem ocorrer por acaso. O que não é aparente para os
estatisticamente não sofisticados é o seguinte: dados 5.000 setores censitários na Califórnia e
80 possíveis cânceres ambientais, haverá alguns setores em que o número de casos de câncer
estará muito acima da média simplesmente devido ao acaso. Em alguns casos, tais aglomerados
são realmente atribuíveis a toxinas ambientais, mas nem sempre e nem tão frequentemente
quanto a intuição sugere.
Isso nos traz de volta ao TA e ao aparecimento de padrões ordenados como tops duplos,
fundos de cabeça e ombros e assim por diante. A ocorrência de
Machine Translated by Google
tais formas não é consistente com uma noção intuitiva de dados produzidos por
um processo aleatório. Tais dados são erroneamente presumidos como completamente
casual e sem forma, então, saltamos para a conclusão de que os padrões devem
ser o subproduto de um processo não aleatório que não é apenas passível de análise visual,
mas que os próprios padrões são úteis para fazer previsões. Como Roberts mostrou,
passeios aleatórios podem traçar facilmente os padrões
que os técnicos subjetivos tanto prezam.
Em resumo, as pessoas têm dificuldade em dizer quando um conjunto de dados é
aleatório ou não. Porque a mente está predisposta à percepção da ordem
e adepto de inventar histórias que explicam por que essa ordem existe, não é
nada misterioso que os pioneiros da AT encontrariam padrões e tendências
em gráficos de preços e, em seguida, inventar teorias sobre por que esses padrões deveriam
ocorrer. Métodos mais rigorosos do que a análise visual e a intuição são
necessários para encontrar a ordem explorável que pode existir no mercado financeiro
flutuações.
Este capítulo examinou muitas maneiras pelas quais podemos ser enganados ao adotar
conhecimento errôneo. O melhor antídoto já inventado para este problema é o
método científico, tema do próximo capítulo.
Machine Translated by Google
O científico
Método e
Técnico
Análise
“De todos os tipos de conhecimento que o Ocidente deu ao mundo, o mais valioso é o
método científico, um conjunto de procedimentos para adquirir novos conhecimentos.
Foi inventado por uma série de pensadores europeus por volta de 1550 a 1700.”2
Comparado às abordagens informais, é insuperável em sua capacidade de separar
fato de falsidade. O aumento dramático em nossa
Machine Translated by Google
“A ciência foi a maior descoberta, ou invenção, do século XVII. Os homens daquela época
aprenderam – e foi uma descoberta muito revolucionária – como medir, explicar e manipular
fenômenos naturais em um
forma que chamamos de científica. Desde o século XVII, a ciência
progrediu muito e descobriu muitas verdades, e conferiu muitos benefícios que o século
XVII não conhecia, mas
não encontrou uma nova maneira de descobrir verdades naturais. Por esta razão, o
O século XVII é possivelmente o século mais importante da humanidade.
história.”5
A revolução começou na Europa Ocidental por volta de 1500 em uma atmosfera de
estagnação intelectual. Naquela época, todo o conhecimento era baseado em
pronunciamentos autoritários em vez de fatos observados. As doutrinas
da Igreja Romana e o dogma da ciência grega foram tomados como verdades literais. Na
Terra, supunha-se que os objetos eram governados pela física totélica de Aris. Nos céus,
as leis inventadas pelos gregos
astrônomo Ptolomeu e mais tarde endossado pela Igreja foram pensados para
regra. O sistema ptolomaico sustentava que a Terra era o centro do universo e que o Sol,
as estrelas e os planetas orbitavam em torno dela. Para o casual
observador, os fatos pareciam concordar com a teoria ortodoxa da Igreja.
Todos ficaram felizes até que as pessoas começaram a notar fatos que conflitavam
com essas verdades aceitas. Os artilheiros observaram que os projéteis
arremessados por catapultas e tiros de canhões não voaram em conformidade com
Machine Translated by Google
Além disso, naquela época, as observações dos céus começaram a colidir com a
teoria da Igreja de um universo centrado na Terra. Medidas astronômicas cada vez mais
precisas revelaram que os planetas não se moviam como a teoria dizia que deveriam. Por
um tempo, astrônomos confusos foram capazes de consertar a teoria da Igreja para fazê-
la concordar com os caminhos planetários observados. À medida que as observações
discordantes ocorriam, novas suposições foram adicionadas à teoria, na forma de órbitas
menores girando em torno da órbita principal de um planeta. Essas correções ad hoc,
chamadas epiciclos, permitiram que a teoria explicasse as observações problemáticas. Por
exemplo, os epiciclos foram capazes de explicar por que os planetas às vezes eram vistos
se movendo para trás (movimento retrógrado) em vez de seguir um caminho contínuo pelo
céu.
Com o tempo, uma sucessão de correções de epiciclos transformou a teoria
fundamentalmente incorreta de um universo centrado na Terra em uma monstruosidade de
complexidade pesada com epiciclos sobre epiciclos menores sobre epiciclos ainda menores.
Caminho Observado
Caminho previsto
por
Física aristotélica
considerou-o culpado ex post facto. Como punição, ele foi forçado a desistir
astronomia e viver seus dias em prisão domiciliar.6
Eventualmente, a teoria dos céus da Igreja foi substituída pelo distante
modelo copernicano mais simples e correto. Colocou o sol no centro do universo e
conseguiu explicar as observações astronômicas
com muito menos hipóteses. Hoje sabemos que o sol não é o centro
do universo, mas na época o modelo copernicano representava uma verdadeira
aumentar o conhecimento do homem sobre os céus.
FÉ NA REALIDADE OBJETIVA E
OBSERVAÇÕES OBJETIVOS
pouco, ou como um padrão de onda de Elliott que assume ondas embutidas dentro
de ondas, proporções áureas, sequências de Fibonacci e uma série de outras
complexidades, o passeio aleatório é a explicação preferida. Isto é, a menos que
o Princípio das Ondas de Elliott seja capaz de fazer previsões mais precisas do
que a teoria do passeio aleatório.
Assumir a existência de uma realidade externa simplifica muito as coisas.
Fazer o contrário exigiria um conjunto muito mais complexo de suposições para
explicar por que duas pessoas, observando o mesmo fenômeno, geralmente saem
com a mesma impressão. Explicar por que vejo outros carros parando quando
vejo o semáforo ficando vermelho é simples se eu assumir que realmente há um
semáforo lá fora. No entanto, sem essa suposição, seriam necessárias muitas
suposições mais complicadas para explicar por que outros motoristas param
quando eu o faço.
Como consequência de sua fé em uma realidade objetiva, a ciência sustenta
que as percepções objetivas e subjetivas são essencialmente diferentes. Minha
observação objetiva de um sinal de trânsito vermelho e minha experiência subjetiva
de estar aborrecido porque me atrasaria para o trabalho não são a mesma coisa.
Observações objetivas podem ser compartilhadas e confirmadas por outros
observadores. Por esta razão, observações objetivas se prestam ao estabelecimento
de conhecimentos que podem ser compartilhados e confirmados por outros.
Pensamentos, interpretações e sentimentos subjetivos não podem, e essa falha
por si só é suficiente para desqualificar a AT subjetiva como conhecimento legítimo.
Albert Einstein disse uma vez; “Uma coisa aprendi em uma longa vida: que toda a
nossa ciência, medida em relação à realidade, é primitiva e infantil – e ainda assim
é a coisa mais preciosa que temos.”7 O conhecimento científico é diferente da
sabedoria adquirida por outros modos de investigação como como senso comum,
fé, autoridade e intuição. Essas diferenças, que explicam a maior confiabilidade
da ciência, são consideradas nesta seção.
c2 = a2 + b2
Y = ƒ(Xi )
retorno lucrativo de uma regra TA, não pode provar logicamente que a regra
poder preditivo, essa mesma evidência pode ser usada para refutar logicamente
(contradizer) a afirmação de que a regra é desprovida de poder preditivo. Por
a Lei da Não Contradição, isso indiretamente prova que a regra possui poder preditivo. Esse
método de provar leis empíricas, chamado de
método de prova indireta ou prova por contradição, é a base lógica da
O método científico.
Proposições e Argumentos
A inferência lógica assume duas formas distintas: dedução e indução. Nós
considerará cada um separadamente e, em seguida, verá como eles são usados juntos em
a estrutura lógica da ciência moderna, a teoria hipotético-dedutiva
método. No entanto, antes de considerar essas formas de inferência, algumas definições
são necessárias.
Lógica Dedutiva
Como mencionado anteriormente, existem duas formas de lógica, dedutiva e indutiva. Esta
seção considera a lógica dedutiva; o próximo considera indutivo.
Observe que a primeira premissa do argumento estabelece uma relação entre duas
categorias, humanos e mortais: Todos os humanos são mortais. o
segunda premissa faz uma declaração sobre um determinado membro individual
da primeira categoria: Sócrates é um humano. Isso força as conclusões
que esse indivíduo também deve ser membro da segunda categoria:
Sócrates é mortal.
A forma geral de um silogismo categórico é a seguinte:
CARROS
Esportes
Carros
são sonoros. O silogismo categórico que se segue tem forma válida porque sua conclusão é
logicamente compelida por suas premissas, mas suas premissas e conclusão são claramente
falsas.
Sócrates é humano.
Como a validade não tem nada a ver com questões de fato, a validade pode ser melhor
demonstrada com argumentos ou diagramas de argumentos, chamados círculos de Euler, que
não fazem nenhuma referência factual. Em um diagrama de Euler, o conjunto de elementos que
compõem uma categoria é representado por um círculo. Para mostrar que uma categoria, como
carros esportivos, é um subconjunto da categoria mais geral – carros em geral – o círculo que
representa os carros esportivos está dentro do círculo maior que representa os carros. Consulte
a Figura 3.2.
A Figura 3.3 deixa claro por que o argumento 1 é válido, mas o argumento 2 não.
O argumento 1 é válido porque sua conclusão, X é um B, segue necessariamente (isto é, é
compelido por) suas premissas. No entanto, o Argumento 2 não é válido porque sua conclusão,
X é um A, não é logicamente compelida por suas premissas. X pode pertencer à categoria A,
mas não necessariamente. Os diagramas de Euler retratam a validade com mais força do que o
próprio argumento porque o argumento por si só requer algum pensamento.
Argumento 1
Todos os A's são B's.
X é um A.
Portanto, X é um B.
Machine Translated by Google
Argumento 1 Argumento 2
Válido Inválido
X é um A. X é um B.
Portanto, X é um B. Portanto, X é um A.
Categoria B Categoria B
Categoria A X Categoria A
X
Argumento 2
Todos os A's são B's.
X é um B.
Portanto, X é um A.
Assim como o silogismo categórico, o silogismo condicional também é composto por três
proposições: duas premissas e uma conclusão. É assim chamado porque sua primeira premissa é uma
proposição condicional.
Uma proposição condicional é uma declaração composta que combina duas proposições simples
usando as palavras If-then. A proposição que se segue a if é chamada de cláusula antecedente e a
proposição que segue então é chamada de cláusula conseqüente . A forma geral de uma proposição
condicional é
Por exemplo:
Se a regra TA tiver poder preditivo, sua taxa de retorno testada será superior a zero.
Nosso objetivo final será estabelecer a verdade da cláusula antecedente dessas proposições
condicionais como no exemplo anterior. Como ficará claro, o caminho para estabelecer sua
verdade é indireto!
A segunda premissa de um silogismo condicional é uma proposição que afirma ou nega a
verdade da oração antecedente ou da oração consequente da primeira premissa. Referindo-se
ao exemplo anterior, a segunda premissa pode ser uma das quatro seguintes afirmações:
Afirmando o antecedente:
Premissa 1: Se for um cachorro, então tem quatro patas.
Premissa 2: É um cachorro.
Se A, então B.
Não B.
Portanto, não A.
Observe que essa forma de argumento usa evidências (a criatura não tem quatro pernas)
para provar que o antecedente (é um cachorro) é falso. É essa forma de raciocínio que é usada
na ciência para provar que uma hipótese é falsa. A hipótese desempenha o papel do antecedente.
Nós hipotetizamos que a criatura é um cachorro. A cláusula consequente prevê o que será
observado se a hipótese for verdadeira. Ou seja, se a criatura é realmente um cachorro, então,
quando for observada, será vista como possuidora de quatro patas. Em outras palavras, a
proposição condicional, Se A, então B, prediz que B seria observado em um experimento se a
hipótese (A) fosse de fato verdadeira. A segunda premissa afirma que quando a observação foi
feita, a observação contradisse a previsão, ou seja, B não foi observado. Dado isso, podemos
deduzir validamente que a hipótese A é falsa.
Como será mostrado no devido tempo, se pudermos provar que a hipótese A é falsa,
podemos provar indiretamente que alguma outra hipótese é verdadeira. Essa outra hipótese é o
novo conhecimento que desejamos estabelecer como verdadeiro, por exemplo, que uma nova
vacina é mais eficaz do que um placebo ou que alguma regra de AT prevê mais efetivamente do
que um sinal gerado aleatoriamente.
Forma inválida do silogismo condicional. Uma razão importante para usar a lógica formal é a
dificuldade que as pessoas muitas vezes têm ao raciocinar informalmente sobre silogismos
condicionais. Consistente com os numerosos preconceitos e ilusões discutidos no Capítulo 2,
estudos psicológicos13 mostraram que as pessoas tendem a cometer duas falácias ao raciocinar
sobre proposições condicionais: a falácia de afirmar o consequente e a falácia de negar o
antecedente. Um exemplo da falácia de afirmar o consequente é
O fato de uma criatura ter quatro patas certamente não leva à conclusão de que a criatura
seja um cachorro. Pode ser um cachorro. A evidência é consistente com o fato de que é um cão.
No entanto, a evidência também é consistente com outras conclusões. Poderia facilmente ser
uma vaca, um cavalo ou
Machine Translated by Google
qualquer outra criatura de quatro patas. A falácia de afirmar o consequente tem a forma geral:
Essa falácia é um erro muito comum no raciocínio científico pobre e cometido em muitos
artigos sobre AT. Considere o seguinte silogismo, que comete a falácia de afirmar o consequente.
Premissa 1: Se a regra de AT X tem poder preditivo, então deve gerar lucros em um teste de
retorno.
O fato de uma criatura não ser um cachorro não impede que ela tenha quatro patas. A forma
geral desta falácia é
Em abreviação lógica
Se A, então B.
Não A.
Portanto, não B.
Argumentos inválidos podem ser difíceis de perceber quando dizem respeito a assuntos
complexos. A melhor maneira de revelá-los é conectar itens comuns para A e B e ver se a
conclusão segue das premissas.
As Figuras 3.4 e 3.5 resumem a discussão anterior do silogismo condicional.
Isso não visa minimizar ou banalizar a dedução, mas esclarecer seu papel. Pode ser que
uma conclusão implícita nas premissas esteja longe de ser óbvia. Grandes descobertas
matemáticas são exatamente isso – a revelação de verdades que estavam implícitas nos axiomas
de um sistema matemático, mas que não haviam sido compreendidas antes de serem provadas.
Tal foi o caso da tão divulgada prova do último teorema de Fermat. Foi primeiro
Válido Inválido
Se A, então B. Se A, então B.
UMA. Não A.
Portanto, B. Portanto, não B.
Se A, então B. Se A, então B.
Não ser. B.
Portanto, não A. Portanto, A.
Válido Inválido
Se for um cachorro, então tem 4 patas. Se for um cachorro, então tem 4 patas.
É um cão. Não é um cachorro.
Portanto, tem 4 pernas. Portanto, não 4 pernas.
Se for um cachorro, então tem 4 patas. Se for um cachorro, então tem 4 patas.
Pernas não iguais a 4. Possui 4 pernas.
Portanto, não um cão. Portanto cão.
sugerida na margem de um livro em 1665, mas não comprovada até 1994, por An desenhou
Wiles e Richard Taylor.
Lógica Indutiva
A indução é a lógica da descoberta. Tem como objetivo revelar novos conhecimentos sobre o
mundo indo além do conhecimento contido nas premissas de um argumento indutivo. No
entanto, esse novo conhecimento tem um preço: a incerteza. As conclusões alcançadas por
indução são inerentemente incertas. Ou seja, elas só podem ser verdadeiras com algum grau
de probabilidade.
Assim, a noção de probabilidade está intimamente ligada à indução.
A indução procede de maneira oposta à dedução. Vimos que a dedução progride de
uma premissa que expressa uma verdade geral que se acredita se aplicar a um número
ilimitado de instâncias, Todos os homens são mortais para uma conclusão sobre uma
instância específica Sócrates é mortal. Em contraste, o raciocínio indutivo move-se ou, melhor
dizendo, salta de uma premissa baseada em um número limitado de instâncias observadas
para uma conclusão geral sobre um número ilimitado de instâncias semelhantes, mas ainda
não observadas. Assim, esta forma de inferência é muitas vezes referida como generalização
indutiva. É saltando além do que foi experimentado diretamente pela observação que a
indução incorre em incerteza – a possibilidade de que sua conclusão possa estar errada.
A conclusão, neste exemplo, é chamada de generalização universal, pois afirma que todos
os membros da classe cão possuem o atributo quatro patas. Generalizações universais têm a
forma
Todos os X são Y.
ou
As generalizações não precisam ser universais. Generalizações não universais têm a forma
ou
ou
A FILOSOFIA DA CIÊNCIA
A filosofia da ciência busca entender como e por que a ciência funciona. Explica coisas como: a
natureza das proposições científicas e como elas diferem das proposições não científicas e
pseudocientíficas; a forma como o conhecimento científico é produzido; como a ciência explica,
prevê e, por meio da tecnologia, aproveita a natureza; os meios para determinar a validade do
conhecimento científico; a formulação e utilização do método científico; e os tipos de raciocínio
usados para chegar a conclusões.17 Que o método científico é uma das maiores invenções do
homem e é de longe o método mais eficaz para adquirir conhecimento objetivo sobre o mundo
natural é inquestionável. “A parte do mundo conhecida como Oeste Industrial poderia, em sua
totalidade, ser vista como um monumento à Revolução Científica. . . .”18 A capacidade da
humanidade de prever e controlar o mundo natural melhorou mais nos últimos 400 anos, desde
o início da revolução científica, do que nos 150.000 anos anteriores em que os humanos
modernos, homo sapiens, caminharam sobre a face da Terra. .
Por mais estranho que pareça, a invenção do método científico e seus primeiros frutos
vieram antes que se entendesse por que o método funcionava tão bem. Essa percepção veio
gradualmente, ao longo de vários séculos, à medida que cientistas praticantes e seus antigos
críticos, os filósofos da ciência, lutaram para aperfeiçoar o método e, paralelamente,
desenvolveram uma compreensão de como e por que ele funcionava.
O mero fato de que o método científico funcionava não era suficiente. Foi visto como
necessário entender o porquê. O que os filósofos acharam tão irritante foi a seguinte aparente
contradição. De um lado estavam as grandes vitórias da ciência, como as leis do movimento e
da gravidade de Newton e o crescente controle tecnológico da humanidade sobre a natureza.
Por outro, estava o fato de que o conhecimento científico era inerentemente incerto, porque as
conclusões obtidas por indução lógica eram inerentemente incertas.
Como poderia tanto conhecimento útil resultar de um método de inferência tão falho?
O entusiasmo de Bacon
Sem convite, os filósofos metem o nariz em todos os tipos de assuntos.
É a natureza deles. Eles nos dizem como agir (ética), como os governos devem
regra (filosofia política), o que é belo (estética) e de maior
nos interessa, o que constitui conhecimento válido (epistemologia) e como
devemos ir atrás dele (filosofia da ciência).
A revolução científica foi, em parte, uma revolta contra a ciência aristotélica. Os gregos
consideravam o mundo físico como uma fonte não confiável de
verdade. Segundo Platão, mentor de Aristóteles, o mundo era apenas um
cópia defeituosa da verdade e perfeição que existia no mundo das Formas,
um reino metafísico não material, onde os arquétipos do cão perfeito,
a árvore perfeita, e todas as outras coisas imagináveis poderiam ser encontradas.
Quando a revolta contra essa visão da realidade finalmente chegou, foi dura
e incessante.19 A nova escola de pensamento, o empirismo,
rejeitou o paradigma grego. Alegou que, não só o natural
mundo digno de estudo, mas essa observação cuidadosa poderia revelar sua
verdades. Um pioneiro do empirismo e talvez o primeiro filósofo da ciência foi Francis Bacon
(1561-1626). “A natureza, para Bacon era um
livro que não poderia ser mal interpretado por uma mente sem preconceitos” .
sua famosa obra Novem Organum (a nova ferramenta) Bacon exaltou a
poder de observação e indução. Ele considerou a ciência como um
prática racional objetiva que poderia confirmar ou falsificar conclusivamente
conhecimento simplesmente observando sem preconceitos ou preconceitos e então
generalizando a partir dessas observações. Em muitas situações, essa abordagem parecia
trabalhar.
No entanto, o empirismo não foi a ferramenta perfeita para Bacon e seus discípulos
reivindicado, e os filósofos fizeram questão de dizer por quê. Primeiro, eles
apontou que o empirismo, um empreendimento baseado na observação, repousava em uma
suposição crucial que não pôde ser confirmada pela observação, a suposição de que a
natureza era uniforme em todo o tempo e espaço. Essa suposição foi
crítico para justificar a posição dos empiristas de que se uma lei científica fosse observada
para valer aqui e agora, ela também valeria em todos os lugares e
para todo sempre. Porque a uniformidade da suposição da natureza não podia ser
confirmada pela observação, tinha que ser aceita com fé. Em segundo lugar, a ciência muitas vezes
lida com fenômenos e conceitos que desafiam a observação direta:
estrutura, a força da gravidade e os campos elétricos. Embora seus efeitos sejam
observáveis, essas construções não poderiam ser alcançadas exclusivamente por
observação e indução. Eles são mais bem entendidos como invenções humanas que
explicar e prever, em vez de realidades físicas observáveis.
Machine Translated by Google
A dúvida de Descartes
Se os filósofos são bons para alguma coisa, está levantando dúvidas, e ninguém foi
melhor do que René Descartes (1596-1650). Considerado o pai da filosofia moderna e figura-
chave no nascimento da ciência, Descartes
O ceticismo de Bacon pelo conhecimento autoritário dos gregos e dos
dogma da Igreja Romana. No entanto, Descartes era tão cético quanto a
as afirmações feitas pelos empiristas sobre o poder de observação e generalização indutiva.
Sua famosa expressão “Penso, logo existo”
expressou a posição de que a ciência deve começar por duvidar de tudo, exceto da existência
da pessoa que experimenta a dúvida. A partir desse ponto
de solidez, o conhecimento deve ser construído puramente pelo raciocínio dedutivo sem ser
contaminado por observações propensas a erros feitas com os cinco sentidos imperfeitos.
Se a hipótese for verdadeira, então observações futuras específicas são previstas para
ocorrer.
X prevê Y.
ou
X traz Y.
Se X, então Y.
Não Y.
Se X, então Y.
Y.
Inválido: Portanto, X.
O fato de a previsão ter sido confirmada apenas oferece uma confirmação provisória
da hipótese. A hipótese sobrevive por enquanto, mas
testes mais rigorosos certamente seguirão.
Whewell concordou com Hume que a conjectura indutiva era um hábito de
pensamento humano, mas o hábito que Hume tanto menosprezou Whewell
tão frutífera, embora misteriosa. Ele foi incapaz de explicar o mental
processos que deram origem a tais pensamentos criativos, embora ele acreditasse na
generalização dutiva, fazia parte disso. Ele chamou a capacidade de conjurar uma
hipótese de um talento inventivo inexplicável, mas crucial, porque,
sem uma hipótese, um conjunto de observações não passa de um
coleção desconexa de fatos que não podiam prever nem explicar.
No entanto, com um vieram os avanços da ciência.
Machine Translated by Google
Se a hipótese H for verdadeira, então a evidência E está prevista para ocorrer sob
condições especificadas (por exemplo, teste retroativo de uma regra TA).
A evidência E não ocorreu nas condições especificadas.
Portanto, a hipótese H é falsa.
Machine Translated by Google
Ao assumir essa postura, Popper desafiou a visão predominante defendida por uma
escola de filosofia chamada positivismo lógico. Assim como Francisco
Bacon havia se revoltado contra as restrições da tradição grega, Popper
estava em revolta contra o Círculo de Viena, o lar do positivismo lógico.
Os positivistas lógicos acreditavam que as observações poderiam ser usadas para provar
que as hipóteses eram verdadeiras. Popper se opôs, dizendo que as evidências observadas
só poderia ser usado para provar uma hipótese falsa. A ciência era um detector de
mentiras, não um detector de verdade.
Popper justificou seu método, chamado falsificacionismo, como segue. UMA
determinado conjunto de observações pode ser explicado ou é consistente com inúmeras
hipóteses. Portanto, os dados observados, por si só, não podem nos ajudar a decidir qual
dessas hipóteses é mais provavelmente correta.27 Suponha que os dados
é que um dos meus sapatos está faltando. Uma hipótese que pode explicar isso
A observação é que sou uma governanta desorganizada que está sempre perdendo as
coisas. Outra hipótese, igualmente consistente com a observação de um sapato
desaparecido, seria a de que minha casa foi assaltada por um
ladrão de uma perna só que só tinha uso para um sapato. De fato, um número infinito
de hipóteses poderiam ser propostas que são consistentes com (explicar) a
sapato faltando.
Já vimos que os dados não podem ser usados logicamente para deduzir a
verdade de uma hipótese. Tentativas de fazê-lo cometem a falácia de afirmar
o conseqüente.28 Entretanto, e esta é a chave para o método de falsificação de Popper,
os dados podem ser usados para deduzir validamente a falsidade de uma hipótese pela
negação do conseqüente. Em outras palavras, a comprovação negativa
pode ser usado para revelar uma explicação falsa. Por exemplo, encontrar o outro
sapato seria uma evidência que falsificaria a hipótese do ladrão de uma perna só.
O argumento lógico é o seguinte:
Premissa 1: Se é verdade que todos os cisnes são brancos, então todas as futuras
observações de cisnes serão brancas.
Premissa 2: Observa-se um cisne não branco.
A forma geral de argumento usada para testar uma hipótese sob o método de falsificação
de Popper é:
Como será visto nos Capítulos 4 e 5, essa é a lógica usada para testar hipóteses
estatísticas.
o conhecimento científico é provisório. Qualquer que seja a teoria atualmente aceita como
correto é sempre alvo de desafio empírico e a possibilidade de sua
sendo substituído por uma teoria mais correta sempre existe. Hoje Einstein
A Teoria da Relatividade é tida como correta. Embora suas previsões tenham passado por
inúmeros testes, amanhã um novo teste pode mostrar que é falso ou completo. Assim, a ciência
é um ciclo interminável de conjecturas, previsões,
testes, falsificações e novas conjecturas. É assim que o corpo de
conhecimento científico evolui continuamente em direção a um conhecimento cada vez mais preciso.
representação da realidade objetiva.
Na maioria dos casos, quando as teorias mais antigas são substituídas, não é porque
eles são provados falsos tanto quanto se mostram incompletos. Quando
As leis do movimento de Newton foram substituídas pelas teorias de Einstein,
a física ainda estava quase correta. Dentro do domínio limitado da experiência cotidiana, onde
os corpos viajam em velocidades normais (aproximadamente menos de
90 por cento da velocidade da luz), as leis de Newton ainda eram verdadeiras. No entanto,
A teoria de Einstein estava correta em um domínio mais amplo, que não incluía apenas
os movimentos de objetos cotidianos, mas também objetos viajando até e incluindo a velocidade
da luz. Em outras palavras, a teoria de Einstein, que construiu
sobre a de Newton, era mais geral e assim a subsumia.
O resultado líquido da construção de ideias anteriores de sucesso (aquelas cujas
previsões foram confirmadas) e podar ideias erradas (aquelas
cujas previsões foram falsificadas) é um corpo de conhecimento que melhora continuamente.
Isso não pode ser dito de qualquer outra disciplina intelectual,
onde novos estilos são introduzidos, mas onde o mais novo não é necessariamente
Melhor. O fato de um cientista em qualquer campo da ciência saber mais hoje
do que até mesmo o melhor que viveu há apenas uma geração está além do debate.
No entanto, se o gangsta rap é melhor ou pior do que Mozart poderia ser
argumentou sem parar.
observações ditadas podem de fato estar no futuro. Em vez disso, o termo previsão
refere-se ao fato de que os resultados das observações ainda não são conhecidos.
As previsões feitas em ciências históricas, como a geologia, referem-se a
eventos que já ocorreram talvez eras atrás. Por exemplo, a teoria dominante da
geologia, a tectônica de placas, pode prever que
formações que foram criadas há milhões de anos seriam observadas se
uma investigação de algum local específico deveria ser realizada amanhã. Em finanças,
a hipótese do mercado eficiente prevê que se uma regra de AT
se fossem testados, seus lucros, após ajuste pelo risco, não excederiam o retorno
ajustado ao risco do índice de mercado.
Uma vez que a previsão tenha sido deduzida da hipótese, as operações
necessárias para produzir as novas observações são realizadas. Elas
pode envolver uma visita ao local da formação geológica prevista ou
o teste de retorno da regra TA. Então, torna-se uma questão de comparar a previsão
com a observação. Medir o grau de concordância entre observação e previsão e tomar
a decisão sobre se o
hipótese é deixada intacta ou falsificada é o que trata a análise estatística.
O que é importante do ponto de vista da ciência é que a hipótese é capaz de fazer
previsões sobre observações cujos resultados são
ainda não conhecido. Isso é o que permite que uma hipótese seja testada. Observações
cujos resultados são conhecidos não podem servir a esse propósito porque é sempre
possível criar uma explicação, após o fato, que seja consistente
com as referidas observações. Portanto, as atividades que não podem ou não querem
fazer previsões testáveis, abrindo-as assim à possibilidade de falsificação, não se
qualificam como científicas.
previsões fiáveis essencialmente dizem que qualquer resultado pode acontecer. Por exemplo,
uma previsão do tempo que diz: estará nublado ou ensolarado, úmido ou seco,
ventoso ou calmo, frio ou quente, permite todos os resultados possíveis. Não pode ser
falsificado. A única coisa boa que se pode dizer sobre isso é que sua
a falta de informação é completamente óbvia.
O problema é que pseudocientistas e pseudoprevisores são
inteligente sobre a maneira como eles formulam suas previsões de modo a obscurecer suas
falta de informação e não falsificabilidade. Considere a previsão do astrólogo
“Você conhecerá um estranho alto e moreno e sua vida mudará.” este
afirmação é impossível de refutar, não importa qual seja o resultado. Você deveria
voltar para pedir um reembolso, você receberá uma de duas respostas: (1) seja paciente -
você conhecerá o estranho em breve, ou (2) você já conheceu um
estranho e sua vida é realmente diferente, mas você está alheio ao
mudança. Essas respostas não podem ser contestadas porque a previsão foi
vago. Nem afirmou quando sua vida mudaria ou de que maneira mensurável (verificável).
Isso está muito longe da previsão: “Antes das 7:00
PM da próxima quarta-feira você verá um homem usando um sapato vermelho, andando
leste na 42nd Street assobiando 'Satin Doll'”. Às 19h da próxima quarta-feira, o
evidências estarão disponíveis e você terá a oportunidade de avaliar o
previsão como verdadeira ou falsa. Mesmo que a previsão seja falsa,
foi pelo menos falsificável permitindo que você decida se futuras visitas ao as trologer valem
a pena.
Os vendedores de infomerciais que habitam a televisão tarde da noite são mestres da
afirmação sem sentido. “Usar nossa pulseira de cobre melhorará seu jogo de golfe.” O que
significa melhorar ? Como é ser
medido e quando? Tal como acontece com a previsão do astrólogo, a alegação
a imprecisão torna impossível deduzir uma previsão testável (falsificável). No entanto, é
muito fácil imaginar evidências anedóticas após o fato que sejam aparentemente
confirmatórias. “Vaca sagrada, eu me sinto muito mais
relaxado usando minha pulseira de cobre. Eu costumava ficar todo tenso antes de começar.
Agora minhas unidades parecem mais retas. Na semana passada eu quase tive um buraco
um, e eu não xingo tanto quanto costumava. Minha esposa até diz que eu
ficar mais bonito na minha roupa de golfe, e acho que meu cabelo parou
caindo." Embora afirmações sem sentido estimulem anedotas confirmatórias,
eles são protegidos de provas objetivas de falsificação. O reclamante
nunca é acertado e a alegação ganha apoio de relatos anedóticos aparentemente
confirmatórios.
Em contraste, a declaração “Usar uma pulseira de cobre aumentará
o comprimento de suas unidades em 25 jardas”, é informativo e significativo porque gera
uma previsão testável. Você acertou 100 bolas de golfe sem usar
a pulseira de cobre e determine sua distância média. O próximo dia,
faça a mesma coisa enquanto estiver usando uma pulseira de cobre e obtenha sua média
distância. Repita esta série alternada de experimentos por 10 dias. Se o
Machine Translated by Google
drives em dias de pulseira de cobre são menos de 25 jardas melhores, evidências refutando
a alegação estariam em mãos.
Além disso, como muitas das hipóteses da ciência são probabilísticas, como seria o
caso da AT, uma observação que contradiga a hipótese nunca pode ser tomada como prova
certa de falsidade. A observação aberrante pode ser uma ocorrência casual. É aqui que a
análise estatística entra em cena. Como será apontado nos Capítulos 4 e 5, a decisão de
rejeitar uma hipótese com base em evidências observadas corre uma certa probabilidade de
estar errada. A estatística nos ajuda a quantificar essa probabilidade.
Apesar dessas e outras limitações que vão além de nossas preocupações aqui, as
contribuições de Popper para o desenvolvimento do método científico têm sido enormes.
A versão semiforte da EMH faz uma afirmação menos informativa e mais restrita, dizendo
que o mercado só é eficiente no que diz respeito ao público
em formação. Esta versão do EMH pode ser falsificada com qualquer evidência de
retornos superiores ao mercado produzidos por uma estratégia de investimento baseada em
dados fundamentais públicos (índices P/L, valores contábeis e assim por diante) ou dados
técnicos (classificação de força relativa, índices de rotatividade de volume e assim por diante). Dentro
efeito, a EMH semiforte nega a utilidade dos fundamentos e técnicas
análise.
Finalmente temos EMH fraco, o que torna a afirmação menos ousada e menos formativa.
Afirma que o mercado só é eficiente no que diz respeito a
preço passado, volume e outros dados técnicos. Como o EMH fraco apenas nega a utilidade da
análise técnica, ele apresenta o alvo menor e mais difícil de ser atingido por possíveis
falsificadores. Sua única esperança seria apresentar
evidência que mostra os retornos excedentes gerados por uma estratégia de investimento
baseado em TA.
Porque EMH fraco é a versão mais difícil de falsificar e é, portanto, a
menos provável de ser provada falsa, sua falsificação também geraria a
mais surpresa. Em outras palavras, de todas as versões de EMH, a falsificação de EMH
fraco geraria o maior aumento de conhecimento. Isso aponta uma
princípio geral da ciência: os maiores ganhos em conhecimento ocorrem quando
as hipóteses mais tímidas e mais difíceis de falsificar são falsificadas. Um teste mostrando que
informações privilegiadas, como a dica de um presidente corporativo, foram
capaz de gerar retornos excessivos (ou seja, falsificação de EMH forte)
não seria surpreendente nem aprenderíamos muito com isso. Grande coisa, então informações
secundárias geram lucros. O que mais é novo? Em contraste, a falsificação de EMH fraco seria
um evento altamente informativo tanto para AT
praticantes e apoiadores da EMH. Não só significaria a destruição final da HEM, um importante
princípio de finanças por mais de 40 anos,
mas seria uma importante confirmação da validade da AT. Ambos representariam grandes
mudanças no estado atual do conhecimento.
Assim, pode-se dizer que o ganho de conhecimento que ocorre com a falsificação de uma
hipótese está inversamente relacionado ao seu conteúdo informacional.
Da mesma forma, pode-se dizer que o conhecimento adquirido pela confirmação de um
hipótese (observações consistentes com suas previsões) está diretamente relacionada ao
conteúdo de informação da hipótese. O mais informativo
hipóteses fazem as mais audaciosas alegações de novos conhecimentos. Eles tentam trazer
para dentro do domínio da compreensão a mais ampla gama de
fenômenos com o maior grau de precisão e, ao mesmo tempo,
envolvendo o menor número de suposições. Quando tal hipótese é falsificada,
não ficamos muito surpresos nem aprendemos muito. Poucos esperariam que a hipótese fosse
confirmada, exceto talvez o cientista ousado que a propôs. Por exemplo, suponha que uma
nova e ousada teoria da física seja colocada
para frente, uma de cujas previsões é que é possível construir um anti
Machine Translated by Google
Assim, a ciência procede da seguinte forma. Toda vez que uma nova hipótese
ousada é apresentada, ela gera uma afirmação oposta, a hipótese nula. O nulo é
tão tímido quanto a nova hipótese é ousada. A ousada hipótese de Jonas Salk de
que sua vacina preveniria a pólio melhor do que um placebo gerou uma afirmação
concorrente, a hipótese nula. Fez a tímida previsão de que a capacidade da vacina
de prevenir a infecção não seria melhor do que um placebo. Esta foi uma previsão
tímida porque todas as tentativas anteriores de desenvolver uma vacina contra a
poliomielite falharam. Essas duas reivindicações concorrentes não deixaram um
meio-termo. Se uma hipótese pudesse ser falsificada, pela Lei do Meio Excluído
da lógica, sabemos que a outra deve ser verdadeira. A evidência experimental de
Salk deixou claro que a taxa de infecção entre aqueles que receberam a vacina
real foi significativamente menor do que aqueles que receberam o placebo. Em
outras palavras, foi suficiente para falsificar a previsão do nulo. Este foi um
resultado surpreendente que representou um enorme aumento no conhecimento médico!
Além disso, se existisse um oitavo planeta, uma das leis de Newton preveria o ponto exato
no céu onde o novo planeta seria observável.
Esta foi uma previsão ousada, informativa e altamente falsificável que colocou
as leis de Newton para um teste mais rigoroso. A espantosa previsão feita
por Adams e Leverrier sobre onde o novo planeta apareceria no
céu foi de fato confirmado em 1846 com a descoberta de Netuno. Elas
salvou as leis de Newton da falsificação ao demonstrar que a teoria
não só foi capaz de explicar o comportamento desviante de Urano, mas também foi
capaz de fazer uma previsão altamente precisa. Esta é a maneira kosher de reter
uma teoria quando confrontada com observações dissonantes.
No final, porém, as leis de Newton provaram ser provisoriamente verdadeiras, pois
é, em última análise, o caso de todas as leis e teorias. Embora as leis de Newton
funcionou perfeitamente por mais de 200 anos, no início do século XX observações
astronômicas mais precisas foram consideradas verdadeiramente consistentes com as
previsões da teoria. A velha teoria tinha finalmente sido
falsificado e era hora de um novo. Em 1921, Albert Einstein respondeu
adequadamente, apresentando sua nova e mais informativa Teoria da Relatividade Geral.
Hoje, quase cem anos depois, a teoria de Einstein
sobreviveu a todas as tentativas de falsificá-lo.
A teoria de Newton qualificou-se como científica porque estava aberta à refutação
empírica. Na verdade, a teoria de Newton não estava tão errada quanto
incompleto. A Teoria Geral da Relatividade de Einstein não só explicava
todos os fenômenos cobertos pelo modelo newtoniano, mas acomodava as novas
observações que conflitavam com as mais limitadas teorias de Newton.
teoria. É assim que a ciência progride. Longevidade e antiguidade significam
nada. Precisão preditiva e poder explicativo são tudo.
O caso de Adams e Leverier deixa claro por que as reivindicações devem ser abertas
à refutação empírica. A falsificação por si só dá ao conhecimento científico uma
grande vantagem sobre a sabedoria convencional. A capacidade de descartar falsos ou
ideias incompletas e substituí-las por outras cada vez mais informativas produz um corpo de
conhecimento autocorretivo e em estado contínuo.
de melhoria. Isso, por sua vez, fornece uma base estável sobre a qual novas idéias
podem ser erigidas que alcancem níveis cada vez mais elevados de compreensão. Intelectual
atividades que não têm nenhum procedimento para eliminar o conhecimento errôneo
inevitavelmente ficam atoladas no absurdo. Este é precisamente o problema com
a versão popular do TA.
Agora vamos considerar um exemplo de uma resposta imprópria à falsificação. Ocorre
no campo das finanças. A injeção de ciência nas finanças é relativamente recente. Talvez
isso explique a defensiva,
resposta não científica daqueles que defendem a hipótese dos mercados eficientes. Quando
as observações colidiram com sua teoria favorita, elas
tentou salvá-lo da falsificação reduzindo seu conteúdo de informação. Como
mencionado anteriormente, sua versão menos informativa, EMH fraco, prevê
Machine Translated by Google
que as estratégias de investimento baseadas no TA32 não serão capazes de obter retornos
ajustados ao risco que superem o índice de mercado. Quando os apoiadores da EMH foram
confrontados com estudos que mostram que as estratégias baseadas em AT foram capazes de ganhar
retornos excedentes,33 eles responderam tentando imunizar sua teoria
da falsificação. Eles fizeram isso inventando novos fatores de risco e
alegou que os retornos excedentes auferidos pela AT eram meramente uma compensação
pelos riscos inerentes à prossecução de tal estratégia. Em outras palavras, a HEM
os defensores alegaram que os investidores que seguiram a estratégia de AT estavam se
expondo a um risco específico dessa estratégia. Isso permitiu que o defensor da EMH
caracterizasse os retornos da estratégia de AT como
não-batimento do mercado. Lembre-se que a EMH não afirma que os rendimentos
superior ao mercado é impossível. Diz apenas que retornos mais altos acarretam a assunção
de risco adicional. Se os retornos obtidos pelo TA
estratégia eram de fato uma compensação por assumir um risco mais alto, então a EMH
permaneceria intacto apesar dos estudos que mostram que a estratégia de AT ganha
retorno superior ao índice de mercado.
Houve um problema com a maneira como os apoiadores da EMH fizeram isso. Elas
elaborou o fator de risco após os estudos de AT terem sido realizados.34 Isso
não é ciência kosher. Teria sido cientificamente correto se EMH
definiu o fator de risco antes do estudo e previu que um
teste do método TA geraria o que parecia ser um sucesso de mercado
retorna. Se tivessem feito isso, o status da EMH teria sido reforçado com uma previsão bem-
sucedida. Em vez disso, os apoiadores da EMH levaram o
caminho baixo para salvar sua hipótese favorita, dando a si mesmos a licença para inventar
um novo fator de risco a qualquer momento que precisassem explicar
descobertas que conflitavam com sua teoria favorecida. Ao fazê-lo, os apoiadores da EMH
tornaram sua hipótese infalsificável, esvaziando-a de qualquer
conteúdo da informação.
O precedente para este método de imunização regressivo ao conhecimento
a hipótese EMH contra a falsificação já havia sido estabelecida
por defesas anteriores defeituosas da EMH. Estes anteriores, e igualmente equivocados,
esforços para salvar EMH foram em resposta a estudos que mostraram que
informações fundamentais públicas, como a relação preço-livro e PE
poderia ser usado para gerar retornos excedentes.35 Em resposta a isso em evidência
conveniente, os defensores da EMH alegaram que os baixos índices preço-livro e baixos
índices P/L eram apenas sinais de ações com valores anormalmente
alto risco. Em outras palavras, o fato de o preço de uma ação ser baixo em relação ao
seu valor contábil é um indicativo de que a empresa está enfrentando dificuldades. Do
Claro, esse raciocínio é circular. O que é fundamental aqui é o fato de que a EMH
os defensores não definiram baixo preço para livro ou baixo PE como fatores de risco em
avanço dos estudos mostrando que os estoques com essas características foram capazes de
obter retornos excedentes. Se os teóricos da EMH tivessem feito isso, eles teriam
Machine Translated by Google
O RESULTADO FINAL:
O MÉTODO HIPOTÉTICO-DEDUTIVO
Alguns diriam que não existe o método científico.37 “O método científico, na medida em que
é um método, nada mais é do que fazer o próprio
malditamente com a mente não há limites.”38 Em sua essência, é a solução inteligente de
problemas.
O método de resolução de problemas usado na ciência hoje
conhecido como método hipotético-dedutivo. É comumente descrito como
cinco estágios: observação, hipótese, previsão, verificação e
conclusão. “No trabalho científico real, esses estágios estão tão entrelaçados que
seria difícil encaixar a história de qualquer investigação científica neste
esquema rígido. Às vezes, os diferentes estágios são mesclados ou borrados, e
frequentemente eles não ocorrem na sequência listada.”39 Em vez disso, é uma
maneira de pensar sobre o processo.
O método hipotético-dedutivo foi iniciado por Newton no
século XVII, mas não foi formalmente nomeado até que as contribuições de Popper foram
introduzidas. É o resultado de várias centenas de anos de
disputa entre cientistas e filósofos. O método integra tanto
lógica indutiva e dedutiva, atentando para seus limites individuais enquanto
aproveitando seus respectivos poderes.
Os Cinco Estágios
Um exemplo de TA
O seguinte é um exemplo do método hipotético-dedutivo como seria aplicado para testar
uma nova ideia sobre análise técnica.
Argumento 1
Premissa 1: Se 200-H for verdadeiro, então um teste de retorno será lucrativo.
Premissa 2: O teste de retorno foi lucrativo.
Conclusão inválida: Portanto, 200-H é verdadeiro. (falácia de afirmar o
consequente)
Machine Translated by Google
Argumento 2
Premissa 1: Se 200-H for verdadeiro, então um teste de retorno será lucrativo.
Premissa 2: O back test NÃO foi lucrativo.
Conclusão válida: Portanto, 200-H é falso.
No entanto, nosso objetivo é provar a verdade de 200-H. Passear
este problema lógico, suponha que tivéssemos formulado uma hipótese nula em
estágio 2, especificamente, penetrações ascendentes de uma média móvel de 200
dias não geram lucros nos três meses seguintes. Vamos nos referir a isso como
Null-200. A partir disso podemos formular o seguinte
proposição condicional: Se Null-200 for verdadeiro, então um back-test será
NÃO seja lucrativo. Se o backtest for lucrativo, nós
pode validamente argumentar que a hipótese nula foi falsificada (falsificando
o consequente). Pela Lei do Terceiro Excluído, ou 200-H é
true ou Null-200 é true. Não há meio termo; não há outro
hipótese possível. Assim, refutando o nulo, teremos provado indiretamente que 200-H
é verdadeiro. Assim, temos o seguinte silogismo condicional:
Premissa 1: Se Null-200 for verdadeiro, então o back test não será lucrativo.
A quinta fase do método hipotético-dedutivo aponta para outra importante diferença entre
ciência e não-ciência. Na ciência, observou
evidência não é tomada pelo valor de face. Em outras palavras, a implicação óbvia da
evidência pode não ser sua verdadeira implicação. As provas devem ser
submetido a uma análise rigorosa antes que uma conclusão possa ser tirada dele.
A evidência de escolha na ciência são os dados quantitativos, e a ferramenta de
escolha para tirar conclusões é a inferência estatística.
Um princípio científico importante é a preferência por explicações mais simples.
Machine Translated by Google
nações (Navalha de Okam). Como tal, hipóteses surpreendentes são dadas sérias
consideração somente após hipóteses mais comuns terem sido rejeitadas. Avistamentos
de um OVNI não são imediatamente interpretados como evidência de
uma visita alienígena. Contas mais mundanas, como raios de bola, balões meteorológicos
ou uma nova aeronave devem primeiro ser desacreditadas antes de uma invasão de
espaço sideral é levado a sério.
Assim, uma atitude científica em relação a uma regra extraordinariamente lucrativa
O teste de retorno primeiro consideraria e rejeitaria outras explicações antes de considerar
a possibilidade de que uma regra de AT significativa tenha sido descoberta. o
possíveis explicações de bom desempenho não relacionadas com a previsão de uma regra
power são boa sorte devido ao erro de amostragem (veja os Capítulos 4 e 5) e erro
sistemático devido ao viés de mineração de dados (veja o Capítulo 6).
A eliminação da AT subjetiva
Transformar um método subjetivo em uma versão objetiva não é trivial. Para ilustrar um
caso em que isso foi feito, discuto um algoritmo para a dicção automatizada de padrões de
cabeça e ombros e resultados de testes na seção “Objetivação da AT subjetiva: um exemplo”.
Machine Translated by Google
Mudança de paradigma
o exame de certificação dado pela Market Technicians Association para aspirantes a Chartered
Market Technicians (CMT) exemplifica essa tradição.
A mudança para uma abordagem objetiva baseada em evidências desafiaria
muito deste material como sem sentido ou não suficientemente apoiado
por evidências estatísticas. Muitos dos ensinamentos seguirão o caminho dos primeiros
física e astronomia gregas. Alguns métodos sobreviverão à objetificação
e testes estatísticos e garantirá uma posição em um corpo legítimo de
Conhecimento em AT.
Para que o leitor não pense que minha posição é muito dura, não estou defendendo que
o critério de falsificabilidade seja usado para cortar todas as pesquisas em AT em brotamento
métodos exatamente como eles estão sendo formulados. Muitas das teorias brilhantes
da ciência começou como idéias pré-científicas parcialmente apoiadas no lado errado da
o critério de falseabilidade. Essas idéias precisavam de tempo para se desenvolver, e uma
dia alguns se transformaram em ciência significativa. Um exemplo em AT é o novo
campo da socionomia, uma consequência da Teoria das Ondas de Elliott. Na corrente
tempo, considero esta disciplina recém-desenvolvida como pré-científica, embora
pode ter potencial para se tornar uma ciência. De acordo com uma conversa que eu
teve com o professor John Nofsinger, que está trabalhando no campo da socionomia, neste
momento a disciplina ainda não é capaz de fazer previsões testáveis. Isso exigirá a quantificação
do humor social, a chave
determinante do movimento do mercado de acordo com a socionomia.
Áreas nascentes de pesquisa como esta e outras não devem ser interrompidas
simplesmente porque não são neste momento capazes de gerar testes testáveis.
previsões. Um dia eles podem ser capazes de fazê-lo.
Um dos aspectos desafiadores de mudar a AT para uma ciência será transformar padrões
gráficos subjetivos em padrões testáveis objetivamente definidos. Esta seção apresenta um
exemplo de como dois acadêmicos
técnicos, Keving Chang e Carol Osler (C&O) objetivaram o padrão cabeça e ombros).42 Nem
todos os elementos de seu padrão estão incluídos
aqui. Em vez disso, incluí o suficiente de suas regras e os problemas
eles enfrentaram e resolveram para ilustrar os desafios de transformar um método subjetivo em
objetivo. Para mais detalhes consulte
seus artigos originais.
Descrições do padrão cabeça e ombros podem ser encontradas em muitos
textos de AT43 e são normalmente acompanhados por um diagrama semelhante ao
na Figura 3.8. Ele representa o padrão como uma sequência de preços sem ruído
balanços. Quando o padrão se manifesta na forma perfeita de um livro didático, até mesmo um
estudante iniciante de AT pode identificá-lo.
Machine Translated by Google
?
?
?
?
Cabeça e Ombros
Fundo Duplo
?
etc.
?
Não S&S
Não DB
Não DB
Não
Cabeça e Ombros
S&S
Fundo Duplo
Não S&S
Não DB
Preço Cabeça
C
Deixei Certo
Ombro Ombro
UMA
E Linha do pescoço
Cruz
Anterior
Pico Sinal de venda
Linha do pescoço
B D
Anterior Deixei Certo
Cocho Cocho Cocho
Tempo
Preço
C
UMA
E
PP
X S Linha do pescoço
B D
PT
Vertical E>X&D<X
Simetria
Regra A>AeB<A Tempo
C
Preço E
S
UMA
X
B
Tempo
1. O nível de preço do pico do ombro esquerdo, ponto A, deve exceder o nível de preço do
ponto Y.
2. O nível de preços do pico do ombro direito, ponto E, deve exceder o nível de preços do ponto
X.
3. O nível de preços do vale esquerdo, ponto B, deve ser menor que o nível de preços do ponto
Y.
4. O nível de preço do vale direito, ponto D, deve ser menor que o nível de preço do ponto X.
As Figuras 3.10 e 3.11 mostram dois padrões de cabeça e ombros que seriam excluídos
porque os critérios de simetria vertical não foram satisfeitos.
Preço UMA
E
X
B
S
Tempo
um ombro não deve ser maior que 2,5 vezes a distância da cabeça ao outro ombro.
Não há nada de mágico no valor 2,5 além do que parecia razoável. Consulte a
Figura 3.12.
A Figura 3.13 é um exemplo de padrão que falha no teste de simetria horizontal.
Observe que o ombro direito está esticado demais para a direita. Um padrão com
alongamento excessivo para a esquerda também seria desqualificado.
D1 D2
Preço
C E
UMA
B D
Preço
D1 D2
C E
UMA
B
D
D2 > 2,5 D1
Tempo
A C&O também especificou uma regra que exclui estampas que demoram muito para
penetrar no decote uma vez que o ombro direito, ponto E, tenha sido formado. Tal como
acontece com outras características, este critério é definido em termos de proporções
internas do padrão em vez de um número fixo de unidades de tempo. Isso permite que
a regra seja aplicada a todos os padrões, independentemente de seu período de tempo
ou escala.
O tempo máximo permitido para o movimento do ombro direito, ponto E, até a
penetração do decote é a distância temporal que separa os dois ombros, pontos A e E.
distância do ombro direito até a penetração do decote (D4) é menor que a separação
temporal dos ombros (D3). O padrão na Figura 3.15 não se qualifica porque D4 excede
D3.
Preço Conclusão
C Regra
D4 < D3
UMA
E
Linha do pescoço
B D
D3 D4
Tempo
D3 D4
Preço
E
UMA
Linha do pescoço
B D
D4>D3
Tempo
para o filtro ziguezague é de 10 por cento. Não seria legítimo supor que
um trader sabia sobre a penetração do decote porque um declínio de 10% do ombro direito teria
sido necessário para identificar o
ombro direito do padrão cabeça e ombros. Neste exemplo, assumir um preço de entrada apenas
4% abaixo do ombro direito seria mais
favorável do que esperar por um preço 10 por cento abaixo do ombro direito, o
movimento de preços necessário para ter um padrão de cabeça e ombros totalmente formado.
Para evitar esse problema, C&O assumiu uma entrada após o ombro direito ter sido identificado
objetivamente pelo filtro ziguezague. Embora este fosse um
preço de entrada menos favorável em alguns casos, o teste anterior não foi prejudicado pelo
viés de antecipação. Menciono isso porque mostra a atenção da C&O
detalhar.
A definição de padrão de C&O também lida com várias outras questões relacionadas à
entrada e saída de posições, níveis de stop-loss e assim por diante, mas a
ponto foi feito que é possível transformar padrões gráficos subjetivos em padrões testáveis
objetivos. Os leitores podem se opor a aspectos arbitrários do padrão da C&O. Tudo muito bem
se o leitor tiver uma melhor
definição objetiva a oferecer.
Como uma verificação final de sanidade, C&O mostrou padrões que foram identificados
por seu algoritmo automatizado de cabeça e ombros para uma série de
cartistas. C&O afirmam que os grafistas concordaram que os padrões identificados
pelo algoritmo objetivo cabeça-e-ombros estava de fato em conformidade com os critérios
subjetivos de cabeça-e-ombros.
SUBCONJUNTOS DE TA
Dada a discussão anterior, a AT pode ser vista como composta por quatro subconjuntos: (1) AT
subjetiva, (2) AT objetiva com significância estatística desconhecida, (3) AT objetiva que não é
estatisticamente significativa e (4)
AT objetiva que é estatisticamente significante.
Machine Translated by Google
TESTÁVEL
NÃO Subjetivo
SIM
RIGOROSO Objetivo
NÃO Valor
AVALIAÇÃO
Desconhecido
EBTA EBTA
SIM
as regras agregarão valor quando usadas em combinação com outras regras para formar
regras complexas.
A análise técnica baseada em evidências (EBTA) refere-se aos subconjuntos (3) e
(4) – AT objetiva que foi retrotestada e submetida a análise estatística. Dada a discussão
anterior, a categorização da AT é ilustrada na Figura 3.16.
Estatística
Análise
isso não existe. O outro é o caminho da estatística, que enfrenta a incerteza de frente ao
reconhecê-la, quantificá-la e depois fazer a
melhor decisão possível diante disso. Bertrand Russell, o renomado
O matemático e filósofo britânico disse: “A incerteza, na presença
de esperanças e medos vívidos, é doloroso, mas deve ser suportado se quisermos viver
sem o apoio de contos de fadas reconfortantes.”2
Muitas pessoas desconfiam ou desdenham da análise estatística e
os estatísticos são muitas vezes retratados como nerds nerds, divorciados da realidade. Isso
aparece nas piadas. Nós ridicularizamos o que não entendemos. Há a história sobre o homem
de 1,80 m de altura que se afoga em um
lagoa com uma profundidade média de apenas dois pés. Há o conto sobre três
estatísticos que vão caçar patos. Eles avistam um pássaro voando acima. o
primeiro atira um pé muito longe para a esquerda. O segundo atira um pé longe demais para
o certo. O terceiro salta e exclama: “Conseguimos!!” Mesmo que a
erro médio foi zero, não havia pato para o jantar.
Ferramentas poderosas podem ser mal utilizadas. Os críticos costumam acusar
estatísticas são usadas para distorcer e enganar. É claro que fins semelhantes podem ser
alcançado com palavras, embora a linguagem não seja responsabilizada. Um mais racional
postura é necessária. Em vez de visualizar todas as reivindicações com base em estatísticas com
suspeita ou levando-os ao pé da letra, “uma resposta mais madura
ser aprender o suficiente sobre estatísticas para distinguir conclusões honestas e úteis de
trapaças ou tolices.”3 “Aquele que aceita estatísticas indiscriminadamente muitas vezes será
enganado desnecessariamente. Mas quem desconfia
estatísticas indiscriminadamente serão muitas vezes ignorantes desnecessariamente. O meio
O terreno que buscamos entre a desconfiança cega e a credulidade cega é um ceticismo de
mente aberta. Isso requer habilidade para interpretar dados com habilidade.”4
a regra tem poder preditivo, seria adotada. No contexto do teste de regras, a evidência que
refutaria a hipótese nula é uma taxa de retorno testada que é muito alta para ser razoavelmente
atribuída à mera sorte.
Se uma regra de AT não tiver poder preditivo, sua taxa de retorno esperada será zero
nos dados destendidos5. No entanto, em qualquer pequena amostra de dados, a lucratividade
de uma regra sem poder preditivo pode se desviar consideravelmente de zero. Esses desvios
são manifestações do acaso — boa ou má sorte.
Este fenômeno pode ser visto em um experimento de lançamento de moeda. Em um pequeno
número de lançamentos, a proporção de caras pode se desviar consideravelmente de 0,50,
que é a proporção esperada de caras em um número muito grande de lançamentos.
Geralmente, os desvios de chance de uma regra inútil de um retorno zero são pequenos.
Às vezes, no entanto, uma regra inútil gerará lucros significativos por pura sorte. Esses casos
raros podem nos levar a acreditar que uma regra de menos uso tem poder preditivo.
A melhor proteção contra ser enganado é entender até que ponto os lucros podem
resultar da sorte. Isso é melhor realizado com uma função matemática que especifica os
desvios dos lucros zero que podem ocorrer por acaso. É isso que as estatísticas podem fazer
por nós.
Essa função, chamada de função de densidade de probabilidade, fornece a probabilidade
de todos os possíveis desvios positivos ou negativos de zero. Em outras palavras, mostra o
grau em que o acaso pode fazer com que uma regra inútil gere lucros. A Figura 4.1 mostra
uma função densidade de probabilidade.6 O fato de a curva densidade estar centrada em um
valor zero reflete a afirmação da hipótese nula de que a regra tem um retorno esperado de
zero.
Probabilidade
Densidade
Na Figura 4.2, a seta indica a taxa de retorno positiva obtida por uma regra quando ela foi
testada novamente. Isso levanta a questão: a taxa de retorno observada é suficientemente
positiva para justificar a rejeição da hipótese nula de que a taxa de retorno verdadeira da regra é
zero? Se o desempenho observado estiver dentro da faixa dos desvios que provavelmente são
atribuíveis ao acaso, a evidência é considerada insuficiente para rejeitar a hipótese nula. Nesse
caso, a hipótese nula resistiu ao desafio empírico da evidência do back-test, e uma interpretação
conservadora da evidência sugeriria que a regra não tem poder preditivo.
A taxa de
retorno tão baixa
Probabilidade está bem dentro da
Densidade faixa de desempenho de chance
pequena. Desempenho tão positivo seria inconsistente com a afirmação de que a regra não
tem poder preditivo. Em outras palavras, a evidência seria suficiente para refutar a hipótese
nula. Outra maneira de pensar nisso é a seguinte: se a hipótese nula fosse verdadeira, um
nível de desempenho tão positivo teria uma baixa probabilidade de ocorrência. Essa
probabilidade é quantificada pela proporção da função densidade que se encontra em valores
iguais ou superiores ao desempenho observado. Isso é ilustrado na Figura 4.3. Observe que
o desempenho observado está na extremidade direita da curva de densidade que ocorreria
se a regra fosse desprovida de poder preditivo.
É importante entender o que essa evidência não nos diz. Não nos diz nada sobre a
probabilidade de que a hipótese nula ou a hipótese alternativa seja verdadeira. Fala apenas
da probabilidade de que a evidência possa ter ocorrido sob a suposição de que a hipótese
nula é, de fato, verdadeira. Assim, a probabilidade fala da verossimilhança da evidência, não
da veracidade da hipótese. A evidência observada que seria altamente improvável, sob a
condição de que a hipótese nula seja verdadeira, permite inferir que a hipótese nula é falsa.
Lembre-se de que, no Capítulo 3, foi mostrado que a evidência de que uma criatura tem
quatro patas não pode estabelecer conclusivamente a verdade da hipótese: A criatura é um
cachorro. Embora a evidência de quatro patas seja consistente com a hipótese de que a
criatura é um cachorro, não é suficiente para provar, dedutivamente, que a criatura é um
cachorro. Da mesma forma, embora a observação de desempenho positivo seja consistente
com a hipótese de que uma regra tem poder preditivo, não é suficiente para provar que tem.
Um argumento que tenta provar a verdade de uma hipótese com evidências observadas
Probabilidade
Densidade Taxa de retorno
tão alta
improvável de
ser devido ao acaso
Se uma regra tiver poder preditivo, ela terá um teste de retorno lucrativo.
O teste de volta foi lucrativo.
Conclusão inválida: Portanto, a regra tem poder preditivo.
No entanto, a ausência de quatro patas é suficiente para provar que a hipótese, a criatura
é um cachorro, é falsa.8 Em outras palavras, a evidência observada pode ser usada para
provar conclusivamente que uma hipótese é falsa. Tal argumento usa a forma dedutiva válida,
negação do consequente. A forma geral de um argumento, em que o consequente é negado, é
como mostrado:
Q não é verdade.
Se o retorno esperado de uma regra for igual a zero ou menor, então um backtest deve
gerar lucros razoavelmente próximos de zero.
O desempenho testado não foi razoavelmente próximo de zero; na verdade, estava
significativamente acima de zero.
Conclusão válida: Portanto, é provável que a afirmação de que o retorno esperado da
regra seja igual a zero ou menor seja falsa.
Machine Translated by Google
Quão improvável ou raro deve ser o desempenho positivo para rejeitar a noção
de que a regra é desprovida de poder preditivo? Não existe uma regra rígida e
rápida. Por convenção, a maioria dos cientistas não estaria disposta a rejeitar uma
hipótese, a menos que o desempenho observado tenha uma probabilidade de 0,05
ou menos de ocorrência sob a suposição de que o nulo é verdadeiro. Esse valor é
chamado de significância estatística da observação.
A discussão até agora diz respeito ao caso em que apenas uma regra é testada
novamente. Na prática, no entanto, a pesquisa de regras de AT normalmente não
se restringe a testar uma única regra. Poder de computação econômico, software
de back-testing versátil e dados históricos abundantes tornam fácil, quase
convidativo, testar muitas regras com o objetivo de selecionar aquela com o melhor desempenho.
Essa prática é conhecida como mineração de dados.
Embora a mineração de dados seja um método de pesquisa eficaz, testar
muitas regras aumenta a chance de um bom desempenho. Portanto, o limiar de
desempenho necessário para rejeitar a hipótese nula deve ser estabelecido mais
alto, talvez muito mais alto. Esse limite mais alto compensa a maior probabilidade
de tropeçar em uma regra inútil que teve sorte em um teste de volta. Este tópico, o
viés de mineração de dados, é discutido no Capítulo 6.
A Figura 4.4 compara duas funções de densidade de probabilidade. O de cima
seria apropriado para avaliar a significância de um único teste de retorno de regra.
A curva de densidade mais baixa seria apropriada para avaliar o sig
Probabilidade
Desempenho observado
Densidade
Parece significativo
0
Distribuição Apropriada para as Regras Melhor de 1000
Desempenho observado
Probabilidade Não parece
Densidade Significativo
0
Taxa de retorno testada novamente
FIGURA 4.4 Um ótimo desempenho em um único teste de retorno de regra só é medíocre quando
1.000 regras são testadas.
Machine Translated by Google
As ferramentas e métodos de uma disciplina limitam o que ela pode descobrir. Melhorias neles
abrem caminho para um maior conhecimento. A astronomia teve um grande
avançar com a invenção do telescópio. Embora bruto por hoje
padrões, os primeiros instrumentos tinham 10 vezes o poder de resolução do
olho nu. A análise técnica tem uma oportunidade semelhante, mas deve substituir a análise
informal de dados por métodos estatísticos rigorosos.
A análise informal de dados simplesmente não está à altura da tarefa de extrair dados válidos.
conhecimento dos mercados financeiros. Os dados florescem com padrões ilusórios enquanto
padrões válidos são velados por ruído e complexidade. Rigoroso
a análise estatística é muito mais adequada para essa difícil tarefa.
A análise estatística é um conjunto de procedimentos bem definidos para a coleta, análise
e interpretação de dados. Este capítulo e os próximos dois
apresentará a forma como as ferramentas estatísticas e o raciocínio podem ser usados para
identificar as regras de AT que funcionam. Esta visão geral é necessariamente condensada, e em
em muitos casos sacrifiquei o rigor matemático em nome da clareza.
No entanto, esses desvios não diluem a mensagem essencial: Se a AT deve
cumprir suas reivindicações, deve ser fundamentado em uma abordagem científica que
usa análise estatística formal.
UM EXEMPLO DE AMOSTRAGEM E
INFERÊNCIA ESTATÍSTICA
O raciocínio estatístico é abstrato e muitas vezes vai contra o senso comum. Isso é bom e
ruim. A lógica que vai contra a inferência informal é boa porque pode nos ajudar onde o
pensamento comum nos permite.
baixa. No entanto, isso é exatamente o que torna difícil de entender. Então
devemos começar com um exemplo concreto.
Machine Translated by Google
Que fração
São
Cinza?
F–G Painel deslizante
Ao colocar cada amostra de volta na caixa antes de coletar outra amostra, estamos
mantendo uma concentração estável para a fração de cinza
miçangas na caixa. Ou seja, o valor de FG é mantido constante ao longo de
ao longo das 50 amostragens. Problemas em que as características estatísticas permanecem
estáveis ao longo do tempo são ditos estacionários. Se as contas
não fossem substituídos após cada amostra, o valor FG mudaria ao longo do
ao longo das 50 amostragens, uma vez que grupos de contas foram removidos
permanentemente da caixa. Um problema em que as características estatísticas
a mudança ao longo do tempo é dita não estacionária. Os mercados financeiros podem de
fato ser não estacionários, mas para fins pedagógicos, a caixa de contas
problema é projetado para ser estacionário.
É importante ter em mente a distinção entre FG e fg.
FG refere-se à fração de grânulos cinzas em toda a caixa. Na linguagem
da estatística, todas as observações que nos interessam são chamadas de
população. Neste exemplo, o termo população refere-se à cor de todos os
as contas na caixa. O termo amostra refere-se a um subconjunto da população. Assim, FG
refere-se à população enquanto fg refere-se à amostra.
Nossa tarefa atribuída é obter o máximo de conhecimento possível sobre o
valor de FG observando o valor fg em 50 amostras separadas.
Também é importante manter clara a distinção entre dois números: o número de
observações que compõem uma amostra – neste caso 20
contas - e o número de amostras retiradas - neste caso 50.
não levará a uma conclusão sólida. Um experimento médico que seleciona o teste
indivíduos que se espera que respondam favoravelmente à medicação
produzir conclusões tendenciosas. Em outras palavras, as estimativas da eficácia do
medicamento na população geral serão muito otimistas.
Imagine tirar uma única conta aleatoriamente da caixa com os olhos
fechado e depois observando sua cor. Trata-se de um experimento de amostragem com
tamanho da amostra de um. A cor da conta, cinza ou branca, é a variável aleatória.
Agora imagine selecionar aleatoriamente 20 contas da caixa. Aqui a amostra
tamanho é 20 e a fração cinza nessa amostra (fg) é uma estatística amostral que
também é uma variável aleatória.
Como discutido anteriormente, chamaremos essa variável aleatória fg. É uma variável
aleatória porque seu valor é afetado pelo acaso. Pode assumir 21 valores diferentes {0,
0,05, 0,10, 0,15, . . . , 1,0}. Agora vamos voltar ao objetivo:
aumentando nosso conhecimento sobre o valor de FG.
10
9
F 8
R
E
7
Q 6
você
E
5
N 4
C
S
3
2
1
0
0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1
f–g
FIGURA 4.6 Distribuição de Frequência: (fg).
10
Esta barra tem 0,20 do
9 total de observações
da distribuição
F 8
Esta Barra Tem 0,20 da
R
7 Área Total da Distribuição
E
Q 6
você
5
E
N 4
C
S
3
2
1
0
0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1
f–g
FIGURA 4.7 A proporção das observações é igual à proporção da distribuição em relação à
área total.
Embora essa ideia possa parecer óbvia, até trivial, é um aspecto essencial
do raciocínio estatístico. Em última análise, usaremos a área fracionária de
uma distribuição para medir a probabilidade de que os lucros do back-test de
uma regra possam ter ocorrido por acaso sob a suposição de que a regra não
tem poder preditivo. Quando essa probabilidade é pequena, somos levados à
conclusão de que a regra tem poder preditivo.
T 0,16
0,14
EU
V
E 0,12
F 0,1
R
E 0,08
Q 0,06
você
E 0,04
N 0,02
C
S 0
0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1
f–g
FIGURA 4.8 Distribuição de frequência relativa: (fg).
0,16 Frequência
T
Relativa f–g
0,14
EU
E 0,04
N 0,02
C
S 0
0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1
f–g
FIGURA 4.9 Distribuição de frequência relativa: (fg).
UMA
0,25
T
EU
V 0,2
E
F 0,15
R
E
Q
0,1
você
E 0,05
N
C
S 0
0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1
fg
FIGURA 4.10 Caixa de distribuição de frequência relativa 2: (fg).
Agora vamos usar a amostragem para aprender as proporções de cores de uma segunda
caixa de contas. Também é uma mistura de cinza e branco. O objetivo é o mesmo:
aprender a proporção relativa de contas cinzentas em relação ao número total de contas
em uma segunda caixa. Chamamos essa quantidade de FG 2.
Como antes, não podemos examinar todo o conteúdo da caixa 2, mas podemos
colher 50 amostras, cada uma composta por 20 contas. O valor fg 2, que se refere à
proporção de grânulos cinzas em uma amostra da caixa 2, é medido em cada amostra.
Novamente, observe a distinção entre os termos FG 2 e fg 2. FG 2 refere-se à proporção
de grânulos cinzas em toda a caixa 2, enquanto fg 2 se refere à proporção de grânulos
cinzas em uma amostra individual. FG 2 não é observável enquanto fg 2 é.
Yogi Berra, ex-gerente do New York Yankees, disse que você pode observar muito
só de olhar. Se ele fosse um estatístico, ele poderia ter dito que você pode aprender
muito apenas por amostragem. Mesmo que uma amostra seja apenas uma porção
de um universo maior (população), ela pode nos ensinar muito sobre aquele pop
Caixa 2
R
E 0,3
eu
UMA
0,25 Caixa 1
T
EU
V 0,2
E
F 0,15
R
E
Q
0,1
você
E 0,05
N
C
S 0
0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1
f–g
FIGURA 4.11 Comparação das distribuições de frequência relativa.
Machine Translated by Google
ulação. No entanto, há limites para o que uma amostra pode nos dizer, limites impostos pela
aleatoriedade.
Uma tarefa fundamental da estatística é quantificar a incerteza devido à variabilidade da
amostragem. Isso torna possível quantificar a confiabilidade das declarações de conhecimento
com base em amostras. Sem essa quantificação, tais declarações têm valor limitado. A
estatística não pode eliminar a incerteza, mas pode nos informar sobre ela e, ao fazê-lo,
modera as avaliações de quanto sabemos ou com que precisão o sabemos. Assim, a análise
estatística é um poderoso antídoto para a tendência ao excesso de confiança.
TEORIA ESTATÍSTICA
Avaliar uma afirmação de que uma regra de AT tem poder preditivo, que uma nova vacina
pode prevenir doenças ou qualquer outra afirmação de conhecimento são exemplos de um
problema de inferência estatística. Geralmente, tais problemas podem ser reduzidos a seis
elementos-chave: (1) uma população, (2) uma amostra consistindo de um conjunto de
observações selecionadas aleatoriamente da população, (3) um parâmetro populacional, (4)
uma estatística amostral , (5) uma inferência e (6) uma afirmação sobre a confiabilidade da
inferência. Cada um desses elementos será discutido à medida que se relaciona com os
experimentos da caixa de contas e, em seguida, com a avaliação das regras de AT.
uma regra durará para sempre. Por esta razão, a população com respeito às regras de AT
não pode se referir a retornos que ocorrem em um futuro infinito.
Uma noção mais razoável é o que chamo de futuro prático imediato. O futuro prático
imediato refere-se a um período de tempo futuro finito, sobre o qual seria razoável esperar
que uma regra útil
que a lucratividade persista, mesmo que os mercados sejam não estacionários. Qualquer
esforço para encontrar padrões preditivos deve fazer alguma suposição sobre o
continuidade do poder preditivo. Em outras palavras, a menos que alguém esteja disposto a
assumir alguma persistência no poder preditivo, todas as formas de AT são inúteis.
A suposição feita aqui é que uma regra continuará a funcionar por muito tempo
suficiente para compensar o pesquisador pelo esforço de descobri-lo. este
é consistente com a posição assumida por Grossman e Stiglitz em “On the
impossibilidade de mercados informacionalmente eficientes.”14 Também é consistente
com a ideia de que regras lucrativas sinalizam oportunidades para ganhar um prêmio de
risco,15 um tópico discutido no Capítulo 7.
Portanto, o futuro prático imediato refere-se a todas as possíveis realizações aleatórias
do comportamento do mercado em um futuro finito. É como se houvesse
eram um número infinito de universos paralelos, onde todos os universos são uma
duplicata exata, exceto pelo componente aleatório do comportamento do mercado. Em cada
realização, ou universo, o padrão que responde pela regra
a lucratividade é a mesma, mas o componente aleatório do mercado é diferente. Essa ideia é
ilustrada na Figura 4.12.
Número infinito de
Universos paralelos
$ n m Aleatória 6
Realização
Vender d m Aleatória
Realização li 5eu 5
n
Realização Aleatória 4
n
Realização 3 3
Aleatória
uma m Aleatória 2
Realização uma
Realização
o
uma R
Aleatória 1
Comprar
Imediato Tempo
Histórico Futuro prático
Amostra
Agora
para back-testing
Retorno
esperado ????
Estatística de amostra
Retorno Médio = +10%
Imediato
Passado observável Futuro prático
Tempo
Data de Data de
Mais antigo Mais recente
Dados Dados
Uma declaração sobre a confiabilidade da inferência. Como uma amostra não pode
representar a população perfeitamente, as inferências baseadas em uma estatística amostral
estão sujeitas a incertezas. Em outras palavras, é possível que a inferência esteja errada. Já
vimos como as estatísticas amostrais variam aleatoriamente em torno do valor real do valor
do parâmetro populacional.
A ciência da estatística vai além de simplesmente admitir que suas inferências são incertas.
Ele quantifica sua confiabilidade. Isso torna as conclusões estatísticas consideravelmente
mais úteis do que aquelas alcançadas por métodos informais que não fornecem tais
informações.
A inferência pode estar errada de duas maneiras. Um erro é concluir que a regra tem
poder preditivo quando não tem. Este é um caso de boa sorte brilhando em uma regra inútil.
Esse tipo de erro se traduz em assumir riscos de mercado que não serão compensados. O
outro erro é concluir que a regra não tem capacidade preditiva quando realmente tem. Esse
erro resulta em oportunidades de negociação perdidas.
ESTATÍSTICAS DESCRITIVAS
Distribuições de frequência
As distribuições de frequência já foram discutidas em conexão com os experimentos da caixa
de contas. Eles foram usados para reduzir um conjunto de 50 observações sobre a variável
aleatória fg em um gráfico informativo.
Com apenas 50 observações, pode-se formar uma impressão geral dos dados
simplesmente olhando para uma tabela de números. Por outro lado, se o número de
observações fosse 500 ou 5.000, uma tabela não seria tão formativa quanto uma distribuição
de frequência.
Traçar uma distribuição de frequência é geralmente o primeiro passo na análise de uma
Machine Translated by Google
conjunto de dados. Ele fornece uma impressão visual rápida de duas características principais de um
amostra de observações: a tendência central (por exemplo, valor médio) e a
grau de dispersão ou variação em torno do valor central. Por exemplo,
A Figura 4.11 mostrou que as duas caixas de contas tinham diferentes valores centrais e
diferentes graus de dispersão.
Uma impressão visual de uma amostra é útil, mas a quantificação melhora
assuntos. Para nossos propósitos, precisaremos quantificar duas características do
distribuição de frequência: sua tendência central e sua variabilidade ou dispersão em torno de
sua tendência central.
+ +x3n
x1 x2 + _ . . .xn
x=
n
ÿ XI
x=
eu = 1
n
Onde xi é uma observação individual na variável X
s= ÿ Xi ( )2X–
n
Onde:
X eu
É uma observação individual na variável X
0 5 10 15
FIGURA 4.16 Tendência central e dispersão são atributos distintos de uma distribuição.
PROBABILIDADE
Incerteza
Risco Chance
Probabilidade
Sorte Probabilidade
Aleatório
dia, mas no mês de abril a frequência relativa de chuva foi de 0,366 (11 em 30
dias). Se a chuva nunca ocorresse, então sua frequência relativa seria 0. Se a
chuva ocorresse todos os dias, sua frequência relativa seria 1,0.
Assim, a frequência relativa de um resultado é igual a:
a frequência relativa de caras convergirá para seu valor teórico, 0,5, à medida que o
número de lançamentos de moedas se tornar grande. No entanto, mesmo para um grande
número de lançamentos, um desvio de 0,50 ainda pode ocorrer, embora o tamanho
provável dos desvios diminua à medida que o número de lançamentos aumenta. Para
amostras pequenas, no entanto, a Lei dos Grandes Números nos adverte que a frequência
relativa de caras pode diferir substancialmente de 0,50. Quando o número de lançamentos
é de apenas três, um valor de 1,0 pode ocorrer facilmente – três caras em três lançamentos.
F
1,0
R
UMA
C 0,80
T
EU
0,60
O
N 0,50
0,40
H 0,20
E
UMA
0
D
1 10 100 1.000
S
Uma distribuição de probabilidade mostra com que frequência podemos esperar que as diferentes
valores possíveis de uma variável aleatória ocorrer (ou seja, suas frequências relativas). A
distribuição de probabilidade de uma variável aleatória é uma distribuição de frequência relativa
construída a partir de um número infinito de observações.
O conceito de distribuição de probabilidade pode ser entendido por
pensando em uma sequência de distribuições de frequência relativa, cada uma construída
de um número crescente de observações e progressivamente mais estreitas
compartimentos ou intervalos. Gradualmente, a distribuição de frequência relativa torna-se
uma distribuição de probabilidade. Com o aumento do número de observações,
intervalos mais discretos de largura decrescente podem ser criados.
o número de observações se aproxima do infinito, o número de intervalos se aproxima do infinito
e suas larguras diminuem para zero. Assim, a distribuição de frequência relativa se transforma no
que é chamado de distribuição de probabilidade, mais tecnicamente referido como uma função
de densidade de probabilidade.23
Relativo
Frequência
Relativo
Frequência
Relativo
Frequência
Relativo
Frequência
Probabilidade
Densidade
largura zero, então há zero observações por intervalo. Isso parece não fazer sentido!
No entanto, é bastante comum que os conceitos matemáticos estejam em desacordo
com o senso comum. Na geometria, um ponto tem localização, mas não ocupa espaço
(isto é, comprimento, largura e largura são iguais a zero), uma linha tem comprimento,
mas largura zero, e assim por diante.
O fato de um intervalo ter zero observações tem uma estranha implicação – a
probabilidade de que qualquer valor único de uma variável aleatória contínua ocorra é
igual a zero. Por esse motivo, só faz sentido falar da probabilidade de uma variável
aleatória assumir um valor dentro de um intervalo de valores especificado. Em outras
palavras, faz sentido falar da probabilidade de uma variável aleatória assumir um valor
entre os valores mínimo e máximo especificados. Também faz sentido falar da
probabilidade de uma variável aleatória assumir um valor igual ou maior que algum
valor especificado ou menor ou igual a um valor especificado. Por exemplo, podemos
falar da probabilidade de ocorrer um valor de 3,0 ou maior. No entanto, não faria sentido
falar da probabilidade de um valor de exatamente 3,0,24
Estamos agora prontos para dar o passo final nesta sequência de pensamento. É
análogo ao ponto 3 na lista anterior, exceto que o termo distribuição de frequência relativa é
substituído por função de densidade de probabilidade. A probabilidade de uma variável
aleatória contínua assumir um valor dentro de um intervalo especificado é igual à fração da
função densidade de probabilidade
0,312
0,234 0,234
Relativo
Frequência
0,091 0,091
0,019 0,019
Valores de Aleatório
Variável
Frequência relativa de
um valor neste intervalo = 0,344
ção englobada por (sentado acima) desse intervalo. Este conceito é ilustrado na
Figura 4.25. Mostra a probabilidade de X, uma variável aleatória contínua, assumir
um valor dentro do intervalo AB igual a 0,70.
Em muitos casos, o intervalo em questão refere-se ao extremo ou cauda da
distribuição. Por exemplo, a Figura 4.26 mostra a probabilidade de que a variável
aleatória X assuma um valor de B ou maior. A probabilidade é 0,15.
Agora, aqui é onde essas idéias começam a se juntar para nós. O Capítulo 5
mostrará que quando uma hipótese é representada pela distribuição de
probabilidade de uma variável aleatória, poderemos usar um valor observado da
variável aleatória para testar a veracidade da hipótese. Isso nos permitirá concluir
se a lucratividade testada a posteriori de uma regra foi devido à sorte ou poder
preditivo genuíno.
A distribuição de probabilidade utilizada para este fim é de um tipo específico.
Ela é chamada de distribuição amostral – talvez a mais importante em todas as
estatísticas e certamente a mais importante para os analistas de AT.
P
R
O D
B E
UMA N Área Acima do
B S Intervalo AB é
EU
EU 0,70 da
eu T Área Total da
EU
S Distribuição
T
S
UMA B
P
R
O D
B E
UMA N
B S
EU
EU
Fração de
eu T Distribuição
EU
S Além de “B” = 0,15 de
T Área
S
0,15
Para recapitular:
3. Uma estatística amostral26 é uma variável aleatória no sentido de que flutua imprevisivelmente
de uma amostra de observações para outra. A estatística da amostra flutua aleatoriamente
porque o acaso determina quais observações específicas terminam em uma determinada
amostra, e é esse conjunto particular de observações que determina o valor da estatística
para essa amostra. No experimento da caixa de contas, o valor fg variou aleatoriamente de
uma amostra de 20 contas para a próxima porque o conjunto particular de contas que
acabou em uma determinada amostra foi determinado por acaso.
4. Uma distribuição de frequência relativa descreve a frequência com que os valores possíveis
de uma variável aleatória ocorrem em um número muito grande de observações.
Pode parecer irônico que uma estatística amostral mostre um padrão tão regular,
uma vez que é, de fato, uma variável aleatória. Felizmente para os estatísticos, sim.
A Figura 4.8 revelou um valor central (ou seja, a média de
a distribuição amostral) de aproximadamente 0,55. Também mostrou um padrão de
dispersão bem definido sobre esse valor central. Este padrão permitiu-nos concluir,
com um grau razoável de segurança, que o valor do
o parâmetro populacional FG estava contido na faixa de 0,40 a 0,65. Isto
também nos permitiu concluir, embora com confiança um pouco diminuída, que FG
foi fixado com mais precisão na faixa entre 0,50
e 0,60. Foi o grau de dispersão na distribuição amostral de f-g que
permitiu que essas declarações fossem feitas sobre o valor da população
parâmetro FG.
A dispersão da distribuição de amostragem quantifica a incerteza
do nosso conhecimento sobre o parâmetro populacional FG. A distribuição
tendência central transmite informações sobre o valor mais provável de FG,
aproximadamente 0,55. Saber disso é bom, mas não é suficiente. Também é
importante saber sobre a confiabilidade do valor 0,55. Em outras palavras,
com que precisão a tendência central da distribuição amostral de 0,55
retratar o verdadeiro valor de FG?
A confiabilidade (grau de certeza) é transmitida pela dispersão de
a distribuição amostral. Quanto maior a dispersão da distribuição ao redor
seu valor central, 0,55, menos certos podemos ter de que 0,55 nos forma com
precisão sobre o verdadeiro valor FG, a proporção de contas cinzentas em toda a
caixa.
Para ilustrar este ponto, considere as duas distribuições amostrais a seguir.
Ambos possuem valores centrais de 0,55 mas suas dispersões são bastante
diferentes. A primeira mostrada na Figura 4.27 é uma dispersão estreita, portanto,
dando uma forte impressão de que FG está nas proximidades de 0,55. A distribuição
na Figura 4.28 é mais ampla, transmitindo assim uma mensagem menos segura sobre
Valor FG. Está dizendo que o valor verdadeiro FG pode ser consideravelmente
diferente do valor central da distribuição amostral.
Em resumo, a certeza está diretamente relacionada à dispersão da distribuição
amostral. E a certeza de uma conclusão sobre uma população
O parâmetro depende da largura da distribuição de amostragem da estatística – maior
largura significa maior incerteza.
Suponha que a hipótese de que o retorno esperado de uma regra seja igual a
zero. Suponha também que o retorno testado a posteriori da regra seja maior
do que zero. O retorno positivo é evidência suficiente para concluir que o
valor hipotético de zero é falso? A resposta vai depender de quão longe
acima de zero, o retorno do backtesting é relativo à largura da distribuição amostral.
Se o desvio relativo for grande, a hipótese pode ser
rejeitado. Quantificar o desvio relativo e o raciocínio por trás de um
Machine Translated by Google
R
E 0,2
eu
0,18
UMA
T 0,16
0,14
EU
V
E 0,12
F 0,1
R
E 0,08
Q 0,06
você
E 0,04
N 0,02
C
S 0
0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1
f–g
FIGURA 4.27 Distribuição de frequência relativa: fg. (tamanho da amostra = 20, número de
amostras = 50).
R
E 0,2
eu
0,18
UMA
T 0,16
0,14
EU
V
E 0,12
F 0,1
R
E 0,08
Q 0,06
você
E 0,04
N 0,02
C
S 0
0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1
f–g
FIGURA 4.28 Distribuição de frequência relativa: fg. (tamanho da amostra = 20, número de
amostras = 50).
Machine Translated by Google
A decisão de rejeitar ou não a hipótese será tratada no Capítulo 5. O ponto importante por
enquanto é que a amplitude da distribuição amostral é criticamente importante para responder
a esta questão.
Uma distribuição amostral pode ser formada para qualquer estatística: a média (média), a
mediana, o desvio padrão e muitas outras estatísticas usadas na inferência estatística.29 Cada
uma tem sua própria distribuição amostral.
Essa discussão aqui se limita à distribuição amostral da média porque a estatística de
desempenho usada para avaliar as regras de AT neste livro é a taxa média de retorno de uma
regra. No entanto, existem muitas outras medidas de desempenho que podem ser usadas: o
índice de Sharpe,30 o fator de lucro,31 o retorno médio dividido pelo Ulcer Index,32 e assim por
diante. Deve-se ressaltar que as distribuições amostrais dessas estatísticas alternativas de
desempenho seriam diferentes da distribuição amostral da média.
Também deve ser destacado que os métodos usados neste livro para gerar a distribuição
amostral da média podem ser de valor limitado na geração de distribuições amostrais para
estatísticas de desempenho com caudas direitas alongadas. Isso pode ocorrer com estatísticas
de desempenho que envolvem índices como o índice de Sharpe, o índice de retorno médio para
o índice de úlcera e o fator de lucro. No entanto, esse problema pode ser mitigado tomando o
logaritmo da razão para encurtar a cauda direita.
A inferência estatística na verdade envolve três distribuições diferentes, uma das quais é a
distribuição amostral. Eles são fáceis de confundir. Esta seção destina-se a esclarecer suas
diferenças. No contexto do teste de regras, as três distribuições são:
2. Distribuição de dados da amostra: uma distribuição composta por um número finito (N) de
retornos diários de regras do passado.
3. Distribuição amostral: uma distribuição de tamanho infinito da estatística amostral – neste
caso, é o retorno médio da regra. Ela representa os retornos médios da regra, caso ela
fosse testada em um número infinito de amostras aleatórias de tamanho N extraídas da
população.
Pai
Dados
Distribuição Média da População
no
População
(devoluções diárias)
Amostragem
Distribuição
50
Meios de Amostra Distribuição dos Meios
do Tamanho da Amostra n
População
Média
Distribuição de Devoluções Diárias (não conhecida)
Integrando a população
Devoluções diárias
Devoluções diárias
população parental. Na maioria dos problemas estatísticos do mundo real, há apenas uma
amostra de observações e, portanto, um valor para a média amostral. O problema é que com
apenas uma média amostral disponível não temos noção da variabilidade da estatística
amostral. O problema de uma amostra e uma média é ilustrado na Figura 4.30.
Esta abordagem clássica é a mais frequentemente ensinada nos cursos básicos de estatística.
É atribuído aos dois pais da estatística matemática, Sir Ronald Fisher (1890-1962) e Jerzy
Neyman (1894-1981). Ele utiliza a teoria da probabilidade e o cálculo integral para derivar a
distribuição amostral com base em uma única amostra observada. Ele fornece estimativas da
dispersão da distribuição amostral, sua média e sua forma básica (normal).
Machine Translated by Google
A média de uma grande amostra é uma boa estimativa da média populacional. Esta é
uma manifestação da Lei dos Grandes Números,
que conhecemos anteriormente no contexto de um experimento de lançamento de moedas. Para
recapitulando, A Lei dos Grandes Números nos diz que quanto maior o número de
observações que compõem a amostra, mais próxima será a média amostral
aproximará a média populacional. Existem algumas condições de qualificação34 anexadas
a essa promessa, mas elas não precisam nos preocupar aqui.
O gráfico do experimento de lançamento de moedas ilustrou a ação do
Lei dos Grandes Números (Figura 4.18). À medida que o número de lançamentos de
moedas aumentava, a proporção de caras convergia gradualmente para seu valor teórico.
valor correto de 0,50. Nos estágios iniciais do experimento, quando o tamanho da amostra
era pequeno, houve grandes desvios de 0,50. Essas partidas ilustram o grande papel que o
acaso desempenha em pequenas amostras. Em quatro
Machine Translated by Google
lançamentos, embora valores de 0,75 ou 0,25 não sejam os mais prováveis, eles são
bastante comum. No entanto, quando o número de lançamentos de moedas atinge 60, o
probabilidade de 0,75 ou 0,25 é menor que 1 em 1.000. A lição importante: o aumento
do tamanho da amostra diminui o papel do acaso.
Distribuição de amostras
da média
Tamanho da amostra = 100
Erro padrão = 10
10
Distribuição de Amostragem
do Tamanho Médio
da Amostra = 10
St. Erro = 31,62
31,62
Distribuição de dados
na população
Desvio St. = 100
100
FIGURA 4.31 O estreitamento da distribuição amostral com o aumento do tamanho da
amostra.
Machine Translated by Google
ção pode ser pensada como uma distribuição amostral com um tamanho de amostra de
um (uma média - a média da população). A distribuição amostral para um
o tamanho da amostra de 100 é um décimo da largura da população-mãe. A mensagem
essencial é quanto maior o tamanho da amostra, menor a incerteza
sobre o valor de uma estatística amostral. Aliás, o desvio padrão
da distribuição amostral da média recebe um nome especial nas estatísticas, o erro padrão da
média (ver explicação posterior).
Com algumas ressalvas,36 a Lei dos Grandes Números nos diz que o
quanto maior o tamanho da amostra, mais preciso será nosso conhecimento da média da
população. Com algumas ressalvas,37 portanto, gostaríamos de trabalhar com
amostras que são tão grandes quanto possível, de modo a minimizar a largura do
distribuição amostral tanto quanto possível.
Você pode visualizar isso pensando em uma população que não tem variação alguma.
Por exemplo, se todas as pessoas da população pesassem 150 libras,
cada amostra terá um peso médio de 150 libras. Portanto,
variação zero entre os membros da população levaria a zero
variação na média amostral e, consequentemente, uma distribuição amostral
que não tem dispersão alguma. Por outro lado, se houver grande variação
entre os indivíduos que compõem a população, haverá
maior variação nas médias amostrais, o que se traduz em uma distribuição amostral de gordura.
• É completamente descrito por sua média e seu desvio padrão. Se esses dois fatos são
conhecidos, você sabe tudo o que há para saber sobre a distribuição.
• Cerca de 68 por cento das observações estão dentro de um desvio padrão da média e
cerca de 95 por cento estão dentro de dois desvios padrão da média.
• As caudas da distribuição tornam-se bastante finas além de dois desvios padrão. Assim,
valores além de três desvios padrão são raros e além de quatro são extremamente raros.
A distribuição normal, ilustrada na Figura 4.32, é tão comum que tem sido chamada de
característica fundamental do mundo natural. Sua forma é causada pelos efeitos aditivos de
muitos fatores independentes que atuam na mesma situação. Por exemplo, a pressão arterial
sistólica é afetada por fatores genéticos, dieta, peso, estilo de vida, condicionamento aeróbico
e vários outros fatores. Quando eles interagem, a distribuição de probabilidade da pressão
arterial em um grande grupo de pessoas selecionadas aleatoriamente terá a distribuição em
forma de sino.
A Figura 4.3339 mostra várias distribuições populacionais muito não normais junto com
a forma da distribuição amostral da média. Observe como a distribuição amostral converge
para uma forma normal à medida que o tamanho da amostra aumenta, independentemente
da forma da distribuição dos dados no
Significa
2ÿ1ÿ +1ÿ + 2ÿ
68% da Área
95% da área
ÿ= ÿ xi ( –x )2
n-1
Onde:
É uma observação individual na variável x na população
XI
Padrão
Erro ÿ
=
do
O significativo
n
FIGURA 4.35 O erro padrão da média.
Já fizemos várias referências ao uso de inferência estatística para testar afirmações. O título
oficial desta atividade é teste de hipóteses. O próximo capítulo discute a lógica e a mecânica do
teste de hipóteses.
Também considerará outro uso de inferência estatística, estimando intervalos de confiança.
Um intervalo de confiança é um intervalo que contém o valor verdadeiro do parâmetro
populacional com um nível de confiança especificado. Por exemplo, se o retorno médio observado
de uma regra for de 15 por cento, o intervalo de confiança de 95 por cento pode indicar que o
retorno verdadeiro da regra está entre o retorno de 5 por cento e o retorno de 25 por cento. A
largura do intervalo de confiança, neste caso 20 pontos percentuais, é derivada da mesma
distribuição amostral usada para teste de hipóteses.
Machine Translated by Google
Testes de
hipóteses e confiança
Intervalos
o retorno médio da regra é menor ou igual a zero, a estimativa aproxima o retorno médio e
fornece uma faixa de valores dentro da qual
a verdadeira taxa de retorno da regra deve estar em um nível especificado de probabilidade.
Por exemplo, pode nos dizer que o retorno estimado da regra é de 10%
e há uma probabilidade de 95 por cento de que caia dentro do intervalo de 5
por cento a 15 por cento. Esta declaração contém dois tipos de estimativas; uma
estimativa pontual, que o retorno da regra é de 10%, e uma estimativa de intervalo, que o
retorno está na faixa de 5% a 15%. A regra
os estudos discutidos na Parte Dois usam a estimativa como um complemento aos testes de
hipóteses.
Se uma regra foi lucrativa em uma amostra de dados históricos, essa estatística amostral é um
fato indiscutível. No entanto, a partir desse fato, o que se pode inferir
sobre o desempenho futuro da regra? É provável que seja lucrativo porque
possui poder preditivo genuíno ou os lucros são improváveis porque sua
lucros passados foram devidos ao acaso? O teste de hipóteses é um procedimento de inferência
formal e rigoroso para decidir qual dessas alternativas é mais
provavelmente está correto, e assim pode nos ajudar a decidir se seria racional usar
a regra para negociação real no futuro.
a criatura é um cachorro, então necessariamente terá quatro patas. No entanto, quatro patas
não são evidências suficientes para estabelecer que a criatura é um cachorro. Pode muito
bem ser outra criatura de quatro patas (gato, rinoceronte e assim por diante).
Artigos populares sobre AT muitas vezes tentam argumentar que um padrão tem poder
preditivo apresentando casos em que o padrão fez previsões bem-sucedidas. É verdade que,
se o padrão tiver poder preditivo, haverá casos históricos em que o padrão deu previsões
bem-sucedidas.
No entanto, essa evidência confirmatória, embora necessária, não é suficiente para
estabelecer logicamente que o padrão tem poder preditivo. Não é mais capaz de compelir a
conclusão de que o padrão tem poder preditivo do que a presença de quatro patas é capaz
de compelir a conclusão de que a criatura é um cachorro.
q é verdade.
O Capítulo 3 mostrou que, embora a evidência confirmatória não seja suficiente para
provar a veracidade de uma afirmação, a evidência contraditória – evidência que é
incompatível com a verdade de uma afirmação – é suficiente para estabelecer que a
afirmação é falsa. O fato de uma criatura não ter quatro patas é suficiente para falsificar a
afirmação de que a criatura é um cachorro. Esta é a forma válida de argumento chamada
negação do consequente.
q não é verdade.
ocorrência de evidência inesperada que é a base para refutar uma hipótese. Embora esta linha
de raciocínio seja contra-intuitiva, é logicamente correta
(negação do consequente) e extremamente poderoso. É a base lógica
de descoberta científica.
Para dar um exemplo concreto, suponha que eu me veja como um excelente jogador de
tênis social. Minha hipótese é que David Aronson é um excelente social
jogador de tênis. Participo de um clube de tênis com membros cuja idade e anos de
jogo são semelhantes aos meus. Com base na minha hipótese, prevejo com confiança a outros
sócios do clube que ganharei pelo menos três quartos do meu
jogos (taxa de vitória prevista = 0,75). Esta previsão é meramente dedutiva
consequência da minha hipótese. Eu testo a hipótese acompanhando
meus primeiros 20 jogos. Depois de 20 jogos estou chocado e decepcionado. Não somente
não obtive uma única vitória (taxa de vitória observada = 0), mas a maioria das perdas
foram por largas margens. Este resultado é claramente inconsistente com o
previsão deduzida da minha hipótese. Dito de outra forma, minha hipótese
implicava que esta evidência tinha uma probabilidade muito baixa de ocorrência. Tal
evidência surpreendente exige forçosamente uma revisão (falsificação) de minha hipótese. A
menos que eu prefira delírios de bem-estar a evidências observadas, é
hora de abandonar meus delírios de grandeza do tênis.2
Na situação anterior, a evidência era esmagadoramente clara. EU
perdeu todos os 20 jogos. No entanto, e se a evidência tivesse sido ambígua? Suponha que eu
tenha vencido dois terços dos meus jogos. Uma vitória observada
a taxa de 0,66 está abaixo da taxa de vitória prevista de 0,75, mas não drasticamente.
Isso foi apenas um desvio negativo aleatório da taxa de vitória prevista
ou foi o desvio de magnitude suficiente para indicar a hipótese
sobre a minha habilidade de tênis estava com defeito? É aqui que a análise estatística se faz
necessária. Ele tenta responder à pergunta: foi a diferença
entre a taxa de vitórias observada (0,66) e a taxa de vitórias prevista pela minha hipótese (0,75)
grande o suficiente para levantar dúvidas sobre a veracidade da hipótese? Ou, alternativamente:
foi a diferença entre 0,66 e 0,75
variação meramente aleatória naquela amostra particular de partidas de tênis? o
teste de hipótese tenta distinguir erros de previsão que são pequenos
suficiente para ser o resultado de amostragem aleatória de erros tão grandes que eles
indicam uma hipótese falha.
Nulo Alternativo
Hipótese Hipótese
conclusão de que a outra hipótese deve ser verdadeira. Provando a verdade neste
moda é chamado de método de prova indireta. Esses conceitos são ilustrados na Figura
5.1.
Conforme discutido no Capítulo 3, as evidências podem ser usadas para deduzir logicamente que
uma hipótese é falsa, mas não pode ser usada para deduzir que é verdadeira.3
Portanto, o teste de hipóteses deve ser sobre tentar falsificar algo.
A questão é: Qual das hipóteses, H0 ou HA, deve ser o alvo
deste esforço?
etc.
+12%
+10
+8
+6
+4
+2
+,01%
H1 Afirma:
Retorno Esperado da Regra > 0%.
A tentativa de falsificar uma única afirmação é um objetivo prático. Se a mais positiva dessas
afirmações (retorno = 0) pode ser questionada pela regra
back-test rentabilidade, então todas as reivindicações menores (por exemplo, o retorno da regra = -1,3
por cento) são contrariados, mas em um grau ainda maior. É assim que H0
se reduz à única afirmação de que o retorno da regra é zero. Isso é ilustrado na Figura 5.3.
etc.
-12%
-10
-8
-6
-4
-2
0%
H0 Afirma:
Retorno da Regra < ou = 0%.
Isso não quer dizer que curvas complexas nunca sejam justificadas. Se houver
dados suficientes e forem gerados por um processo complexo, um modelo elaborado
pode muito bem ser justificado. No entanto, tudo o mais sendo igual, é mais provável
que a explicação mais simples esteja correta.
Para recapitular esses itens no que se refere ao teste de regras: (1) a hipótese
H0 é que a regra tem um retorno esperado de zero ou menos, (2) a
estatística de teste é o retorno médio da regra obtido por backtesting
em uma amostra histórica de dados, e (3) a distribuição amostral representa o
variação no retorno médio da regra se ela fosse testada em muitas amostras independentes. A
distribuição amostral é centrada em um retorno médio de
zero, refletindo a suposição afirmada por H0 .
Conforme discutido no Capítulo 4, a distribuição amostral pode ser derivada em
duas maneiras: a abordagem analítica da estatística clássica e via computador
simulação. Existem duas abordagens baseadas em computador: Monte-Carlo por mutação e
bootstrap. Ambos serão usados no estudo de caso apresentado
na Parte Dois.
Estatística de amostra
Testado
Desempenho
da regra
Desvio
Estatística de amostra
Distribuição de amostras
por
Retorno Médio
Desvio
FIGURA 5.7 Evidências não surpreendentes estão bem dentro da faixa de variação da
amostragem; H0 não rejeitado.
Estatística de amostra
Distribuição de amostras
por
Retorno Médio
Desvio
Esses diagramas transmitem uma noção intuitiva de como o tamanho do desvio entre
um valor observado e um valor hipotético (o valor previsto pela hipótese) é usado para
falsificar uma hipótese. Para ser rigoroso,
esta intuição deve ser quantificada. Isso é feito traduzindo a observação
desvio do valor em uma probabilidade - especificamente a probabilidade de observar um
desvio tão grande sob a condição de que o valor hipotético
é verdade. Uma probabilidade que depende da existência de um determinado
condição, neste caso que o valor hipotético é verdadeiro, é chamado de probabilidade
condicional. Dito de outra forma, uma probabilidade condicional é uma probabilidade
condicionada à veracidade de algum outro fato.
Em um teste de hipótese, essa probabilidade condicional recebe o valor especial
nome p-valor. Especificamente, é a probabilidade de que o valor observado de
a estatística de teste poderia ter ocorrido condicionado (dado que) o
hipótese que está sendo testada (H0 ) é verdadeira. Quanto menor o valor de p, maior é
nossa justificativa para questionar a verdade de H0 . Se o valor p for
inferior a um limiar, que deve ser definido antes da realização do ensaio,
H0 é rejeitado e HA aceito. O valor-p também pode ser interpretado como
probabilidade H0 será erroneamente rejeitada quando H0 for de fato verdadeira. Valor P
também tem uma interpretação gráfica. É igual à fração da área total da distribuição
amostral que se encontra em valores iguais e maiores que
o valor observado da estatística de teste.
Vamos considerar como tudo isso se refere ao teste de uma regra. Por exemplo, se
o retorno de uma regra em um teste de retorno foi de +3,5%, marcamos o valor
+3,5 por cento no eixo horizontal sobre o qual a distribuição da amostragem
senta. Em seguida, determinamos a fração da área da distribuição amostral
Machine Translated by Google
ocupando valores iguais ou superiores a +3,5 por cento. Suponha que essa área
seja igual a 0,10 da área total da distribuição amostral. O valor 0,10 é o valor p da
estatística amostral. Esse fato equivale a dizer que, se o retorno verdadeiro da
regra fosse zero, há uma probabilidade de 0,10 de que seu retorno em um backtest
atinja um valor tão alto quanto +3,5% ou mais devido à variabilidade amostral
(chance). Isso é ilustrado na Figura 5.9.
Hipótese Nula e
Distribuição de amostras
Retorno Médio
Estatística de teste:
+3,5% valor p = 0,10
0
Área = 0,10 da distribuição amostral total
FIGURA 5.9 P-Value: área fracionária de distribuição amostral maior que +3,5%,
probabilidade condicional de +3,5% ou mais, dado que H0 é verdadeiro.
Machine Translated by Google
O teste de hipóteses pode errar de duas maneiras. Diz-se que um erro do tipo I
ocorre quando um valor p baixo nos leva a rejeitar H0verdadeiro.
, mas na realidade
Esse seria
H0oécaso
quando uma regra é realmente desprovida de poder preditivo, mas por sorte ela gera
um backtest suficientemente lucrativo para que seu valor p seja baixo o suficiente
para justificar a rejeição de H0 . Este é um caso do pesquisador de regras sendo
enganado pela aleatoriedade. O segundo tipo de erro, chamado erro tipo II, ocorre
quando um valor p alto nos leva a reter H0 , quando na verdade é falso.
Em outras palavras, o back test nos enganou ao concluir que a regra não tem poder
preditivo, mas na verdade tem e seu retorno esperado é maior que zero.
Verdade
(A realidade só conhecida por Deus)
H0 Verdadeiro
Retorno de regra < = 0
H0 Falso
Retorno de regra > 0
O Bootstrap
O método bootstrap foi descrito pela primeira vez por Efron11 em 1979 e depois refinado
em várias publicações posteriores citadas no Computer Inten de Eric Noreen 12 O bootstrap
Métodos sivos para testar hipóteses. deriva uma amostra
distribuição da estatística de teste por reamostragem com substituição de um
amostra original.
Machine Translated by Google
Reamostra 3 Reamostra 2
1.231 Observações 1.231 Observações
BS Média = 1,9 BS Média = -1,8
Reamostra 1
1.231 Observações
BS Média = 0,8
Reamostrar 5.000
1.231 Observações 1.231 Observações
BS Média = -2,6
Média da amostra após
Ajuste = 0%
5000
Meios reamostrados
Média de 5.000 Médias
1------ 0,8 0%
2------ -1,8
3------ 1,9
5. Coloque esse retorno de volta no balde e, em seguida, mexa bem o balde (alguns estatísticos
preferem suas amostras agitadas em vez de agitadas).
6. Execute as etapas 4 e 5 exatamente N – 1 vezes mais (por exemplo, 1.230) criando um total
de N (1.231) observações selecionadas aleatoriamente. Isso conclui a primeira amostra
de bootstrap.
10. Compare o retorno médio observado da regra com a distribuição amostral e determine a
fração das 5.000 médias que compõem a distribuição amostral que excede o retorno médio
observado da regra para determinar o valor-p. Consulte a Figura 5.12.
Hipótese Nula
0%
Média
Regresso
de
Testado
Regra
valor p = 0,04
Série Temporal de
Valores de saída da regra +1 +1 +1 +1 -1 -1 -1 -1 -1 -1
SP500 randomizado Significa
Retorno1 -0,8 +0,3 -0,9 -2,6 +3,1 +1,7 -0,8 -2,6 +1,2 -0,4 Retorno1
Regra aleatória
-0,8 +0,3 -0,9 -2,6 - 3,1 -1,7 +0,8 +2,6 -1,2 +0,4
-0,62
Retorno1
Regra aleatória
-0,34
Retorno2 -0,4 +1,2 -2,6 -0,8 -1,7 - 3,1 +2,6 +0,9 -0,3 +0,8
Retorno3 -2,6 +1,7 -0,4 -0,9 -0,8 -0,8 +0,3 +1,2 -2,6 +3,1 Retorno3
Regra aleatória
-0,26
-2,6 +1,7 -0,4 -0,9 +0,8 +0,8 -0,3 -1,2 +2,6 -3,1
Retorno3
Para produzir valores adicionais de retornos médios da regra de ruído, a mesma série
temporal de valores reais de saída da regra é emparelhada com (permutadas com) várias
versões embaralhadas (randomizadas) de alterações de preço de mercado. A ilustração mostra
apenas três permutações de Monte Carlo, mas na prática isso seria feito um grande número de
vezes, talvez 5.000. Os 5.000 valores de retorno médio são então usados para formar a
distribuição amostral do retorno médio obtido por uma regra de ruído – uma regra sem poder
preditivo.
1. Obtenha uma amostra das mudanças de preço de mercado de um dia para o período de
tempo durante o qual a regra TA foi testada, eliminada conforme descrito no Capítulo 1.
2. Obtenha a série temporal dos valores diários de saída da regra durante o período de back-
test. Suponha para esta ilustração que havia 1.231 desses valores, um valor de saída de
regra para cada dia em que a regra foi testada.
5. Repita a etapa 4 até que todos os retornos na bandeja tenham sido emparelhados com um
valor de saída de regra. Neste exemplo, haverá um total de 1.231 desses pares.
6. Calcule o retorno para cada um dos 1.231 pares aleatórios. Isso é feito multiplicando o
valor de saída da regra (+1 para longo, -1 para curto) pela mudança de preço de um dia
para frente do mercado.
10. Coloque a taxa de retorno da regra testada na distribuição amostral e calcule o valor p (a
fração de retornos aleatórios da regra igual ou maior que o retorno da regra testada).
0,12
TT- 4-91
0,10 +4,84%
0,08
0,06
valor p
0,04 0,069
0,02
desempenho da regra TT-4-91 sobreposta. O valor p de 0,0692 indica que 0,069 das 5.000
médias bootstrap foram iguais ou maiores
de +4,84 por cento. Isso significa que se o retorno esperado da regra fosse
verdadeiramente igual a zero, cerca de 7 vezes em 100, a regra daria um retorno
de +4,84 por cento ou mais simplesmente devido ao acaso (variabilidade de amostragem).
Os estatísticos considerariam tal resultado como possivelmente significativo. Como será
visto no Capítulo 6, a quantidade de busca que levou à descoberta do
regra, especificamente se a regra foi encontrada entre um grande grupo de
regras retrotestadas, podem afetar o valor p e a significância da regra. Conseqüentemente, os
resultados aqui citados assumem que esta foi a única regra proposta para o backtesting.
1. A série temporal dos valores diários de saída da regra é apresentada em sua sequência
adequada ao longo do período de tempo do teste de retorno da regra. Como dito anteriormente
haverá 6.800 desses valores diários de +1 e –1.
2. Cada uma das 6.800 alterações de preço a prazo de um dia com tendência de baixa está em
escrito em uma bola. Essas 6.800 bolas são colocadas em uma lixeira.
Machine Translated by Google
ESTIMATIVA
Estimativas de pontos
Existem dois tipos de estimativas: ponto e intervalo. Uma estimativa pontual é um valor
único que se aproxima do parâmetro populacional, por exemplo, a regra tem um retorno
esperado de 10%. Uma estimativa de intervalo é um intervalo de valores dentro do qual
o parâmetro populacional se encontra com um determinado nível de probabilidade. A
seguinte declaração exemplificaria isso: O retorno esperado da regra está na faixa de
5% a 15% com uma probabilidade de 0,95.
não foi descrito como tal. Toda vez que computamos uma média amostral e
usá-lo para aproximar a média populacional, estamos fazendo uma estimativa pontual.
Este fato é facilmente esquecido. Alguns estimadores pontuais comumente usados são:
a média, a mediana, o desvio padrão e a variância. o
a estimativa é calculada a partir de uma amostra de observações retiradas da população.
Em outras palavras, uma estimativa pontual é uma estatística amostral. A fórmula
para calcular uma média amostral é mostrado na Figura 5.15.
O uso de meios (médias) é tão onipresente na AT que é tomado por
concedido, mas a média amostral acaba sendo um estimador elegante e poderoso. Ele
fornece um valor único que é, em um sentido importante, o melhor
(mais informativa) da média da população. Este é um fato importante.
x1 +x2+ x3
+n . . .xn
x=
n
ÿ xi
eu = 1
x= n
Onde Xi é uma observação individual na variável X
FIGURA 5.15 Média da amostra da variável X.
Machine Translated by Google
O que os intervalos de confiança nos dizem? Uma estimativa pontual tem valor limitado
porque não transmite nenhuma sensação de incerteza na estimativa.
por erro de amostragem. O intervalo de confiança resolve este problema por
combinar as informações da estimativa pontual com as informações
sobre a distribuição amostral do estimador.
Um intervalo de confiança é um intervalo de valores que circundam a estimativa
pontual. O intervalo é definido por valores superiores e inferiores chamados limites. Dentro
Além disso, o intervalo é acompanhado por um número de probabilidade que nos diz
quão provável é que o verdadeiro valor do parâmetro populacional caia dentro
os limites do intervalo de confiança. Por convenção a probabilidade é
declarado como uma porcentagem em vez de uma fração. Assim, um intervalo de confiança
de 90 por cento para a média tem uma probabilidade de 0,90 de incluir dentro de sua
limita o verdadeiro valor médio da população.
Ao pensar sobre o que um intervalo de confiança nos diz, é melhor
pense no que aconteceria se alguém construísse um grande número de 90
intervalos de confiança percentuais, cada um baseado em uma amostra independente de
dados retirados da população. Se isso fosse feito, cerca de 90 por cento
dos intervalos na verdade englobaria o valor da população
parâmetro. Por extensão, cerca de 10% dos intervalos de confiança
deixaria de incluir o parâmetro populacional. Isso é ilustrado na Figura 5.16 para 10 intervalos
de confiança. Dez é um número pequeno, que eu costumava
Machine Translated by Google
Significa
&
90% de confiança
Erro
Intervalos 90% CI
Por Falha ao
10 Independente Fechar
Amostras População
Significa
O pesquisador pode escolher qualquer nível de confiança desejado. Por exemplo, um nível
de confiança de 99 por cento contém a verdadeira média da população com uma probabilidade
de 0,99. É claro que há um preço a ser pago pelo nível mais alto de confiança – o intervalo é
mais amplo. Em outras palavras, o preço para uma maior confiança é a redução da precisão.
Observe na Figura 5.17, ao aumentar o nível de confiança para 99%, o erro cometido pelos 90%
Média IC de 99%
e Correto
99% Onde
Confiança 90% CI
Intervalos Foi
Por 10 Errado
Independente
Amostras
intervalo de confiança na Figura 5.16 foi eliminado. A taxa de erro reduzida foi
conseguida usando um intervalo de confiança mais amplo (menos preciso).
Se uma regra fosse testada novamente em cem amostras independentes
de dados e um intervalo de confiança de 90% fosse construído sobre o retorno
médio observado em cada amostra, aproximadamente 90% desses intervalos
de confiança conteriam o retorno verdadeiro ou esperado da regra na
população . A Figura 5.18 mostra um intervalo de confiança de 90% para uma
regra que obteve um retorno de 7% em um teste de retorno. Podemos ter
certeza, com uma probabilidade de 0,90, que a regra tem um retorno esperado
entre 2% e 12%.
Devolução de regra
Foi 7% em
Amostra Histórica
90%
Confiança
Intervalo
2% 12%
7%
Taxa de Retorno
FIGURA 5.18 Intervalo de confiança de 90 por cento para o teste de retorno de regra.
Machine Translated by Google
Amostragem
90% Distribuição da
Área média
Intervalos de Confiança
Derivado de
Distribuição de amostras
Significa
&
90% de confiança
Intervalos
para
10 Independente
Amostras
você
Hipotetizado
Retorno médio
Valor
em
População
Amostra Histórica
Parâmetro
0% 7%
FIGURA 5.21 A distribuição amostral posicionada para um teste de hipótese e posicionada para um intervalo
de confiança.
Machine Translated by Google
O método não tem nada a ver com estimar o valor de um parâmetro populacional ou testar uma
afirmação feita sobre seu valor. Como mencionado anteriormente,
o método de permutação de Monte Carlo testa uma afirmação sobre a informação
conteúdo dos sinais da regra. Especificamente, o H0 afirmado sob o Monte
O método de permutação de Carlo é que as posições longas e curtas ditadas por
a regra são desprovidos de informações úteis sobre futuras mudanças no mercado. Como não
há referência a um parâmetro populacional (por exemplo, retorno médio da regra), não há nada
para o qual criar um intervalo de confiança!
O procedimento de percentil de bootstrap para construir a confiança
intervalos funciona da seguinte forma: suponha que os retornos da regra tenham sido
reamostrados 5.000 vezes e uma média seja calculada para cada reamostragem. Isso seria
resultar em 5.000 valores diferentes para o retorno médio reamostrado. Nós sabemos
que devido à variabilidade da amostragem, essas médias serão diferentes. Em seguida, suponha
que o conjunto de 5.000 valores é organizado em ordem de classificação da média mais alta para
mais baixo. Então, dependendo do intervalo de confiança desejado, o maior x
por cento e mais baixo > x por cento dos valores são removidos da ordem
lista, onde
X=
2
intervalo de confiança para nos dizer que a regra não tem poder preditivo
enquanto a hipótese nos diz que tem. Em teoria, o teste de hipóteses e o
intervalo de confiança devem chegar à mesma conclusão nesta questão. Ou
seja, se o limite inferior de um intervalo de confiança de 90% nos diz que o
retorno esperado da regra é inferior a 0%, então um teste de hipótese no nível
de significância de 0,05 presumivelmente não rejeitaria a hipótese nula.
90% CI
0
Amostragem Nulo
Distribuição Hipótese Menos de 0,05 de
Posicionado para
Distribuição de Amostragem
Teste de Acima do Retorno Médio
Hipótese Nula
0 10
FIGURA 5.22 Conclusões potencialmente conflitantes: teste de hipótese versus
intervalo de confiança.
Machine Translated by Google
0,12
80%
0,10
0,08
0,06
0,04
0,02
Mineração de dados
Viés: o tolo
Ouro de
AT objetivo
Na mineração
desempenhode dados de regras,
observado muitas regrasOu
é selecionado. sãoseja,
testadas novamente
a mineração dee dados
a regraenvolve
com a melhor
uma
competição de desempenho que leva à escolha de uma regra vencedora. O problema
é que o desempenho observado da regra vencedora, que permitiu que ela fosse
escolhida sobre todas as outras regras, exagera sistematicamente o desempenho da
regra no futuro. Esse erro sistemático é o viés de mineração de dados.
Apesar desse problema, a mineração de dados é uma abordagem de pesquisa útil.
Pode-se provar matematicamente que, de todas as regras testadas, a regra com o
maior desempenho observado é a regra com maior probabilidade de fazer o melhor no
futuro, desde que um número suficiente de observações seja usado para computar
estatísticas de desempenho . Em outras palavras, vale a pena explorar os dados,
mesmo que o desempenho observado da melhor regra seja positivamente enviesado.
Este capítulo explica por que ocorre o viés, por que deve ser levado em consideração
ao fazer inferências sobre o desempenho futuro da melhor regra e como tais inferências
podem ser feitas.
Começo introduzindo este tópico um tanto abstrato com várias anedotas, das
quais apenas uma está relacionada à mineração de dados de regras. São aperitivos
destinados a tornar o material posterior mais digerível. Os leitores que desejam iniciar o
curso principal imediatamente podem optar por pular para a seção intitulada “Mineração
de dados”.
As definições a seguir serão usadas ao longo deste capítulo e são colocadas aqui
para conveniência do leitor.
Este relato a seguir é apócrifo. Alguns anos atrás, antes de começar a estudar estatística, fui
abordado por um empresário em busca de patrocinadores para um empreendimento do show
business que, segundo ele, seria extremamente lucrativo. O show era apresentar um macaco
que poderia escrever prosa shakespeariana dançando no teclado de um processador de texto.
A cada show, o macaco alfabetizado, a quem o promotor batizou de Bardo, era colocado
em um teclado e uma grande tela mostrava para uma platéia o que o macaco escrevia, enquanto
estava sendo escrito. Certamente, as pessoas correriam para ver o Bardo, e minha parte nas
vendas de ingressos renderia um belo retorno sobre o investimento necessário de US$ 50.000.
Pelo menos, essa foi a afirmação do promotor. “Não pode faltar!” foi seu refrão.
Fiquei intrigado, mas queria alguma prova de que o macaco poderia realmente produzir
prosa shakespeariana. Qualquer investidor faria. Me deram a prova. . . de uma espécie. Era o
que os contadores chamam de carta de conforto frio. A carta dizia: “Examinamos os trabalhos
anteriores do Bardo e ele de fato escreveu as palavras 'Ser ou não ser, eis a questão'. No
entanto, não estamos familiarizados com as circunstâncias em que essas palavras foram escritas.”
pedido não pôde ser atendido. O promotor impaciente explicou que o macaco era
temperamental e, além disso, havia muitos outros investidores ansiosos clamando para
comprar o número limitado de ações oferecidas. Então, aproveitei a oportunidade e
desembolsei $ 50.000. Eu estava confiante de que era apenas uma questão de tempo
até que os lucros começassem a fluir.
A noite do primeiro show chegou. O Carnegie Hall estava lotado com uma multidão
que aguardava ansiosamente as primeiras palavras. Com os olhos de todos grudados
na tela grande, a primeira linha de texto do Bardo apareceu.
As coisas foram ladeira abaixo rapidamente a partir daí. A platéia começou a gritar
por reembolso, eu vomitei e o Bardo defecou no teclado antes de sair correndo do palco.
Meu investimento subiu em uma nuvem de fumaça.
O que aconteceu? Pensando que não era importante, o promotor não divulgou um
fato fundamental. O Bardo foi escolhido entre 1.125.385 outros macacos, todos os quais
tiveram a oportunidade de dançar em um teclado todos os dias nos últimos 11 anos, 4
meses e 5 dias. Um computador monitorava todos os seus rabiscos para sinalizar
qualquer sequência de letras que combinasse com qualquer coisa já escrita por
Shakespeare. O Bardo foi o primeiro macaco a fazê-lo.
A culpa, Caro Brutus, foi do promotor sincero, mas estatisticamente ingênuo. Ele
foi iludido pelo viés da mineração de dados e atribuiu muita importância a um resultado
obtido pela mineração de dados. Apesar da minha perda, tentei não julgar o promotor
com muita severidade. Ele acreditava sinceramente que havia encontrado um macaco
verdadeiramente notável. Ele foi simplesmente enganado pela intuição, uma faculdade
inadequada para avaliar questões estatísticas e probabilísticas.
Coletores de estatísticas esportivas também foram seduzidos pelo viés da mineração de dados.
Por exemplo, há Norman Bloom, que concluiu que padrões interessantes e incomuns encontrados
nas estatísticas do beisebol provam a existência de Deus. Depois de milhares de pesquisas em
seu banco de dados, o dedicado minerador de dados encontrou padrões que ele acreditava
serem tão incríveis que só poderiam ser explicados por um universo ordenado por Deus.
Um dos padrões de Bloom foi o seguinte: George Brett, o homem da terceira base do
Kansas City, rebateu seu terceiro home run no terceiro jogo dos play offs, para empatar o placar
em 3 a 3. Bloom raciocinou que, para o número três estar conectado de tantas maneiras,
compeliu a conclusão de que era obra manual de Deus. Outro padrão interessante descoberto
por Bloom tinha a ver com o mercado de ações: o Dow Jones Industrial Average ultrapassou o
nível de 1.000 13 vezes em 1976, milagrosamente semelhante ao fato de que havia 13 colônias
originais que se uniram em 1776 para formar os Estados Unidos.
Como apontado por Ronald Kahn,2 Bloom cometeu vários erros no caminho para suas
conclusões injustificadas. Primeiro, ele não entendia o papel da aleatoriedade e que coincidências
aparentemente raras são de fato bastante prováveis se pesquisarmos o suficiente. Bloom
encontrou seus padrões místicos avaliando milhares de possíveis combinações de atributos. Em
segundo lugar, Bloom não especificou o que constituía um padrão importante antes de iniciar
suas buscas. Em vez disso, ele tomou a liberdade de usar um critério arbitrário de importância
definido após o fato. O que quer que lhe parecesse interessante e incomum era considerado
importante. Kahn ressalta que é garantido descobrir padrões “interessantes” quando eles são
procurados de maneira tão indisciplinada.
Os Códigos da Bíblia são grupos de palavras embutidas no texto que são descobertas
ligando letras separadas por um número específico de espaços intermediários ou outras letras.
Essas palavras construídas são chamadas de sequências de letras iguais ou ELS. Os
pesquisadores de código concedem a si mesmos
Machine Translated by Google
Cumulativo
Ganhos
Observado
$
atuação
50%. ROI
Tempo
Como será mostrado, o desempenho observado de uma regra pode ser decomposto em
dois componentes independentes: a aleatoriedade e o poder preditivo inerente à regra. Destes
dois, a aleatoriedade é de longe o mais
componente dominante. Assim, a regra com o melhor desempenho observado
foi provavelmente o beneficiário da boa sorte. Ou seja, aleatoriedade
impulsionou o desempenho da regra acima do nível atribuível ao seu verdadeiro poder preditivo,
se o possuisse. O contrário é o caso da regra
com o pior desempenho observado. Provavelmente foi impactado negativamente pela sorte. Ao
selecionar a regra com o maior desempenho observado, o minerador de dados acaba escolhendo
uma regra que experimentou um grande
componente da boa sorte. Porque a sorte não pode ser contada para repetir,
o desempenho fora da amostra dessa regra provavelmente voltará a um nível
que é representativo de seu poder preditivo inerente. Isso torna provável que o desempenho
fora da amostra seja inferior ao nível de desempenho que permitiu que a regra vencesse a
competição por desempenho. o
Conclusão: a deterioração do desempenho fora da amostra da melhor regra é
provavelmente uma queda de uma expectativa irrealisticamente alta, em vez de
um declínio real no poder preditivo da regra.
MINERAÇÃO DE DADOS
A mineração de dados pode ser entendida como uma pesquisa de especificação. Quer dizer, é
é uma busca pelas especificações da regra que produz o melhor desempenho. As
especificações são um conjunto de operações matemáticas e/ou lógicas aplicadas a uma ou
mais séries de dados de mercado, transformando-as
em uma série temporal de posições de mercado ditadas pela regra.
Suponha que a regra definida abaixo seja a regra de melhor desempenho:
Mantenha uma posição longa no S&P 500 se a relação entre o fechamento médio da
Dow Jones Trans portation dividido pelo fechamento do S&P 500 for maior que
sua média móvel de 50 dias, senão mantenha uma posição curta.
A regra é especificada por dois operadores matemáticos: razão e média móvel; dois
operadores lógicos: o operador de desigualdade maior que,
a condicional if, then, else; uma única constante numérica: 50; e dois dados
série: Dow Jones Transports e S&P 500. A mineração de dados descobriu que
esse conjunto de especificações produziu melhor desempenho do que qualquer conjunto
alternativo de especificações testado.
Tipos de pesquisas
começando com a pesquisa mais restrita e progredindo para a mais ampla. Todas as abordagens
de mineração de dados, sejam elas de pesquisa simples e restrita ou
amplamente usando os métodos mais avançados estão sujeitos a viés de mineração de dados.
Pesquisa de regras. Uma versão mais ampla da mineração de dados é a pesquisa de regras.
Aqui, o universo das regras difere em sua forma conceitual, bem como em sua
valores de parâmetros. A regra de cruzamento de média móvel dupla é um formalismo para seguir
tendências. Assim, é simplesmente uma forma na categoria mais ampla de regras de
acompanhamento de tendências que também incluem quebras de canal,
bandas de média móvel, e assim por diante. A categoria geral de regras de acompanhamento de
tendências é apenas uma categoria de análise técnica entre outras
que incluem regras de contratendência (reversão à média),22 regras de valores extremos,
Machine Translated by Google
regras de divergência,23 regras de difusão e assim por diante. Cada categoria pode ser
realizada com inúmeras formas de regras específicas.
A Parte Dois deste livro apresenta um estudo de caso de mineração de dados baseado
na busca de regras. O estudo se concentrará em três categorias ou temas de regras:
tendências, valores extremos e transições, e divergência. Cada tema é realizado com uma
forma de regra específica, que é definida no Capítulo 8.
Embora a busca de regras considere uma infinidade de formas de regras, cada regra
complexidade permanece fixa ao longo da pesquisa. Complexidade refere-se ao número de
parâmetros necessários para especificar a regra. Dentro
outras palavras, a busca de regras, conforme definido aqui, não envolve a combinação
regras simples para produzir regras mais complexas
PESQUISA OBJETIVO
Nem todo backtesting é mineração de dados. Quando apenas uma única regra é proposta e
testada, não há mineração de dados. Este modo de pesquisa é ilustrado na Figura 6.2. Se o
teste de retorno da regra se mostrar insatisfatório, as pesquisas param e outros meios mais
práticos de ganhar a vida são considerados.
Ideia de regra
Regra do programa
Voltar Teste
Desempenho observado
Pegue
Trabalho
SIM McDonald's
Parar pesquisa
Comece a negociar
Ideia de regra
Regra do programa
Desempenho observado
Começar
Mineração
SIM
Parar pesquisa
Comece a negociar
No backtesting de regra única, o retorno médio da regra testada pode ser legitimamente
usado como uma estimativa imparcial do retorno esperado da regra. Em outras palavras, o retorno
futuro mais provável da regra testada é seu retorno testado. Isso é apenas uma reafirmação de
algo abordado no Capítulo 4. Lá, aprendemos que uma média amostral fornece uma estimativa
imparcial da média da população parental que deu origem à amostra. A média amostral pode errar
devido à variação aleatória da amostragem. Pode ser maior que a média da população ou menor
que ela, mas nenhum dos erros é mais provável. Este princípio refere-se ao caso de um backtest
de regra única.
O retorno médio da regra em um teste de retorno é uma estimativa imparcial de seu retorno
esperado no futuro. E embora seu retorno médio histórico seja de fato o retorno mais provável no
futuro, seu desempenho pode ser maior ou menor, sem que nenhum dos dois seja mais provável.
Isso é ilustrado na Figura 6.4.
Cumulativo
Ganhos
$
Esperado
atuação
Observado
atuação
Back-Test
+/-
Variação aleatória
Na amostra Futuro
Tempo
desempenho testado serve como critério de seleção. Ou seja, é usado para identificar a
melhor regra. Os retornos médios de todas as regras retrotestadas são comparados e aquela
com o maior retorno é selecionada. Isso também é um uso perfeitamente legítimo da
estatística de desempenho do teste de retorno (observado).
É legítimo no sentido de que a regra com o maior retorno médio testado a posteriori é,
de fato, a regra com maior probabilidade de ter o melhor desempenho no futuro. Isso
certamente não é garantido, mas é a inferência mais razoável que pode ser feita. Uma prova
matemática formal desta afirmação é oferecida por White.25
Cumulativo
Ganhos
Falsa expectativa
$ Dados
Mineração
Observado Tendência
atuação Esperado
Melhor regra Desempenho
da Melhor Regra
Na amostra Futuro
Tempo
Esta seção discute a conexão entre viés de mineração de dados e inferência estatística. Esta
seção cobrirá os seguintes pontos: (1) a distinção entre estimadores tendenciosos e não
tendenciosos, (2) a distinção entre erro aleatório e erro sistemático (ou seja, viés), (3) o fato de
que estimadores não tendenciosos sofrem de erro aleatório mas estimadores tendenciosos
sofrem tanto com erros aleatórios quanto com erros sistemáticos, (4) declarações estatísticas
são verdadeiras para um grande número de observações, como um grande número de
estimativas, e (5) o viés de mineração de dados é um efeito que aparece geralmente em muitas
instâncias de mineração de dados; portanto, não podemos dizer que qualquer resultado
específico de mineração de dados seja tendencioso.
Diz-se que um erro positivo ocorre quando o valor observado é maior que o valor verdadeiro.
O erro negativo é o inverso. Se uma balança indica que uma pessoa pesa 140 libras, mas na
verdade pesa 150, o erro é negativo 10 libras.
Existem dois tipos distintos de erro: imparcial e tendencioso (sistema ático). Todas as
observações estão infectadas com algum grau de erro imparcial.
Nenhum instrumento ou técnica de medição é perfeito. Este tipo de erro tem um valor esperado
de zero. Isso significa que se um grande número de observações for feito sobre algum fenômeno,
como o retorno de uma regra, e essas observações forem afetadas apenas por erro imparcial,
os valores observados
Machine Translated by Google
será distribuído ao acaso sobre o valor real. Se uma média fosse calculada para
todos esses erros, a média seria aproximadamente zero. Consulte a Figura 6.6.
Verdadeiro
& Probabilidade
Distribuição
Provavelmente
Do
Observado
Observado
Valor
Valores
A maioria
Probabilidade
Distribuição
Provável Do
Observado
Observado
Valor Valores
Verdadeiro
Valor
Para dizer o óbvio, uma estatística histórica de desempenho não pode ser colocada
no banco ou ser usado para comprar uma Ferrari. Sua única utilidade econômica é a inferência
que nos permite fazer sobre o desempenho futuro da regra que
o produziu. Técnicos objetivos usam o desempenho testado para fazer
uma inferência sobre o desempenho esperado de uma regra na forma de um intervalo de
confiança ou um teste de hipótese. Em ambos os casos, a precisão da inferência dependerá do
tipo de erro: imparcial ou sistemático, e sua
magnitude.
Estatísticas tendenciosas são afetadas por erros sistemáticos. Conforme declarado
anteriormente em um teste de regra única, o retorno médio é uma estatística imparcial.
Portanto, inferências sobre o retorno esperado da regra com base no back-test
o desempenho estará sujeito apenas a uma forma de erro imparcial chamada variabilidade de
amostragem.
Isso, no entanto, não é o caso da melhor regra encontrada por meio de mineração de dados.
O retorno médio observado da regra de melhor desempenho é um resultado positivo
estatística tendenciosa. Como resultado, as inferências baseadas nele serão sistematicamente
em erro. Isso significa que, ao realizar um teste de hipótese, seria
estar propenso a rejeitar a hipótese nula com mais frequência do que o nível de significância
sugeriria. Por exemplo, em um nível de significância de 0,05
espera-se rejeitar a hipótese nula com erro apenas 5 vezes em 100.
No entanto, se o desempenho observado for positivamente enviesado, então H0
ser rejeitado com mais frequência do que deveria, talvez com muito mais frequência.
Isso resultará na negociação usando regras que parecem ter
poder, mas na verdade não. A questão é: O que faz com que o back-tested
retorno da melhor regra, a regra escolhida pelo minerador de dados, para exagerar sua
verdadeiro poder preditivo?
Machine Translated by Google
Significa
Do
Cinquenta Meios
Média Máxima
Dentre
Cinquenta Meios
+37%
-30% 0 +30%
Taxa de retorno observada
FIGURA 6.8 Desempenho observado de 50 testes de retorno de regra.
Machine Translated by Google
Nulo
f
Hipótese
Observado
Esperado = 0% atuação
Melhor Regra de
50
Relativo Distribuição de amostras 37%
De Uma Única Amostra
Significa
Frequencia.
FIGURA 6.9 Distribuição de amostragem tradicional (não leva em conta a mineração de dados
tendência).
Machine Translated by Google
Nulo
Hipótese
Esperado = 33%
f Observado
atuação
37%
Relativo
Distribuição de amostras
Frequencia.
De Multimédia
valor p > 0,45
Máximo
O espectro da aleatoriedade
É útil pensar em um espectro de aleatoriedade. Este conceito é representado na Figura
6.12.26 Em uma extremidade do espectro, o desempenho observado é
Observado Esperado
atuação
= atuação +/- Aleatoriedade
Macacos
Como
Matemático Autores
Provas
Regras de AT
Mérito Sorte
Domina Domina
FIGURA 6.12 Espectro de aleatoriedade – contribuições relativas de mérito versus sorte
nos resultados observados.
Machine Translated by Google
dominada pela aleatoriedade. Neste extremo, todas as performances são puramente uma
questão de sorte. Aqui encontramos obras literárias de macacos dançando na palavra
processadores e resultados de jogadores de loteria. Na outra extremidade do espectro, o
desempenho observado é dominado pelo mérito ou comportamento sistemático. Nesse extremo,
é apenas o mérito que importa. Produzindo uma prova válida
de um teorema matemático reside aqui. Muito próximos são observados
performances de músicos de nível de concerto. Também neste bairro temos
encontrar as leis da física cujas previsões altamente precisas são feitas
possível pelo comportamento ordenado de certos aspectos da natureza.
No meio do espectro de aleatoriedade estão os problemas de mineração de dados mais
interessantes. Quanto mais distante da extremidade aleatória do espectro
um vai, maior o risco de viés de mineração de dados. Em direção à extremidade direita de
o continuum, encontramos uma região que contém as regras TA. A complexidade e aleatoriedade
dos mercados financeiros nos asseguram que mesmo as regras mais poderosas serão
fracamente preditivas. Nesta zona, a magnitude da
o viés de mineração de dados será grande.
Agora chegamos a um princípio importante. Quanto maior a contribuição
de aleatoriedade (sorte) em relação ao mérito no desempenho observado, o
maior será a magnitude do viés de mineração de dados. A razão é esta:
Quanto maior o papel da sorte em relação ao mérito, maior a chance de
uma das muitas regras candidatas experimentará uma sorte extraordinariamente
atuação. Este é o candidato que será selecionado pelo minerador de dados.
No entanto, em situações em que o desempenho observado é estritamente ou principalmente
devido ao verdadeiro mérito de um candidato, o viés de mineração de dados será inexistente
ou muito pequeno. Nesses casos, o desempenho passado de um candidato será um preditor
confiável do desempenho futuro e o minerador de dados raramente preencherá o
funil com ouro de tolo.
Como os mercados financeiros são extremamente difíceis de prever, a maior parte de um
desempenho observado da regra será devido à aleatoriedade e não à sua
poder preditivo. Assim, a equação dada anteriormente na Figura 6.11 pode
ser melhor ilustrado como na Figura 6.13. O grande papel da aleatoriedade
em relação ao mérito (ou seja, poder preditivo) torna provável que os dados da regra TA
mineração será infectada com um grande viés.
A gama de problemas para os quais os procedimentos de comparação múltipla
pode ser aplicado pode ser visualizado como estando ao longo do espectro da aleatoriedade.
Em direção ao extremo aleatório do espectro está uma faixa associada a
Observado Preditivo
= Poder
+/– Aleatoriedade
atuação
Mineração de dados da regra TA. Eu usei um intervalo para representar a mineração de dados de regras em vez de
do que um único local para indicar que o nível de aleatoriedade irá variar
de um empreendimento de mineração para outro. Como será demonstrado mais adiante neste
capítulo, o nível de aleatoriedade em qualquer empreendimento de mineração de dados é
determinado por cinco fatores independentes.27 Quando esses fatores são levados em consideração
consideração, torna-se possível desenvolver procedimentos de significância estatística que são
mais capazes de lidar com o viés de mineração de dados. Em outros
palavras, torna-se possível calcular a significância estatística de ou
intervalo de confiança para uma regra que foi descoberta pela mineração de dados. Esses
procedimentos aliviam o problema-chave enfrentado por praticantes objetivos de AT que usam
mineração de dados para descoberta de conhecimento.
Esperado
atuação
Mérito Superior
Candidato
Probabilidade
Esperado
atuação
Menor
Candidato
Pobre Excelente
atuação
FIGURA 6.14 Baixa aleatoriedade – pequeno diferencial de mérito. O verdadeiro mérito brilha
através do nevoeiro da aleatoriedade.
que não há sobreposição nas distribuições, de modo que, mesmo que o melhor
candidato tenha um desempenho azarado (ou seja, no extremo inferior da distribuição)
e o menor candidato tenha um extremamente sortudo, o melhor candidato ainda será
selecionado. Essa é outra maneira de dizer que é improvável que a aleatoriedade
inflacione o desempenho do concorrente inferior o suficiente para que ele seja
selecionado em detrimento do candidato de maior mérito.
Probabilidade
Esperado
Retorno = 0%
Possível Possível
Mas Mas
Cru Cru
aumenta a chance de haver alguém sortudo o suficiente para ganhar duas vezes, quanto maior
o número de regras testadas novamente aumenta a chance de uma regra ter um desempenho
observado extraordinariamente sortudo. Esta é a regra que seria escolhida pelo minerador de
dados. Conclusão: quando o desempenho observado se deve principalmente à aleatoriedade, é
provável que o melhor desempenho observado, entre um grande conjunto de desempenhos
observados, seja em grande parte um efeito da aleatoriedade.
Para ver como a sorte pode afetar um minerador de dados, imagine que você está
observando um minerador de dados no trabalho. Além disso, imagine que você está na posição
afortunada de saber o que nenhum minerador de dados sabe, o verdadeiro retorno esperado de
cada regra que é testada novamente. Suponha que o minerador de dados teste doze regras
diferentes e você saiba que cada uma das regras tem um retorno esperado de 0%. Tudo o que
o minerador de dados conhece são os retornos observados produzidos pelo teste de retorno de
cada regra. Na Figura 6.16, o desempenho observado de cada regra é representado por uma
seta na distribuição de probabilidade. Cada distribuição é centrada em zero, refletindo o fato de
que cada regra tem uma taxa de retorno esperada de zero. Observe que uma regra deu sorte,
produzindo um retorno observado de +60%. Esta é a regra que seria selecionada pelo minerador
de dados. Nesse caso, o viés de mineração de dados foi positivo em 60%.
0 0 0
0 0 0
0 0 0
0 0 0
60%
FIGURA 6.16 Doze regras diferentes (cada uma tem um retorno esperado de 0%).
0 0 0 0 0 0 100%
0 0 0 0 0 0
0 0 0 0 0 0
0 0 0 0 0 0
0 0 0 0 0 0
FIGURA 6.17 A mineração de dados com mais regras aumenta a probabilidade de uma sorte mais extrema.
Machine Translated by Google
Retorno esperado
Candidato ao Mérito Superior
Probabilidade
Retorno esperado
Candidato ao Mérito Menor
Baixo Alto
0
atuação
Probabilidade
Esperado Esperado
Retornar Mau Retornar
Regra inferior Sorte Regra Superior
Excelente
Sorte
Baixo Alto
0 +20%
atuação
minerador de dados nunca consegue ver todas as consequências do viés de mineração de dados
até que, como diz a música, o futuro é passado.
Grande
Dados
Mineração
Tendência
Sem preconceito
MÉRITO SORTE
Espectro de Aleatoriedade
Os Cinco Fatores Definidos. Cinco fatores determinam o grau de viés de mineração de dados.
Eles são:
Como cada fator afeta o viés de mineração de dados. As Figuras 6.21 a 6.25 descrevem as
relações entre cada um dos cinco fatores e
Machine Translated by Google
Grande
Preconceito de DM
1 Muitos
Grande
Preconceito de DM
1 Muitos
Número de Observações
FIGURA 6.22 Número de observações usadas para calcular a estatística de desempenho (2).
Grande
Preconceito de DM
Coeficiente de Correlação
Grande
Preconceito de DM
0
Baixo Alto
Grande
Preconceito de DM
O leitor astuto se perguntará como tais curvas poderiam ter sido desenvolvidas, uma vez
que o desempenho esperado de uma regra nunca é conhecido (é um parâmetro populacional),
mas deve ser conhecido para medir o viés de mineração de dados. O leitor está correto; o viés
de mineração de dados nunca é conhecido por regras reais. No entanto, pode ser conhecido por
regras artificiais e, portanto, pode ser investigado. Uma regra artificial é um sinal de negociação
simulado por computador
Machine Translated by Google
INVESTIGAÇÃO EXPERIMENTAL
DO VIENCIAMENTO DE DATA-MINING
média de n meses
Retorno = ?
Absoluto $
Por mês
Devoluções
S&P 500
Dispositivo aleatório ATR
1928 -2003 Com atuação
Probabilidade de História
Aleatório Mês lucrativo Do
Definir experimentalmente M meses
Amostragem
Com
Substituição
Vamos considerar qual seria o retorno esperado para um ATR sob quatro
configurações diferentes de probabilidade de ganho mensal: 1,0, 0,63, 0,50 e 0,0.
Um ATR com p(ganho) definido em 1,0 (todos os meses lucrativos) teria um
retorno mensal esperado igual ao retorno mensal absoluto médio do S&P 500 de
+3,97% ao mês ou um retorno anualizado não composto de 47,6%. Esse valor
pode ser obtido inserindo-se na fórmula do valor esperado de uma variável
aleatória. A mesma fórmula nos diz que um ATR com probabilidade de um mês
de ganho definido para 0,63 teria um retorno esperado de +12,4%. Um ATR com
probabilidade de ganho igual a 0,50 teria um retorno esperado de zero, enquanto
uma probabilidade de ganho igual a zero teria um retorno de -3,97% ao mês ou
-47,6% ao ano.
Tenha em mente que estes são valores esperados que seriam ganhos ao
longo de um número muito grande de meses. Ao longo de qualquer pequeno
número de meses, o retorno médio observado do ATR pode variar deste valor.
Quanto menor o número de meses que compõem o histórico de desempenho do
ATR, maior será a variação aleatória do retorno médio esperado.
Para simular o efeito da mineração de dados, por exemplo, escolhendo o
ATR de melhor desempenho de 10, foram gerados 10 históricos de desempenho
de ATR. Foi selecionado aquele com maior média de retorno e anotado o seu
retorno observado. Este processo foi repetido um total de 10.000 vezes. As
10.000 observações foram usadas para formar a distribuição amostral para a
estatística – retorno médio do ATR de melhor desempenho selecionado entre 10.
Fator 1: Número de Regras Testadas. Tudo o mais sendo igual, quanto mais regras forem
testadas para encontrar a melhor regra, maior será o viés de mineração de dados.
Mais macacos dançando em teclados aumentam a probabilidade de alguém ter a sorte de digitar
algo que pareça alfabetizado. Da mesma forma, testar novamente um número maior de regras
aumenta a chance de desfrutar de uma sorte extraordinária.
Nos testes que se seguem, cada ATR foi simulado ao longo de um período de 24 meses.
Primeiro, vamos olhar para o caso sem mineração de dados - apenas uma regra é testada
novamente. Não há mineração de dados e nenhum viés de mineração de dados. Embora um
ATR com p(ganho) definido em 0,50 tenha um retorno esperado igual a zero, a variabilidade da
amostragem torna possível que qualquer histórico de 24 meses produza um retorno médio que
varia acima e abaixo de zero.
Para demonstrar isso, 1.000 históricos de desempenho de ATR, cada um com 24 meses
de duração, foram produzidos por simulação de computador. A distribuição amostral para o
retorno anualizado médio estatístico é mostrada na Figura 6.27. Como esperado, a distribuição
é centrada em zero, que é de fato o retorno esperado de um ATR com p(ganho) definido como
0,50. Também como esperado, o retorno médio apresenta uma ampla faixa de variação em torno
de zero porque 24 observações é um tamanho de amostra relativamente pequeno. Alguns ATRs,
aqueles que estão na cauda direita da distribuição de amostragem, tiveram muita sorte (mais de
50 meses acabaram sendo lucrativos). Na cauda esquerda da distribuição, encontramos os
históricos de desempenho com azar. No entanto, é o centro da distribuição amostral que conta a
história. Em média, sob a condição de não mineração de dados, pode-se esperar que um ATR
sem poder preditivo
250
200
150
100
50
FIGURA 6.27 Retorno percentual médio anualizado (ATR único, histórico de 24 meses,
1.000 replicações).
Machine Translated by Google
obter um retorno médio de zero. Como os próximos testes mostrarão, quando um ATR
de melhor desempenho é escolhido entre dois ou mais ATRs, o melhor provavelmente
mostrará um retorno maior que zero, mesmo que tenha um retorno esperado de zero.
Agora estaremos minerando dados escolhendo o melhor ATR de dois ou mais.
Para examinar a relação entre o tamanho do viés de mineração de dados e o número
de regras das quais o melhor é selecionado, vamos variar o tamanho do universo ATR
– o número do qual o melhor é escolhido. Especificamente, o viés é medido para o
melhor ATR de 2, 10, 50 e 400. Por exemplo, se o número de ATRs foi definido em 10,
o de melhor desempenho entre 10 foi escolhido e seu retorno médio observado foi
anotado. Esse procedimento foi repetido 10.000 vezes e a distribuição amostral para a
estatística (retorno observado do melhor ATR) foi plotada. Todos os históricos de
desempenho são de 24 meses, todas as regras são definidas como p(ganho) = 0,50
(retorno esperado = 0) e todas as regras são definidas para ter retornos independentes
(sem correlação). Como todos os ATRs esperavam retornos iguais a zero, o viés de
mineração de dados é simplesmente igual ao retorno observado do melhor desempenho
em média em 10.000 replicações.
8,5% Observado
Esperado Retornar
Retornar 0% Melhor
f
Melhor ATR
ATR Do
2 Regras
Relativo
Frequencia.
Viés de mineração
de dados
+8,5%
A Figura 6.29 é semelhante a 6.28, exceto que mostra a distribuição amostral para o retorno
médio observado para o melhor de 10 ATRs. O desempenho observado dos melhores de 10
ATRs é enviesado em +22%.
Quando o tamanho do universo de mineração de dados é expandido para 50 ATRs, o viés
aumenta para +33%. A Figura 6.30 mostra a distribuição amostral para o retorno médio dos
melhores de 50 ATRs.
Um gráfico semelhante, na Figura 6.31, mostra que o viés de mineração de dados em
aumenta para +48% para os melhores de 400 ATRs.
A relação entre o número de ATRs testados e o viés de mineração de dados pode ser vista
na Figura 6.32. Ele resume os resultados obtidos para
22% Observado
Esperado Retornar
Retornar 0% Melhor
f
Melhor ATR
ATR De
10
Relativo
Frequencia.
Mineração de dados
Viés
+22%
33% Observado
Esperado Retornar
Retornar 0% Melhor
f
Melhor ATR
ATR De
50
Relativo
Frequencia.
Mineração de dados
Preconceito +33%
48% Observado
Esperado Retornar
Retornar
0% Melhor
f
Melhor ATR
ATR De
400
Relativo
Frequencia.
Mineração de dados
Preconceito +48%
60%
50%
D
M 40%
B 30%
EU
UMA
20%
S
10%
12 10 50 400
Número de regras testadas (escala logarítmica)
FIGURA 6.32 Viés de mineração de dados versus número de regras testadas (retorno percentual
anualizado): histórico de desempenho de 24 meses.
melhor de 2, 10, 50 e 400 ATRs. O eixo vertical representa a magnitude do viés de mineração
de dados - o diferencial entre os retornos observados para o ATR de melhor desempenho e
seu retorno esperado. O eixo horizontal representa o número de ATRs testados para
encontrar o melhor. A relação é resumida ajustando uma curva através dos quatro pontos de
dados. É quase linear quando o número de regras testadas é plotado em termos de log —
log (base10).
O principal ponto a ser retirado desses experimentos é o seguinte: quanto maior o número
de regras testadas para encontrar a melhor regra, maior o viés de mineração de dados.
Machine Translated by Google
96
D 10 meses.
84
M
72
B 60 24 meses.
EU
48
UMA
S 36
100m.
24
%
12 1000m.
Ano
1 4 16 64 256 1024
FIGURA 6.33 Viés de mineração de dados versus número de ATRs testados para diferentes tamanhos
de amostra.
-10% 0 +10%
o melhor de 100 ATRs. Como em experimentos anteriores, todos os ATRs foram configurados para ter
retornos esperados iguais a zero.
A Figura 6.35 mostra a relação entre o viés de mineração de dados em
o eixo vertical versus o número de observações usadas para calcular
ATR média retorna no eixo horizontal. Porque o retorno esperado
para todos os ATRs é igual a zero, o viés de mineração de dados é igual à média
desempenho observado dos melhores. Assim, o eixo vertical, que é rotulado como viés de
mineração de dados, poderia facilmente ter sido rotulado como desempenho médio da melhor
regra. Observe o declínio acentuado na magnitude de
96
D 84
M
72
B
60 Desempenho observado
EU
Em termos práticos, é mais provável que a correlação de regras seja alta quando os dados
mineração envolve otimizar os parâmetros de um formulário de regra específico. Suponha que
uma regra de cruzamento de média móvel dupla esteja sendo otimizada. Isso significa
que todas as regras testadas são as mesmas, exceto pelos valores dos parâmetros - o
número de dias usados para calcular as médias móveis de curto e longo prazo. A regra usando
valores de 26 dias e 55 dias produzirá retornos
que são altamente correlacionados com uma regra usando valores de 27 e 55.
A Figura 6.36 mostra a relação entre a magnitude do viés de mineração de dados para a
melhor regra (eixo vertical) e o grau de correlação
Machine Translated by Google
Mineração
Tendência
12 Melhor de 10 ATRs
%
Ano 6
0
0,2 0,4 0,6 0,8 1,0
Correlação de regras
FIGURA 6.36 Viés de mineração de dados versus correlação de regras (número de retorno
percentual anual de observações mensais = 100).
(eixo horizontal) entre as regras. A correlação de regras foi simulada da seguinte forma: Foi gerado
um histórico inicial de desempenho do ATR. Na geração
de um segundo histórico de ATR, um dispositivo aleatório tendencioso foi consultado para
determinar os retornos mensais do histórico de ATR 2. O viés foi definido para o valor desejado
nível de correlação. Por exemplo, se uma correlação de 0,7 foi desejada, um lançamento de moeda
foi simulado com a probabilidade de cara = 0,70. Se a moeda caiu em
cabeças, então o retorno mensal para o segundo ATR seria o mesmo que
o retorno mensal do ATR inicial. Isso foi continuado para os seguintes
Histórias do ATR.
Cada ATR foi simulado ao longo de um histórico de 100 meses. Três diferentes
testes foram executados, cada um baseado em um número diferente de ATRs: 10, 100, 1.000.
Em outras palavras, um teste mede o viés de mineração de dados associado a
a melhor regra ATR de 100. Como nos testes anteriores, todas as regras esperavam retornos
iguais a zero. O eixo vertical do gráfico representa o viés de mineração de dados. O fator que está
sendo examinado aqui, correlação de regras, foi variado
de 0 a 1,0. Observe que o viés permanece alto até que as correlações de regras se aproximem de
um nível de 1,0. Assim, a correlação de regras não tem um grande impacto
na redução do viés de mineração de dados até que haja um alto nível de correlação
seus retornos. Observe também que o viés de mineração de dados é maior para o melhor
1.000 regras do que é para melhor de 10. Isso é simplesmente uma manifestação do fator
1, quanto maior o número de regras das quais o melhor é selecionado,
maior o viés de mineração de dados.