Podemos confiar nos resultados de nossas pesquisas?

Uma Avaliação dos Procedimentos Metodológicos nos

Artigos de Marketing do EnANPAD

Autoria: Michelle Helena Kovacs, André Luiz Maranhão de Souza Leão, Ricardo S. Gomes
Vieira, Lourdes Barbosa, Cecilia de Melo Dias

Resumo

Para a evolução da pesquisa científica é importante que os pesquisadores tenham

consciência da importância dos métodos empregados nas suas investigações. Com isto em
mente, desenvolvemos o presente trabalho com o objetivo de investigar a ênfase e os critérios
metodológicos utilizados na produção acadêmica de marketing no país, com vistas a avaliar o
nível de rigor e cuidados que estão sendo adotados em nossas pesquisas. Para tal, realizamos
uma desk research com base nas principais variáveis de seleção metodológica previstas na
literatura, utilizando como base de análise todos os artigos de marketing publicados durante
cinco anos de EnANPAD, por reconhecermos que se trata do principal fórum da
Administração no Brasil. Os resultados apontam uma academia extremamente empiricista e
fundamentalmente quantitativa, mas que, apesar disto, comete pecados imperdoáveis nesta
perspectiva, como falhas ou omissões em relação a critérios de validade, confiabilidade e
amostragem, numa tendência que tem se mantido constante ao longo dos anos avaliados.

1. Introdução

Para a evolução da pesquisa científica é importante que os pesquisadores tenham

consciência da importância dos métodos empregados nas suas investigações, pois a
credibilidade e a repercussão que seus estudos podem alcançar dependem fortemente da
adequação e do rigor do método de pesquisa escolhido. Os desenhos de pesquisas,
relacionados à instrumentação, análise de dados, validade, dentre outros, afetam os tipos de
conclusões a que as pesquisas pretendem chegar e, portanto, a sua própria utilidade e
legitimidade (SACKETT e LARSON, 1990).
Os requisitos para a utilização de um método adequado estão relacionados à
significância das contribuições metodológicas, à adequação da base conceitual do estudo e à
aderência e adequação da estratégia metodológica (BARTUNEK et al., 1993). Assim, faz-se
necessário que o pesquisador de administração de marketing demonstre o valor da
contribuição de uma pesquisa para a academia e para o mercado empresarial por meio da
geração do conhecimento e da demonstração de que a escolha e o uso de um dado método
pôde apreender corretamente o fenômeno pesquisado.
Certamente esta não é uma tarefa fácil. McGrath (1982) defende que não é possível
realizar um estudo perfeito; que qualquer método de pesquisa terá, necessariamente, falhas.
Contudo, parece claro que as escolhas sobre os métodos dos estudos, os desenhos de
pesquisas e as análises utilizadas têm importantes implicações para a geração do
conhecimento, o que exige que o pesquisador seja o mais crítico e criativo possível na seleção
de um método de pesquisa.
Tendo em vista a tamanha relevância dos procedimentos metodológicos, entendemos
que a academia deve desenvolver formas críticas de avaliar tal questão. Especificamente a
área de marketing, escolhida como objeto deste estudo, parece vivenciar um momento de
desenvolvimento e amadurecimento e os procedimentos metodológicos são críticos neste

1
contexto. Neste sentido, parece-nos imprescindível que se investigue a ênfase e os critérios
metodológicos utilizados na produção acadêmica de marketing no país, com vistas a avaliar o
nível de rigor e cuidados que estão sendo adotados em nossas pesquisas. Com isto em mente,
neste artigo temos o objetivo de realizar um trabalho inicial neste aspecto, através de um
levantamento das pesquisas empíricas da área de Marketing publicadas durante um período de
cinco anos de EnANPAD, por reconhecermos que se trata do principal fórum da
Administração no Brasil.
Nas próximas seções apresentamos uma reflexão mais acurada da relevância de
procedimentos metodológicos e seus principais aspectos, bem como descrevemos o método
aplicado para esta pesquisa; relatamos os resultados do estudo, bem como identificamos e
estabelecemos cruzamentos entre as variáveis analisadas; finalmente, apresentamos
conclusões oriundas dos resultados obtidos com a pesquisa, com alguns comentários sobre a
qualidade dos procedimentos metodológicos dos artigos publicados.

2. Questões relevantes na escolha do método

São várias as decisões que um pesquisador precisa tomar em relação ao seu desenho
de pesquisa. A seguir destacamos o que compreende estas decisões e a sua relevância no
desenvolvimento de todo o trabalho de pesquisa científica.

2.1. A escolha da estratégia de pesquisa

As pesquisas podem ser categorizadas em dois tipos quanto à sua estratégia de análise:
quantitativa e qualitativa. A pesquisa qualitativa se concentra nas palavras e observações para
expressar a realidade e está relacionada com a descrição dos indivíduos nas situações naturais.
Em contraste, a perspectiva quantitativa se baseia numa forte tradição acadêmica que
considera os números como representativos de opiniões e conceitos. Nos últimos anos, os
debates das virtudes relacionadas aos métodos quantitativo e qualitativo ganharam uma
considerável força. Enquanto a constituição dos dois métodos varia de autor para autor ou é
definida pelos variados graus de especificidade dos estudos, existe uma concordância
substancial sobre a relevância das duas estratégias e suas implicações práticas na condução
das pesquisas em Administração (AMARATUNGA et al., 2000).
A partir dessa discussão fica aparente que tanto o método qualitativo quanto o
quantitativo envolvem diferentes pontos positivos e negativos. Patton (2002) expressa um
ponto de vista importante: a pesquisa, como a diplomacia, é a arte do possível, o que parece
ser um guia relevante para os pesquisadores na escolha do método apropriado para os seus
estudos. A definição da estratégia de pesquisa é uma função da situação de pesquisa, pois
cada qual tem as suas próprias abordagens para a coleta e para a análise dos dados empíricos.
De qualquer forma, o critério mais importante na escolha de uma estratégia de pesquisa é o
próprio problema, pois é este que sugere o tipo de método adequado.

2.2. Questões de validade e confiabilidade

Cada uma das tradições de investigação tem seus próprios critérios de rigor científico
que asseguram a legitimidade dos dados gerados em sua utilização. Tais critérios referem-se à
validade e à confiabilidade de uma pesquisa. Desta forma, eles possibilitam a objetividade
tanto de um estudo quantitativo (COOPER e SCHINDLER, 2003) quanto de um qualitativo
(KIRK e MILLER, 1986). Entende-se como validade a confiança com que pode-se tirar
conclusões de uma análise; como confiabilidade a consistência com que um instrumento de
pesquisa irá avaliar (mensurar/interpretar) um fenômeno.

2
 Na pesquisa quantitativa, a validade refere-se ao quanto um teste mede o que de fato
se propõe medir. A confiabilidade, por sua vez, está relacionada à acuidade e à precisão do
procedimento de mensuração (COOPER e SCHINDLER, 2003).
De acordo com Malhotra (2000), os pesquisadores podem avaliar a validade de uma
pesquisa de diversas formas, dentre elas: a validade do conteúdo, a de critério e a do
constructo. A validade de conteúdo consiste de uma avaliação subjetiva, porém sistemática da
representatividade do conteúdo de uma escala para o trabalho de medição em questão; a
validade de critério examina se a escala de medida funciona conforme o esperado em relação
a outras variáveis selecionadas como critérios significativos; finalmente, a validade de
constructo indica que característica a escala está medindo.
No que diz respeito à confiabilidade de uma pesquisa, segundo McDaniel e Gates
(2003), uma escala de mensuração que proporciona resultados consistentes ao longo do tempo
é confiável. A confiabilidade é o grau em que as mensurações estão livres de erros aleatórios e
que, portanto, proporcionam dados consistentes. Há diversas maneiras de avaliar a
confiabilidade, dentre as quais: o teste-reteste, as formas equivalentes e a consistência interna.
A confiabilidade de teste-reteste é obtida pela repetição da mensuração utilizando o mesmo
instrumento em condições, tanto quanto possível, idênticas. Os problemas da abordagem de
teste-reteste podem ser evitados pela criação de formas equivalentes de um instrumento de
mensuração; a confiabilidade de forma equivalente é determinada medindo-se a correlação
das pontuações entre esses instrumentos; finalmente, confiabilidade de consistência interna
avalia a capacidade de produzir resultados semelhantes, utilizando amostras diferentes para
medir um fenômeno durante um mesmo período de tempo.
Estes são critérios, contudo, da tradição quantitativa. Na pesquisa qualitativa, a
validade tende a ser observada nos seguintes aspectos: validade aparente, que se refere a
quando um método de pesquisa produz o tipo de informação desejado ou esperado; validade
instrumental, que procura a combinação entre os dados fornecidos por um método de pesquisa
e aqueles gerados por algum procedimento alternativo que é aceito como válido; e validade
teórica, que se refere à legitimidade dos procedimentos da pesquisa em termos de teoria
estabelecida (e.g.: psicológica, sociológica, antropológica) (KIRK e MILLER, 1986).
No que diz respeito à confiabilidade, esta se refere à garantia de que outro pesquisador
poderá realizar uma pesquisa semelhante e chegar a resultados parecidos e tende a ser
observada nos seguintes aspectos: confiabilidade quixotesca, que refere-se às circunstâncias
em que um único método de observação mantém uma medida contínua; confiabilidade
diacrônica, que refere-se à estabilidade de uma observação através do tempo; e confiabilidade
sincrônica, que se refere à similaridade de diferentes observações dentro de um mesmo
período de tempo (KIRK e MILLER, 1986).

2.3. Amostragem e construção de corpus

Na tradição quantitativa, a população de um estudo é representada pelo grupo total de

pessoas do qual se pretende coletar informações. Assim, uma das primeiras tarefas que o
pesquisador precisa realizar na concepção de seu estudo é a definição da população de
interesse. A especificação da população é o passo crucial no processo de amostragem. De
acordo com McDaniel e Gates (2003), não existem regras específicas a serem seguidas na
definição da população de interesse, sendo necessário que o investigador utilize a lógica e
julgamento em sua decisão.
A amostra é um subconjunto da população, para fazer estimativas sobre as
características desta. Em condições ideais, esse subconjunto, de onde a informação é obtida,
deve ser um grupo representativo da população total, caso seja necessário generalizar os
resultados. Segundo Cooper e Schindler (2003), há muito folclore em relação ao tamanho da

3
amostra que é necessária em um estudo. Os mitos mais difundidos são de que uma amostra
deve ser grande ou não será representativa e que uma amostra deve ter alguma relação
proporcional com o tamanho da população na qual é baseada. Ainda de acordo com os
mesmos autores, o tamanho de uma amostra deve ser uma função da variação dos parâmetros
da população do estudo e a precisão estimada necessária. Assim, espera-se que os
pesquisadores considerem essas duas questões para a definição da amostra de seus estudos.
As técnicas de amostragem são classificadas como probabilísticas e não-
probabilísticas. Na amostragem probabilística (que pode ser aleatória simples, sistemática,
estratificada, por conglomerado), as unidades amostrais são selecionados aleatoriamente,
tornando possível se determinar a precisão das estimativas amostrais das características de
interesse. Por sua vez, a amostragem não-probabilística (classificada como de conveniência,
julgamento, quotas e bola de neve) é baseada na avaliação pessoal do pesquisador, que pode
arbitrariamente ou conscientemente decidir os elementos a serem incluídos na amostra, e não
na chance de selecionar os elementos amostrais.
As amostras não-probabilísticas não permitem uma avaliação objetiva da precisão dos
resultados amostrais. De acordo com Churchill (1999) e Malhotra (2000), como não há uma
forma de determinar a probabilidade de escolha de qualquer elemento em particular para a
inclusão na amostra, as estimativas obtidas não são estatisticamente projetáveis sobre a
população, ou seja, os resultados não podem ser generalizados. Dentro desse contexto, dadas
às limitações da amostragem não-probabilística, supõe-se que a grande maioria dos estudos
utilize técnicas de amostragem probabilísticas para dar maior suporte aos seus resultados.
Na tradição qualitativa a construção da amostragem da pesquisa está atrelada ao
conceito de corpus da investigação. A palavra corpus significa corpo, conjunto. Pode ser
considerada uma coleção finita de materiais (como textos, imagens, sons) determinada de
antemão pelo pesquisador, com uma inevitável arbitrariedade, e com a qual ele irá trabalhar.
A construção do corpus é a organização do material de forma que cumpra a quatro normas de
validade: a homogeneidade, em obedecer a critérios claros e precisos na escolha do tema; a
representatividade, através do critério de saturação das representações; a exaustividade,
refere-se ao cuidado em contemplar todos os aspectos levantados previamente e a pertinência,
devendo obedecer a escolhas de forma a não apresentar demasiada singularidade fora do
corpus, ou seja, os documentos analisados devem ser adequados ao foco do trabalho (BAUER
e AARTS, 2002).
Nas pesquisas científicas da área de marketing o corpus não é um termo que seja
freqüentemente empregado. Há ainda um desconhecimento sobre o que venha a ser a
construção de um corpus, o que traria uma contribuição substancial, caso os pesquisadores
dessa área utilizassem a noção do corpus teórico para a construção dos corpora em estudos
desse campo do conhecimento.

2.4. Fonte e forma de coleta de dados

Os tipos de dados utilizados em uma pesquisa podem ser primários e/ou secundários.
Os dados primários são gerados por um pesquisador para uma finalidade específica, visando
solucionar um problema de pesquisa. São trabalhos originais de pesquisa ou dados brutos,
sem interpretação.
A coleta de dados primários pode ser realizada de diversas formas. Ao buscar
informações brutas, o pesquisador tem um leque de opções para coletá-las. Dentre as opções
disponíveis, pode-se utilizar: entrevistas pessoais, em profundidade, com grupo focal, por
telefone, correio, ou observação pessoal ou mecânica. Nas pesquisas em administração
normalmente são utilizados dados primários, em que, em sua grande maioria, os dados são
coletados através de levantamentos por meio de questionários (RANDALL e GIBSON, 1990).

4
 Por outro lado, no levantamento de dados secundários, os dados foram previamente
coletados para objetivos que não são os do problema de pesquisa em questão. Isso significa
que um dado primário de um pesquisador, ou de uma organização, se torna um dado
secundário ao ser analisado por uma segunda pessoa, que não esteve presente no processo da
coleta e análise desse material (RABIANSKI, 2003). Assim, os dados secundários diferem
dos dados primários ao passo que a coleta das informações não é de responsabilidade do
analista. Na pesquisa de dados secundários o pesquisador entra em cena depois do esforço de
coleta de dados já ter sido encerrado, enquanto que na pesquisa primária o pesquisador é
responsável pelo desenho da pesquisa, coleta dos dados e análise das informações.
Para a coleta de dados secundários, o pesquisador pode utilizar fontes secundárias
internas, ou seja, dados da própria organização, ou externas, podendo ser essas últimas
classificadas em fontes publicadas ou comerciais (CHURCHILL, 1999; AAKER et al., 2001).
Os dados secundários podem ser utilizados tanto de forma complementar aos dados
primários, quanto como os únicos dados de uma pesquisa. Apesar das limitações relacionadas
à utilização de dados secundários, como a falta de controle sobre a coleta dos dados,
problemas de confiabilidade, adequação dos dados ao problema de pesquisa, entre outros
(STEWART e KAMINS,1993), é esperado que uma parte dos estudos na área de marketing
analisados neste levantamento empreguem os dados secundários, haja vista as diversas
vantagens relacionadas ao seu emprego como a rapidez e o custo envolvido na sua utilização.

2.5. Análise dos dados

A escolha de uma estratégia de análise deve ser baseada nas etapas preliminares de
pesquisa, em características conhecidas dos dados, em propriedades de técnicas estatísticas ou
interpretativas e na formação e filosofia do pesquisador. Deve também considerar as etapas
iniciais do processo metodológico: a definição do problema de pesquisa, estabelecimento da
forma de abordagem e o próprio planejamento da pesquisa. Finalmente, um outro fator que
deve ser levado em conta para a escolha da estratégia de análise de dados, consiste nas
características conhecidas dos dados coletados (MALHOTRA, 2000; MILES e
HUBBERMAN, 1994). Esta última obra não consta na bibliografia
Na análise quantitativa, para cada conceito ou constructo é possível utilizar diversos
tipos de dados, e cada um tem seu próprio conjunto de suposições implícitas sobre como os
símbolos numéricos correspondem às observações do mundo que se pretende representar
(COOPER e SCHINDLER, 2003). Os dados numéricos podem ser classificados como
nominais, ordinais, intervalares e de razão e, devido as suas características peculiares,
incluindo as limitações para determinadas análises estatísticas, a escolha da escala deve ser
adequada ao método estatístico empregado e é esperado que os estudos especifiquem que
tipos de dados utilizaram em suas pesquisas.
Por sua vez, na análise qualitativa, os dados são baseados em texto, som ou imagem
(BAUER e GASKELL, 2002). Para cada questão, não apenas referente ao tipo de dado, mas,
sobretudo, ao problema de pesquisa, diferentes tipos de análises podem ser empregados. Para
dados de texto, por exemplo, opções de análise como a de conteúdo, argumentativa, de
discurso, retórica, da conversação e da fala, serão indicadas de acordo com a informação que
se espere extrair do dado.

3. Procedimentos metodológicos

O procedimento metodológico utilizado nesta pesquisa foi o de desk research,

abrangendo o conjunto de artigos publicados na área de Marketing nos anais dos Encontros
Anuais da Associação Nacional dos Programas de Pós-Graduação em Administração

5
(ENANPAD), entre os anos de 1998 e 2002. O período escolhido baseou-se no crescimento
expressivo que pôde ser percebido na área a partir de 1998. O corte feito em 2002 justifica-se
por termos começado a análise antes da publicação dos anais de 2003.
O processo de análise dos artigos levou em consideração a verificação dos elementos
metodológicos básicos utilizados, refletindo a qualidade científica das pesquisas. As variáveis
analisadas em cada artigo foram as seguintes: natureza da pesquisa; estratégia de pesquisa;
questões relacionadas à validade e à confiabilidade; fonte de dados; local e forma de coleta de
dados; tipo de dados; tipo de análise; tamanho e tipo da amostra e tipo de corpus.
Os artigos foram analisados por cinco pesquisadores e os resultados de cada um foram
confrontados. Os critérios de análise foram previamente discutidos, o que gerou uma tabela de
codificação. Depois de completada a fase de análise e qualificação, os dados foram tabulados
e processados. O processo de identificação dos anos da amostra levou à análise de 191 artigos,
que foram escrutinados com base nas abordagens metodológicas utilizadas. A seguir são
apresentados os resultados destas análises.

4. Resultados das análises

As análises realizadas nesta pesquisa foram tanto de ordem univariada quanto

bivariada, conforme segue.

4.1 Análises univariadas

Análises univariadas foram realizadas para se chegar ao resultado de cada uma das
variáveis analisadas nesta pesquisa, conforme antecipado. A seguir, a descrição de todos os
resultados.

4.1.1. Perfil da amostra

A primeira informação está relacionada ao número crescente de artigos publicados na

área de Marketing. Como pode ser visto na Tabela 1, em 1998, por exemplo, eram apenas 29
e, em 2002, 51 artigos.

Tabela 1: Distribuição dos artigos publicados

Ano do Artigo Freqüência Percentual

1998 29 15,2
1999 30 15,7
2000 42 22,0
2001 39 20,4
2002 51 26,7
Total 191 100,0

Quanto à natureza dos estudos, os artigos foram divididos em conceituais e empíricos.

Como o objeto desta investigação foi analisar o método utilizado nos artigos pesquisados,
estes foram separados de acordo com a sua natureza, sendo expurgado do processo aqueles
puramente conceituais. Dessa forma, o número total de artigos para as análises seguintes foi
reduzido para 156, correspondente a 81,7% do total.

6
4.1.2. Estratégia de Pesquisa

Quanto à estratégia de pesquisa, os artigos foram classificados em qualitativos e

quantitativos. Apenas 29 artigos apresentaram uma abordagem qualitativa (o que corresponde
a 18,6%). Nestes, conforme a Tabela 2, foi observada uma maior concentração de pesquisas
exploratórias (14), seguida de estudos de caso (8). Vale salientar que se considerou estudo de
caso, aquele estudo cujo autor assim o denominou. Existem artigos que, apesar de terem sido
considerados pelos seus autores como estudos de caso, não seguiram o método da forma
adequada, o que, em última instância, não poderia ser considerado como um estudo de caso
propriamente dito, conforme indicações de autores como Yin (2001) e Stake (1994).

Tabela 2: Distribuição dos artigos por estratégia de pesquisa

Estratégia de pesquisa Freqüência Percentual

Qualitativa – Exploratória 14 9,0
Qualitativa - Estudo de Caso 8 5,1
Qualitativa – Básica 4 2,6
Qualitativa – Fenomenologia 2 1,3
Qualitativa – Etnografia 1 0,6
Quantitativa - Conclusiva descritiva transversal única 80 51,3
Quantitativa - Conclusiva causal 23 14,7
Quantitativa – Exploratória 19 12,2
Quantitativa - Conclusiva descritiva transversal múltipla 4 2,6
Quantitativa - Conclusiva descritiva longitudinal 1 0,6
Total 156 100,0

A grande maioria dos estudos empíricos, portanto, foi de natureza quantitativa. Entre
os artigos com esta abordagem (127), a grande maioria seguiu a estratégia de pesquisa
conclusiva descritiva de corte transversal única (80), seguida da conclusiva causal (23) e da
exploratória (19). Vale neste ponto uma observação sobre a classificação das pesquisas
exploratórias: foram classificadas como qualitativa ou quantitativa de acordo com a própria
definição dos autores e verificadas de acordo com o tipo de dados e de análises realizadas.

4.1.3. Validade e confiabilidade

A grande maioria dos estudos não realizou testes de validação ou de confiabilidade ou

pelo menos não fizeram menção à sua realização (ver Tabela 3). Dentre os 127 artigos de
natureza quantitativa, apenas 35 realizaram algum tipo de validade: 3 (1,9%) testes de
validade de conteúdo, de critério e de constructo; 15 artigos (9,6%) fizeram de conteúdo e de
constructo; 10 (6,4%) fizeram apenas de conteúdo; e 7 (4,5%) apenas de constructo. Nos
demais 92 artigos não foram mencionadas as realizações de quaisquer testes de validação de
dados e de escalas. Também dentre os artigos qualitativos, nenhum mencionou a realização de
verificação de validade. Totalizando, 77,6% dos artigos não fizeram ou mencionaram testes
de validade.

7
 Tabela 3: Distribuição dos artigos por critérios de validade

Critérios de validade Freqüência Percentual

Conteúdo e constructo 15 9,6
Conteúdo 10 6,4
Construto 7 4,5
Conteúdo, critério e constructo 3 1,9
Não fez 121 77,6
Total 156 100,0

Por sua vez, em relação aos testes de confiabilidade, observamos um número maior de
artigos que comentam a sua realização (conforme Tabela 4). Dos 127 artigos quantitativos
analisados, 56 fizeram avaliação de confiabilidade: 50 (32,1%) comentam que foram
realizados testes de avaliação da consistência interna; 5 (3,2%) que fizeram tanto de testes de
avaliação da consistência interna quanto de teste-reteste; e 1 (0,6%) apenas o teste-reteste.
Nos demais 71 artigos não foram mencionadas as realizações de quaisquer testes de
confiabilidade. Também dentre os artigos qualitativos, nenhum mencionou o emprego de tal
procedimento. Ainda um número significativo de quase dois terços (64,1%) dos artigos não
realizaram quaisquer testes de avaliação de confiabilidade.

Tabela 4: Distribuição dos artigos por critérios de confiabilidade

Critérios de confiabilidade Freqüência Percentual

Consistência interna 50 32,1
Teste-reteste e consistência interna 5 3,2
Teste-reteste 1 0,6
Não fez 100 64,1
Total 156 100,0

4.1.4. Tipo de amostragem e de corpus

Dentre os 156 artigos analisados, 82 (52,6%) utilizaram amostras de conveniência,

seguido pela amostra aleatória simples, em 22 trabalhos (14,1%). Apenas um declarou ter
realizado um estudo censitário e quatro não informaram o tipo de amostragem utilizada (ver
Tabela 5). Nenhum dos artigos menciona a construção de corpus.

Tabela 5: Distribuição dos artigos por tipo de amostragem

Tipo de amostragem Freqüência Percentual

Conveniência 82 52,6
Aleatória simples 22 14,1
Julgamento 18 11,5
Estratificada proporcionada 12 7,7
Quotas 7 4,5
Bola-de-neve 4 2,6
Sistemática 3 1,9
Conglomerado 2 1,3
Estratificada desproporcionada 1 0,6
Censo 1 0,6
Não declarado 4 2,6
Total 156 100,0

8
4.1.5. Fonte e tipo de dados

A grande maioria dos artigos analisados (141, que representou 90,4% do total) utilizou
dados primários nos seus estudos. Quanto ao tipo de dados utilizados (ver Tabela 6),
observamos que vários artigos não declararam tal informação. Em muitos deles, a
identificação foi possível mediante uma observação baseada na verificação das análises
estatísticas utilizadas no artigo. Mesmo assim, em 9 artigos (5,8%) não foi possível identificar
o tipo de dado utilizado porque as análises estatísticas também não foram demonstradas ou
comentadas. Dentre os artigos quantitativos, percebe-se que mais da metade (67 dentre os
127) utilizou dados intervalares, seguido de dados ordinais (45). Quanto aos artigos
qualitativos, apenas dados de textos foram identificados.

Tabela 6: Distribuição dos artigos por tipo de dado

Tipo de dado Freqüência Percentual

Intervalar 67 42,9
Ordinal 45 28,8
Texto 27 17,3
Nominal 8 5,1
Não declarado 9 5,8
Total 156 100,0

4.1.6. Tipo e local de coleta de dados

Dentre os 141 artigos que utilizaram dados primários (ver Tabela 7), mais da metade
coletaram seus dados por meio de entrevistas pessoais (75), seguido de questionários auto-
administrados, enviados via correios (27). Vale salientar que em três dos artigos analisados
não foi possível identificar a forma como os dados foram coletados.

Tabela 7: Distribuição dos artigos por tipo de coleta de dados

Tipo de coleta de dados Freqüência Percentual

Entrevista pessoal 75 53,2
Questionário auto-administrado enviado por correio 27 19,1
Entrevista em profundidade 14 9,9
Questionário auto-administrado via Internet 11 7,8
Observação pessoal 7 5,0
Entrevista telefônica 3 2,1
Entrevista com grupo focal 1 0,7
Não declarado 3 2,1
Total 141 100,0

Em relação ao local de coleta de dados, 137 artigos (87,8%) realizaram suas coletas
em campo; 15 (9,6%) utilizaram dados secundários; 3 (1,9%) fizeram testes laboratoriais; e 1
(0,6%) realizou uma simulação.

4.1.7. Tipo de Análise

Diversos foram os tipos de análises realizadas, havendo, em vários artigos a utilização

de mais de um. Dentre todas, a análise de freqüência foi, de forma significativa, a mais
presente nos artigos (em 101 deles). Depois da freqüência, aparece a análise fatorial, com

9
menos da metade de sua utilização. A partir daí um número superior a trinta diferentes tipos
de análises aparecem em ordem decrescente de relevância (ver Tabela 8).
Dentre as análises tipicamente qualitativas, a de conteúdo e a de discurso aparecem
apenas em 10 trabalhos, cada uma delas. Vale salientar, contudo, que consideramos o que o
autor indicou como o tipo de análise realizada. Entretanto, não percebermos nestas análises o
rigor com que deveriam ser executadas, no que entendemos que chega a haver, graças a isto,
uma descaracterização das mesmas.

Tabela 8: Distribuição dos artigos por tipo de análise

Tipo de análises Freqüência Percentual

Freqüência 101 30,3
Análise fatorial 43 12,9
Regressão múltipla 22 6,6
Qui-quadrado 18 5,4
Teste t 16 4,8
ANOVA de 1 fator 16 4,8
Análise de conteúdo 10 3,0
Análise de discurso 10 3,0
Equação estrutural 9 2,7
Análise de variância e covariância 8 2,4
Análise discriminante 8 2,4
Mann-Witney 7 2,1
Mediana 7 2,1
Matriz de correlação 7 2,1
Equação estrutural 6 1,8
Teste Z 5 1,5
Análise multivariada da variância e covariância 5 1,5
Mediana 4 1,2
Correlação canônica 4 1,2
Análise de conglomerados 3 0,9
Análise conjunta 2 0,6
K-W ANOVA 2 0,6
K-S 2 0,6
Teste t 2 grupos 1 0,3
Tabulação Cruzada 1 0,3
Binomial 1 0,3
Distância euclidiana quadrática 1 0,3
Análise episódica 1 0,3
Wilcoxon 1 0,3
Outros 12 3,6
Total 333 100

4.2. Análises bivariadas

Análises bivariadas foram realizadas para se avaliar possíveis mudanças ocorridas de

ano a ano em algumas das variáveis verificadas. Dentre elas, entendeu-se que seria pertinente
se observar tal oscilação em relação à natureza e à estratégia de pesquisa, avaliação das
escalas e número de análises realizadas.

10
4.2.1. Ano do artigo versus natureza conceitual-empírica

Observamos uma pequena participação de artigos de natureza conceitual ao longo desses

cinco anos analisados. A maior participação destes ocorreu no ano 2000, em que 15 artigos
(35,7%) foram dessa natureza. Contudo, podemos observar na Tabela 9 que esse ano foi
atípico, havendo uma tendência nos demais anos de participações pouco significativas dos
artigos conceituais.

Tabela 9: Relação da natureza dos artigos com o ano de publicação

Ano do Artigo 1998 1999 2000 2001 2002 Total %

Conceitual 4 6 15 5 5 35 18,33
Empírico 25 24 27 34 46 156 81,67

4.2.2. Ano do artigo versus estratégia de pesquisa

Entre os estudos de abordagem quantitativa, observamos uma crescente participação

da estratégia de pesquisa descritiva transversal única (ver Tabela 10). Há também um
aumento considerável de experimentos e um declínio das pesquisas exploratórias.

Tabela 10: Relação da estratégia de pesquisa quantitativa dos artigos

com o ano de publicação

Ano do Artigo 1998 1999 2000 2001 2002 Total

Transversal Única 10 11 16 15 25 77
Conclusiva Causal 2 3 4 8 7 24
Quantitativa Exploratória 9 4 2 4 2 21
Transversal Múltipla 2 2 4
Longitudinal 1 1

Dentre os artigos de abordagem qualitativa, a única análise de tendência que pode ser
feita é a da presença de estudos de caso nos últimos três anos, conforme Tabela 11.

Tabela 11: Relação da estratégia de pesquisa qualitativa dos artigos

com o ano de publicação

Ano do Artigo 1998 1999 2000 2001 2002 Total

Qualitativa Exploratória 2 5 1 8 16
Estudo de Caso 2 2 3 7
Qualitativa Básica 2 1 3
Fenomenologia 2 2
Etnografia 1 1

4.2.3. Ano do artigo versus avaliação das escalas

Não foi observada nenhuma mudança significativa ao longo dos cinco anos em relação
à avaliação das escalas quanto a sua validade e confiabilidade (ver Tabelas 12 e 13,
respectivamente).

11
 Tabela 12: Relação da avaliação de validade quantitativa dos artigos
com o ano de publicação

Ano do Artigo 1998 1999 2000 2001 2002 Total

Teste-Reteste - - - - 1 1
Consistência Interna 7 13 6 11 13 50
Teste-reteste e Consistência interna 2 2 - - 1 5
NÃO FEZ 16 9 21 23 31 100

Tabela 13: Relação da avaliação de confiabilidade quantitativa dos artigos

com o ano de publicação

Ano do Artigo 1998 1999 2000 2001 2002 Total

Conteúdo 1 3 6 10
Construto 1 1 1 4 7
Conteúdo e constructo 2 8 1 3 1 15
NÃO FEZ 22 15 25 26 33 121

4.2.4Ano do artigo versus número de análises

A grande maioria dos trabalhos, ao longo dos anos, realizou uma ou duas
análises/ferramentas estatísticas. No ano de 2002, observamos um acréscimo significativo
nos artigos que utilizaram três análises (ver Figura 1).

Figura 1: Relação do número de análises realizadas por artigo

com o ano de publicação

40

35

30 Análise de Conteúdo
Discurso
25 Outros
Teste t
20 ANOVA de 1 fator
Qui-Quadrado
15 Regressão Múltipla
Análise Fatorial
10
Freqüência

0
1998 1999 2000 2001 2002

5. Conclusões

A primeira conclusão que este estudo possibilitou foi a constatação da pouca ênfase
em estudos conceituais publicados na EnANPAD, o que pode indicar pouco interesse por
parte dos pesquisadores brasileiros da área de marketing neste tipo de trabalho ou algum tipo
12
de seletividade da própria ANPAD. Apesar das pesquisas contemporâneas de Marketing
estarem focalizadas nas suas diversas áreas, percebemos que apenas uma pequena parte delas
parece estar centrada no desenvolvimento de teorias. Em outras palavras, o que se tem
observado é que a maioria dos estudos se insere dentro das prioridades pragmáticas desta área
de conhecimento com foco no processo de “fazer” marketing ao invés de refletir criticamente
o que está sendo feito, abrindo um debate sobre o que é o conhecimento de marketing.
Entendemos que este seja um problema crítico. Não que as pesquisas aplicadas não sejam
importantes, muito pelo contrário. O problema é o desequilíbrio. Se não estivermos dispostos
a discutir nossas bases teóricas, nosso futuro pode correr o risco de ser desprovido de tal base,
o que necessariamente comprometeria nosso status de ciência.
Outra evidência encontrada foi a de que a grande maioria dos estudos empíricos
publicados na área de Marketing do EnANPAD foi de ordem quantitativa. Não se pode dizer
que esta tenha sido uma surpresa, devido à orientação dominante na área de marketing estar
fortemente alinhada à tradição positivista. Isto fica ainda mais evidente ao verificarmos que,
apesar do crescimento do campo qualitativo, sua participação relativa na área de Marketing do
referido congresso não tem acompanhado tal tendência. Curiosamente, ao longo dos cinco
anos de análise, não foram encontradas pesquisas baseadas em estudos biográficos, pesquisa-
ação e grounded theory, que são importantes estratégias de investigação na tradição
qualitativa.
Entendemos que o presente momento seja de pluralismo metodológico, graças ao
reconhecimento de que os fenômenos devem ser apreendidos em suas múltiplas facetas. A
evolução dos métodos qualitativos nas ciências sociais tem sido extraordinário e entendemos
que nossa área também poderia se beneficiar de sua maior utilização.
Nossa investigação possibilitou-nos concluir também que existe pouca preocupação
dos pesquisadores em relação a procedimentos de validade e de confiabilidade em suas
pesquisas. Infelizmente, muito pouco tem se feito acerca de tais procedimentos, o que poderia
se considerar inaceitável numa academia que fosse madura, sobretudo dentro da orientação
positivista que se identificou que, além de dar grande ênfase a estes critérios, apresenta
mecanismos extremamente claros de serem aplicados, diferentemente de outras tradições,
como a fenomenologia, por exemplo.
Outro ponto crítico para a legitimidade dos dados e que também apresenta
mecanismos extremamente claros de como alcançá-lo é a amostragem. Contudo, ao contrário
do que deveria ocorrer, sobretudo num cenário com ênfase na análise quantitativa, a maior
parte das amostras das pesquisas ocorreu por conveniência. Neste sentido, vale, inclusive,
uma crítica neste aspecto: alguns dos trabalhos indicados como “exploratórios” não
apresentam claras evidências de estarem em busca de insights ou de uma melhor compreensão
dos problemas de pesquisa, mas escondem por trás de tal definição falhas no desenho de
pesquisa, quase sempre associado à amostra inadequada, bem como à ausência de critérios de
validade e de confiabilidade.
Destacamos também a ênfase na busca de dados primários. Da mesma forma que
dados secundários apresentam problemas relativos ao controle, as evidências discutidas no
parágrafo anterior comprometem esta relevância oferecida aos dados primários. Várias
pesquisas de marketing poderiam ser realizadas através de dados secundários (e.g.:
comportamento do consumidor, segmentação) e esta possibilidade parece não estar sendo bem
visualizada. Outras ciências sociais, como a Economia e a Sociologia, por exemplo,
acumulam vasta experiência na utilização de dados secundários.
A reflexão anterior antecipa outra evidência. Em relação ao tipo e local de coleta de
dados, os dados das pesquisas têm sido fundamentalmente coletados em campo, através de
entrevistas pessoais, o que, apesar de ser um procedimento teoricamente mais confiável, pode

13
comprometer muitas de nossas pesquisas em relação a tempo e custo. Entendemos que outras
várias opções, como os uso de Internet, devem ser consideradas pelos nossos pesquisadores.
Quanto aos tipos de análises realizadas, evidentemente as de natureza estatística foram
as mais presentes.
Finalmente, na comparação ano-a-ano, a única tendência que pode estar em andamento
é a maior utilização de estudos de caso. No mais, o que percebemos é um equilíbrio
proporcional dos números, com pequenas exceções como o ano de 2000 que demonstrou
diferença significativa, em relação a uma maior participação de artigos conceituais e, logo no
ano seguinte, ter voltado ao mesmo patamar anterior e se mantendo em equilíbrio no restante
dos anos verificados.

6. Referências bibliográficas

AMARATUNGA, D.; BALDRY, D. Theory building in facilities management research: case

study methodology. Proceedings of the Bizarre Fruit Postgraduate Conference, University of
Salford, 107-123, 2000.
AAKER, David A., KUMAR, V. e DAY, George S. Pesquisa de marketing. Título original:
Marketing research. Trad: Reynaldo Cavalheiro Marcondes. São Paulo: Atlas, 2001.
BARTUNEK, J. M.; BOBKO, P.; VENKATRAMAN, N. Toward innovation and diversity in
management research methods. Academy of Management Journal, 36, 6, 13-62, 1993.
BAUER, M. W.; AARTS, B. A Construção do Corpus: Um Princípio para a Coleta de Dados
Qualitativos. In: Pesquisa Qualitativa com Texto, Imagem e Som: Um manual Prático. 2002
BAUER, M. W.; GASKELL, G. (editores); tradução de Pedrinho A. Guareschi. Pesquisa
qualitativa com texto, imagem e som: um manual prático. Petrópolis: Vozes, 2002.
CHURCHILL, Gilbert A. Jr. Marketing research: methodological foundations. 7. ed.
Orlando: The Dryden Press, 1999.
COOPER, D. R.; SCHINDLER, P. S. Métodos de pesquisa em administração. 7. ed. Porto
Alegre: Bookman, 2003.
HAIR, et al. Multivariate Data Analysis with readings. New Jersey: Prentice Hall, 1995.
HAKIN, C. Research Design: Strategies and Choices in the Design of Social Research. New
York: Routledge, 1994.
KIRK, J.; MILLER, M. L. Reliability and validity in qualitative research. Beverley Hills, CA:
Sage, 1986.
MALHOTRA, N. K. Marketing research: an applied orientation, 4. ed. New Jersey:
Prentice Hall, Inc, 2000.
McDANIEL, C. D.; GATES, R. Pesquisa em marketing. São Paulo: Pioneira Thomson
Learnig, 2003.
McGRATH, J. Dilemmatics: the study of research choices and dilemmas. In: McGRATH, J.
E. (ed.). Judgement calls in research. Beverly Hills, CA: Sage, 1982.
MILES, M. B., HUBERMAN, A. M. Qualitative Data Analysis: An expanded sourcebook, 2
ed. London : Sage, 1994.
PATTON, M. Q. Qualitative research and evaluation methods. 3rd. ed. Thousasnd Oaks, CA:
Sage. 2002.
RABIANSKI, Joseph. Primary and secondary data: concepts, concerns, errors and issues. The
Appraisal Journal, v.71, n.1, p.43-55, 2003.
RANDALL, D. M. e GIBSON, A. M. Methodology in business ethics research: a review and
critical assessment. Journal of Business Ethics, v. 9, n.6, p.457-471, 1990.
ROSSITER, J.R. The C-OAR-SE Procedure for Scale Development in Marketing. Working
Paper, Department of Marketing, University of Wollongong, Australia, March, 2001.

14
SACKETT, P. R.; LARSON, J. R. Jr. Research strategies and tactics in industrial and
organizational psychology. In: DUNNETE, M. D.; HOUGH L. M. (Eds.). Handbook of
Industrial and Organizational Psychology. Palo Alto, CA: Consulting Psychologists Press,
pp. 419-489, 1990.
STAKE, R. E. Case studies. In: N. K. Denzin; Y. S. Lincoln (Eds.). Handbook of qualitative
research, pp. 236-247. Thousand Oaks: Sage, 1994.
STEWART, David W. e KAMINS, Michael A. Secondary research: information, sources and
methods. 2 ed. London: Sage Publications, 1993. ISBN 0-8039-5036-5
YIN, R. K. Estudo de caso: planejamento e métodos. 2. ed. Porto Alegre: Bookman, 2001.

15