Você está na página 1de 28

POR UMA ANLISE DE CONTEDO MAIS FIVEL1

Jorge vila de Lima Introduo A anlise de contedo uma tcnica que permite a classificao de material, reduzindo-o a uma dimenso mais manejvel e interpretvel, e a realizao de inferncias vlidas a partir desses elementos (Weber, 1990). Pela sua abrangncia, a definio de Kolbe e Burnett (1991) particularmente adequada: content analysis is an observational research method that is used to systematically evaluate the symbolic content of all forms of recorded communications (p. 243). Quando aplicada ao material escrito, o objectivo bsico desta anlise consiste em reduzir as muitas palavras de um texto a um pequeno conjunto de categorias de contedo (Bardin, 1995). semelhana do que fazem os estatsticos com a anlise de dados quantitativos, tambm os analistas de contedo procuram sintetizar e reduzir a quantidade de informao disponvel, para chegarem a uma interpretao das principais tendncias e padres presentes nos seus dados. Existem muitas modalidades de anlise de contedo propostas na literatura publicada e os objectivos dos pesquisadores neste domnio variam bastante. Enquanto alguns a usam meramente com o intuito de classificar a informao recolhida de acordo com uma estrutura que sintetize as tendncias gerais presentes nos dados, outros propem-se captar a verdadeira estrutura de significado escondida por detrs desses dados. Infelizmente, no mundo acadmico, este tipo de anlise tem sido pensado, muitas vezes, sobretudo pela negativa: parece tratar-se de tudo o que se faz com os dados que no consista em anlise quantitativa. Qualquer comentrio feito a um relato realizado por um informador, qualquer seleco e apresentao de um excerto de um documento ou de
1

Citar como: Lima, J. . (2013). Por uma anlise de contedo mais fivel. Revista Portuguesa de Pedagogia.

uma transcrio de uma entrevista parece merecer o ttulo de anlise de contedo. Do ponto de vista metodolgico, isto muito insuficiente. Por vezes, os esforos para superar esta situao e dotar a anlise de contedo de uma maior cientificidade so encarados com cepticismo e mesmo com uma oposio determinada (ver, por exemplo, Rocha & Deusdar, 2005). No entanto, as crticas realizadas a este propsito parecem basear-se mais na descrena da possibilidade de se construir verdadeiro conhecimento cientfico, seja qual for o tipo de dados, do que propriamente em qualquer objeco especfica relativamente aos mtodos propostos para este tipo de anlise. A questo da anlise de contedo de dados de investigao tem sido tratada em alguns textos publicados sobre a matria, em lngua portuguesa (Bardin, 1995; Esteves, 2006; Vala, 1986). Existem, contudo, aspectos metodolgicos que continuam pouco claros ou que no so sequer abordados, especialmente na grande maioria dos trabalhos de investigao que vo sendo realizados no nosso pas. O problema no , contudo, exclusivamente nacional. Numa reviso de 200 estudos da rea da comunicao de massas que utilizaram a anlise de contedo, publicados entre 1994 e 1998, Lombard, Snyder-Duch e Bracken (2002) verificaram que apenas 69% continham alguma informao sobre a fiabilidade do trabalho de codificao realizado e que, mesmo nestes artigos, os autores apresentavam poucos detalhes sobre o modo como a anlise tinha sido conduzida. Para que seja credvel, a anlise de contedo tem de estar altura dos melhores padres metodolgicos estabelecidos globalmente no campo da investigao cientfica. Por esta razo, aqueles que a realizam no podem continuar a ignorar questes to importantes como a objectividade, a sistematizao, a quantificao, a amostragem e a fiabilidade (Kassarjian, 1977, Kolbe & Burnett, 1991). Para que as inferncias realizadas pelos investigadores a partir dos seus dados, com base na anlise de contedo, sejam vlidas, tambm importa que os procedimentos de classificao sejam consensualizados, de forma a que diferentes pessoas possam realizar essa classificao de forma semelhante.

igualmente essencial que o processo de anlise de contedo seja transparente, pblico e verificvel (Constas, 1992). Infelizmente, existem poucas orientaes disponveis relativamente forma como se deve atender a estas questes, o que d origem, naturalmente, a muita inconsistncia na forma como tais assuntos so abordados. No presente artigo, procura-se fornecer recomendaes metodolgicas que podero ajudar a superar algumas destas lacunas. No texto, aborda-se a tcnica da anlise de contedo, aplicada a dados obtidos em duas situaes principais de pesquisa: as respostas dos inquiridos a questes abertas de questionrios e as transcries de entrevistas. No se deve esquecer, todavia, que esta tcnica tambm aplicvel a outros tipos de informao, decorrentes, por exemplo, da anlise documental (cartas, artigos de jornal, atas, documentos histricos, discursos polticos, textos legais, dirios, etc.) ou at da observao (por exemplo, notas de campo registadas por um ou mais observadores independentes). As consideraes que sero feitas mais adiante reportamse a uma anlise de contedo de natureza temtica, isto , que procura identificar temas e subtemas (categorias e subcategorias) na informao a analisar. Neste artigo, distinguem-se dois cenrios de aplicao da anlise de contedo: a anlise pr-estruturada e a anlise aberta. Alguma terminologia bsica No sentido de precisar a linguagem que ser utilizada ao longo deste texto, recorda-se aqui alguma terminologia prpria da rea, devidamente clarificada por Bardin (1995), Esteves (2006) e Vala (1986), entre outros, e que tem vindo a constituir-se enquanto vocabulrio especfico deste tipo de anlise: corpus o conjunto dos documentos que sero objecto da anlise de contedo; recorte o processo de seleco dos segmentos de texto que sero analisados;

unidade de registo o segmento de texto que objecto de recorte, isto , de seleco para anlise. Geralmente, o critrio de definio das unidades de registo dever ser semntico (uma unidade com significado especfico e autnomo) e no formal (por exemplo, uma palavra, uma linha, uma frase ou um pargrafo); unidade de contexto o segmento de texto mais lato de onde retirada a unidade de registo; sistema de categorias conjunto de temas (categorias) que constituem conjuntos semanticamente coerentes de unidades de registo e que tero, cada um deles, um cdigo especfico a aplicar no decurso do processo de codificao. Podero existir (e normalmente existem) subtemas (subcategorias), que tambm devero ter os respectivos cdigos; codificao processo de atribuio de cdigos especficos a unidades de registo com um determinado teor semntico previamente especificado pelo investigador. Esta deve ser sempre feita ao nvel mais fino (isto , sempre que exista uma subcategoria, o respectivo cdigo que deve ser aplicado e no o cdigo global da categoriame); codificador ou juiz pessoa que aplica os cdigos, presentes no sistema de categorias, aos dados em anlise.

Sistema de categorias Para efectuar uma anlise de contedo, o investigador necessitar de construir um sistema de categorias (tambm designado por vezes de livro de cdigos) para analisar a informao (ver exemplo no Anexo A2). Este sistema dever conter os seguintes elementos: Cdigos numricos a utilizar para a identificao de cada categoria e subcategoria, na informao a analisar. Aconselha-se a utilizao de
2

Trata-se de uma verso simplificada, para fins ilustrativos, de um sistema de categorias que utilizmos num projecto de investigao internacional sobre o desenvolvimento profissional dos professores.

um sistema de numerao decimal, que permita que os diferentes dgitos representem diferentes nveis (categorias, subcategorias e suas eventuais subdivises). Designao curta (rtulo) de cada categoria e das respectivas subcategorias; Definio por extenso de cada uma das categorias e subcategorias; Exemplos tpicos de unidades de registo (normalmente, retirados dos prprios dados a analisar) que ilustram a natureza dos segmentos de informao que integram cada categoria e/ou subcategoria; Conforme sublinhou Bardin (1995), entre outras qualidades, um bom sistema de categorias deve possuir objectividade e fiabilidade, ou seja, o mesmo material, quando analisado com base no mesmo sistema de categorias, deve ser codificado da mesma forma, mesmo quando sujeito a vrias anlises. Uma fiabilidade adequada garante aquilo que poderamos designar de objectividade intersubjectiva dos resultados de uma anlise de contedo. Dada a sua importncia, este aspecto merecer um tratamento especfico e detalhado no presente texto. Fiabilidade Pretende-se que a investigao, para alm de produzir resultados vlidos, utilize instrumentos e procedimentos fiveis. Existem trs tipos de fiabilidade relevantes para a anlise de contedo (Krippendorff, 1980, pp. 130-132): a estabilidade, a reprodutividade (reproducibility) e a preciso (accuracy) (Quadro 1).

Quadro 1. Tipos de fiabilidade relevantes para a anlise de contedo Tipos de fiabilidade Estabilidade Reprodutividade Teste-reteste Teste-teste Inconsistncias intracodificador Inconsistncias intracodificador e desacordos entre codificadores Preciso Teste-padro Inconsistncias intracodificador, desacordos entre codificadores e desvios sistemticos em relao norma Fonte: Adaptado de Krippendorff (1980, p. 131) A mais forte Design Erros avaliados Qualidade relativa A mais fraca

A estabilidade (tambm designada de fiabilidade intracodificador ou, simplesmente, consistncia) refere-se ao grau de invariabilidade de um processo de codificao ao longo do tempo. Ela diz respeito a situaes de teste-reteste, em que um codificador duplica, num momento posterior, o procedimento de codificao que aplicou a um mesmo conjunto de dados. No existindo desvios relevantes entre as codificaes realizadas em ambos os momentos, conclui-se que os resultados so fiveis. As diferenas verificadas entre a forma como as unidades foram codificadas nos dois momentos podem ser o reflexo de diversos factores: inconsistncias do codificador (rudo), mudanas cognitivas que este

pode ter experienciado, instrues de codificao pouco claras, ambiguidades presentes no prprio texto, dificuldades do codificador em interpretar adequadamente as instrues de codificao que lhe foram transmitidas ou meros erros casuais de codificao. Esta a forma mais fraca de fiabilidade e nunca dever ser utilizada como nico indicador da aceitabilidade de uma anlise de contedo. A reprodutividade (tambm denominada de fiabilidade intercodificadores, acordo intersubjectivo ou meramente consenso) designa o grau em que possvel recriar um processo de recodificao em diferentes circunstncias, com diferentes codificadores. O caso mais tpico refere-se situao de teste-teste, em que dois codificadores aplicam, de forma independente, as mesmas instrues de codificao ao mesmo material, num determinado momento temporal. As diferenas eventualmente verificadas entre as codificaes sero o reflexo tanto de inconsistncias intracodificadores (acima explicitadas) como de diferenas entre os codificadores (quanto, por exemplo, forma como interpretam as instrues de codificao), podendo ainda exprimir simples erros aleatrios de codificao. A preciso consiste no grau em que um processo de codificao se conforma funcionalmente com um padro conhecido. Ela determinada quando o desempenho de um codificador ou de um instrumento de codificao comparado com um padro de desempenho correcto conhecido, previamente estabelecido. Esta a forma mais forte de medio da fiabilidade. Infelizmente, os padres comparativos que permitiriam o clculo deste tipo de fiabilidade raramente existem. No sendo possvel, na grande maioria dos casos, optar por ela, a soluo mais adequada ser recorrer forma que apresenta a maior qualidade possvel: a reprodutividade os resultados encontrados por um codificador tero de ser, no mnimo, reproduzveis por outros codificadores, utilizando as mesmas instrues de codificao. a reprodutividade o tipo de fiabilidade recomendado no presente artigo como patamar mnimo a que qualquer analista de contedo deve aspirar. Uma condio essencial para que exista reprodutibilidade (isto , fiabilidade intercodificadores) que os codificadores faam a codificao 7

de forma independente. Isto implica que no conversem entre si quanto codificao a aplicar e que no procurem chegar a consensos prvios sobre que decises de codificao tomar a respeito de determinados segmentos de texto. Tambm implica que um codificador que eventualmente ocupe uma posio estatutria mais elevada relativamente aos restantes no use essa posio como fonte de legitimidade para impor o seu prprio entendimento ao(s) outro(s). A existncia de comunicao entre os codificadores durante o processo de codificao inflaciona artificialmente o consenso. A medio do acordo entre codificadores A medio do acordo entre analistas diferentes necessria em muitas situaes prticas da vida profissional e da investigao. Por exemplo, dois mdicos podem ter de avaliar a gravidade de um sintoma num paciente, aplicando uma escala contnua, ou dois psiclogos podem necessitar de aplicar uma escala contnua ou ordinal para classificar o estado de um determinado indivduo. Nestas situaes, ser adequado utilizar um ndice de acordo de natureza correlacional (Banerjee et al., 1999) que mea em que medida a pontuao contnua ou ordinal aplicada por um analista coincide com ou se assemelha utilizada pelo outro. Contudo, numa boa parte das situaes encontradas pelos investigadores em cincias sociais e humanas, a questo que se coloca a de determinar o nvel de concordncia quando se aplicam formas de classificao nominal isto , que assentam, sobretudo, na emisso de juzos qualitativos sobre os dados (por exemplo, decidir se uma determinada afirmao de um entrevistado exprime desencanto com o estilo de direco da sua organizao). A fiabilidade deve exprimir-se num valor quantitativo, que revele em que grau os diferentes codificadores esto de acordo quanto classificao da informao analisada. Este valor quantitativo exprimir o grau de consonncia entre juzes independentes quanto ao significado da informao qualitativa em apreo.

No clculo da fiabilidade de um sistema de categorias, importante distinguir dois cenrios, de complexidade distinta, que se podem colocar aos investigadores: A) Anlise de contedo pr-estruturada. A informao a analisar apresentada ao codificador de forma pr-estruturada: o recorte j foi feito pelo investigador e o juiz recebe uma grelha que integra uma coleco de unidades de registo, devidamente numeradas. Cabe ao juiz, simplesmente, aplicar a estas unidades de registo os cdigos constantes do sistema de categorias, que tambm lhe ter sido entregue pelo investigador; B) Anlise de contedo aberta. A informao a codificar apresentada ao juiz sem qualquer formatao prvia. Por exemplo, o investigador passa-lhe o conjunto integral das transcries das entrevistas que realizou (ou, normalmente, uma amostra das mesmas), sem qualquer estruturao ou esquematizao por via de actos de recorte. Neste caso, cabe ao juiz fazer os prprios recortes, acompanhados dos respectivos actos de codificao, com base no sistema de categorias acima referido. Por razes de espao, dar-se- maior ateno, no presente texto, ao primeiro cenrio. Em qualquer dos casos, importante sublinhar que, idealmente, para se assegurar uma fiabilidade no enviesada, o investigador responsvel pelo estudo no deve ser includo enquanto juiz da informao (Kolbe & Burnett, 1991), podendo, no entanto, treinar adequadamente aqueles que codificaro os dados. Assim sendo, torna-se crucial decidir cuidadosamente quem sero os codificadores. A este respeito, o critrio essencial que sejam pessoas com um nvel de instruo semelhante ao do investigador e que tenham a capacidade de compreender a linguagem e os procedimentos que tero de adoptar no decurso da anlise de contedo que iro realizar. Desejavelmente, podero ser outros investigadores ou alunos envolvidos em processos de pesquisa semelhantes e devidamente orientados, do ponto de vista cientfico.

A anlise de contedo pr-estruturada Neste cenrio, o investigador dever comear por constituir uma lista ou grelha de extractos retirados do total da informao a analisar (corpus): isto , de unidades de registo decorrentes de um processo de recorte, que sero includas, de forma aleatria, numa grelha com a seguinte configurao (Quadro 2): Quadro 2. Estrutura de grelha de apresentao das unidades de registo para codificao (grelha do investigador)
N da Unidade de registo Unidade de registo Cod1 Cod2 Acordo (S/N)

Esta grelha compreender um mnimo de 10% do total da informao a analisar (isto , do total de unidades de registo existentes), com um montante nunca inferior a 50 unidades. O investigador dever tambm assegurar-se de que nela so inseridas unidades de registo relativas a todas as categorias e subcategorias existentes no seu sistema de categorias. A grelha apresentada no Quadro 2 ser utilizada pelo investigador principal e, no exemplo, exprime uma situao em que existem dois codificadores (juzes) independentes (Cod1 e Cod2). Existindo mais codificadores, sero acrescentadas mais colunas do lado direito da grelha. Cada codificador receber uma grelha idntica, mas com uma nica coluna de codificao (Cod), no tendo acesso s decises de codificao tomadas pelo(s) outro(s) juiz(es). O investigador entrega a cada codificador um exemplar individual da grelha de codificao, preenchida com as unidades de registo por ele seleccionadas para codificao, acompanhado do sistema de categorias a 10

aplicar. Poder neste momento esclarecer junto de cada juiz a natureza deste sistema e clarificar alguma dvida que possa surgir. Posteriormente, de forma independente e com base no sistema de categorias facultado, o codificador atribuir a cada unidade de registo o cdigo que, a seu ver, melhor lhe corresponda e, finda esta tarefa, devolver a grelha ao investigador. Este registar ento na sua prpria grelha (Quadro 2) as codificaes realizadas pelos diferentes juzes e assinalar as situaes de acordo e de desacordo existentes entre eles. Com base nesta informao, proceder, seguidamente, ao clculo da taxa de fiabilidade. Como calcular a fiabilidade? As primeiras abordagens utilizadas para este propsito basearam-se na proporo (ou percentagem) observada do acordo entre juzes. Este o processo mais simples e, alis, o nico recomendado pelos autores portugueses que do ateno ao assunto (ver, por exemplo, os textos de Esteves, 2006, e Vala, 1986). Trata-se, no fundo, de aplicar simplesmente a seguinte frmula geral: taxa de fiabilidade = n de acordos / total de unidades de registo Esta taxa costuma ser multiplicada por 100, para dar origem a uma percentagem de acordo. O mesmo clculo pode, alis, realizar-se a um nvel mais fino, para cada categoria ou subcategoria do sistema de codificao aplicado. Neste caso, para cada categoria/subcategoria e numa situao em que existam dois juzes: taxa de fiabilidade = 2 (n acordos) / total codificaes 1 juiz + total codificaes 2 juiz Assim, calcula-se primeiro o nmero de codificaes coincidentes entre os dois codificadores. Depois determina-se o total de codificaes 11

realizado por cada um na categoria ou subcategoria em causa e soma-se esse valor ao total de codificaes realizadas pelo outro juiz na mesma categoria ou subcategoria. Posteriormente, multiplica-se o nmero de acordos por dois3 e divide-se esse valor por este ltimo total. Como no caso anterior, este valor final pode ser multiplicado por 100 para se obter a percentagem de acordo. Contudo, embora usada amplamente, a determinao da proporo ou percentagem de acordo no um mtodo recomendado pela maioria dos especialistas. Estes so praticamente unnimes em afirmar que esta percentagem sobrestima o verdadeiro acordo existente entre os juzes. Cohen (1960) referiu-se-lhe, mesmo, como a mais primitiva das abordagens (p. 38). Na verdade, com base num determinado instrumento de classificao, se duas pessoas codificarem um conjunto de objectos de uma forma completamente aleatria, iro provavelmente coincidir diversas vezes, por mero acaso, nas codificaes atribudas. Krippendorff (1980) admite que este consenso, obtido por acaso, pode abranger at 50% das unidades de registo em anlise. O verdadeiro acordo ter ento de ser entendido como a confluncia das classificaes que ocorre para alm da que se estima que teria acontecido por mero acaso. Num texto publicado em 1960, Cohen apresentou o teste kappa (k) como uma forma de medir o acordo entre juzes. O teste foi pensado, inicialmente, para situaes em que existem dois codificadores, cada um dos quais classifica, independentemente do outro, n sujeitos numa de m categorias nominais mutuamente exclusivas e exaustivas. Mais tarde, foi modificado para permitir a sua utilizao por mltiplos codificadores (Fleiss, 1971). A medida de Cohen tem por base a noo, referida anteriormente, de que os casos de acordo observados incluem habitualmente situaes em que tal acordo poder ter ocorrido por mero acaso. Por esta razo, introduz, nos clculos do grau de acordo, uma correco para a
3

Esta multiplicao necessria, pois se se somam os totais das codificaes realizadas por cada um, tambm precisamos de considerar duas vezes o nmero de acordos. Tal multiplicao seria desnecessria se nos limitssemos a dividir o nmero de acordos pelo nmero mdio de codificaes realizadas pelos dois juzes.

12

possibilidade de isso ter acontecido. Tecnicamente, isto faz-se confrontando a proporo de acordo observada com o nvel de acordo estatisticamente esperado em condies de aleatoriedade das classificaes realizadas pelos codificadores envolvidos. Por outras palavras, compara-se o acordo obtido com o acordo que se estima que teria surgido se os codificadores tivessem tomado as suas decises de uma forma totalmente aleatria. Segundo Cohen (1960), a probabilidade de o acordo ter sido obtido por acaso uma funo das probabilidades marginais isto , da forma especfica e relativa como cada codificador distribui os cdigos existentes pelas distintas unidades de registo em anlise. Baseando-se na lei multiplicativa das probabilidades, este estatstico estimou que a probabilidade de um acordo por acaso entre dois juzes independentes consiste no produto das suas probabilidades marginais (independentes) (Perrault & Leigh, 1989). As propores esperadas de um acordo por acaso em cada uma das clulas de uma tabela que cruza as codificaes realizadas por dois codificadores so calculadas com base no pressuposto da independncia entre os juzes (isto , de que cada codificao realizada por um deles no condicionada pelas dos outros). Este processo anlogo ao utilizado na anlise das tabelas de contingncia 2x2 com o teste do Qui-quadrado. Vejamos um exemplo (Tabela 1):

13

Tabela 1. Acordo hipottico entre dois codificadores que classificam 100 alunos quanto presena ou ausncia de dificuldades de aprendizagem Codificador 2 Tem dificuldades Tem Codificador 1 dificuldades No tem dificuldades Total 65 35 100 15 20 35 50 No tem dificuldades 15 65 Total

Fonte: Adaptado de Brennan e Silman (1992) A proporo de acordo observada na Tabela 1 simplesmente a proporo de diagnsticos coincidentes por parte dos dois codificadores quanto aos alunos que apresentam dificuldades de aprendizagem (50/100 = 0.50), acrescida da proporo de diagnsticos coincidentes quanto ausncia dessas dificuldades (20/100 = 0.20), o que resulta na proporo de 0.70. As propores esperadas de acordo, atingido por acaso, para cada uma das quatro clulas da tabela, so calculadas exactamente como se faz para o clculo do teste do Qui-quadrado. Tendo em considerao que ambos os codificadores classificaram 65% dos alunos como possuindo dificuldades de aprendizagem, ento ser de esperar que, por simples acaso, os codificadores tenham coincido neste diagnstico em 65/100 * 65/100 vezes, isto , em 0.42 (ou 42%) do total de casos analisados. Do mesmo modo, ser de esperar que, por mero acaso apenas, tenham coincidido no diagnstico de que os alunos no possuem dificuldades de aprendizagem em 35/100 * 35/100 casos, isto , em 0.12 (ou 12%) das ocasies. A proporo de acordo esperada por mero acaso , pois, 0.42 + 0.12 = 0.54. O que o teste kappa faz calcular a quantidade extra de acordo observado, depois de se tomar em considerao o acaso, ou o acordo aleatrio esperado (po pe), em que po a proporo observada e pe a proporo esperada, sobre a quantidade mxima de acordo no

14

aleatrio que seria possvel ocorrer teoricamente (1-pe). Dito de outro modo, o kappa exprime a proporo de acordo que no se deve ao acaso, calculada sobre o mximo de acordo no aleatrio possvel. Portanto, k = (po-pe)/(1-pe). No exemplo, k = (0.70-0.54)/(1-0.54) = 0.16/0.46 = 0.35. Como explica Cohen (1960), na medida em que existam factores no aleatrios a intervir no sentido do acordo, po exceder pe; a sua diferena, po-pe, representa a proporo de casos em que ocorreu acordo para alm do acaso e o numerador do coeficiente. O coeficiente k simplesmente a proporo de desacordos esperados por acaso que no ocorrem ou, alternativamente, a proporo de acordo depois de se deixar de tomar em considerao o acordo obtido por acaso (p. 40, itlicos no original). Da a frmula k = (po-pe)/(1-pe) ou, exprimida em frequncias, para facilitar os clculos, k = (fo fe)/(N fe) Aplicao do kappa de Cohen no SPSS Para aplicar o kappa de Cohen no SPSS, deve comear-se por organizar o ficheiro de dados do seguinte modo, no Data View do programa (Quadro 3):

15

Quadro 3. Exemplo da estrutura do ficheiro de dados, no Data View do SPSS, para clculo de kappa de Cohen numa anlise de contedo prestruturada Unidade de registo 1 2 3 ... ... Codific1 Codific2

Reserva-se assim a primeira coluna para o nmero de identificao das unidades de registo codificadas, a cada uma das quais o investigador dever ter atribudo um nmero de ordem; a segunda coluna reservada para a insero dos cdigos atribudos pelo Codificador 1 a estas unidades e a terceira para os cdigos atribudos pelo Codificador 2 s mesmas unidades4. Eis um exemplo (Tabela 2) em que dois codificadores atriburam a 10 unidades de registo os cdigos de um sistema de categorias composto pelas categorias 1 (subdividida nas subcategorias 1.1 e 1.2), 2 e 3:

A primeira coluna pode ser, alis, dispensvel, se se assumir que cada linha do Data View do SPSS representa uma unidade de registo identificada com o respectivo nmero.

16

Tabela 2. Exemplo de insero dos dados no SPSS para o clculo do k de Cohen numa anlise de contedo pr-estruturada Unidade 1 2 3 4 5 6 7 8 9 10 Codific1 3.0 1.1 1.1 1.2 1.1 2.0 2.0 3.0 2.0 1.2 Codific2 3.0 1.2 2.0 1.2 1.1 2.0 1.2 3.0 2.0 1.2

Aps a introduo dos dados no formato indicado anteriormente, o investigador procedeu ao clculo do valor de kappa. Para este efeito, seguiu os seguintes passos: nos menus do SPSS, escolheu ANALYZE, DESCRIPTIVE STATISTICS, CROSSTABS. Na caixa de dilogo que se abre, colocou a varivel Codific1 nas colunas e a varivel Codific2 nas linhas (ou vice-versa, pois indiferente, para efeitos prticos). Seguidamente, pressionou o boto Statistics e seleccionou a opo Kappa. Confirmou depois as suas opes com OK. A partir dos dados da Tabela 2, o programa criou uma tabela que cruza as codificaes realizadas por um codificador com as efectuadas pelo outro (Tabela 3). Para alm deste resultado, o SPSS tambm fornece o valor do teste kappa e o respectivo nvel de significncia estatstica.

17

Tabela 3. Resultados da anlise dos dados da Tabela 2, com a aplicao do k de Cohen no SPSS
Codific1 1.1 1.1 1.2 Codific2 Total 2.0 3.0 1 1 1 0 3 1.2 0 2 0 0 2 2.0 0 1 2 0 3 3.0 0 0 0 2 2 Total 1 4 3 2 10

Nas clulas situadas na diagonal da tabela (em sombreado) possvel observar o nmero de vezes em que houve acordo entre os dois juzes. Vemos assim que o Codificador 1 atribuiu o cdigo 1.1 trs vezes (total da primeira coluna), enquanto o Codificador 2 o fez apenas uma vez (total da primeira linha), mas que ambos aplicaram este cdigo mesma unidade de registo apenas uma vez (primeira clula do canto superior esquerdo da Tabela 3). O cdigo 1.2 foi aplicado consensualmente duas vezes, acontecendo o mesmo com os cdigos 2 e 3. Em suma, em 10 codificaes, os juzes concordaram sete vezes. As frequncias das clulas fora da diagonal indicam no apenas o nvel de desacordo, mas tambm ajudam a perceber a natureza desse desacordo, isto , em que categorias ele ocorre (Perreault & Leigh, 1989). Vemos, por exemplo, na segunda clula a contar de cima para baixo, na primeira coluna do lado esquerdo, que houve uma unidade a que o Codificador 1 atribuiu o cdigo 1.1, enquanto o Codificador 2 a classificou com o cdigo 1.2. possvel perceber, por exemplo, quantas vezes cada categoria ou subcategoria foi aplicada por cada codificador e em quantas dessas vezes houve coincidncia no seu juzo classificativo. A observao desta tabela cruzada pode, pois, ser muito til para perceber o comportamento dos codificadores e para recolher pistas (por exemplo, que categorias esto a obter consensos muito baixos?) para aperfeioar o sistema de classificao, caso isso se venha a mostrar necessrio. O SPSS tambm produziu, para os dados em apreo, um valor de kappa de 0.605 (ou 60.5%), com um nvel de probabilidade de p < 0.01.

18

Repare-se que aquele valor inferior taxa de acordo que teria sido calculada atravs do mtodo da percentagem (7 acordos em 10 codificaes = 70 %). Isto deve-se ao facto de o valor incluir j uma correco que tem em conta a probabilidade de alguns dos acordos se terem devido ao acaso. Na sua aplicao no SPSS, ao kappa surge associado um nvel de significncia estatstica (p, representado no programa pela abreviatura Sig) cuja interpretao til quando trabalhamos com amostras de unidades de registo retiradas de uma Populao maior (ou seja, quando calculamos a fiabilidade com base em apenas algumas das unidades de registo existentes no corpus). Como interpretar os resultados O kappa pode variar entre 1 e -1. O 1 sinaliza um acordo perfeito entre os juzes; o 0 no exprime, como se poderia supor, a ausncia de acordo, mas antes a existncia de acordo que se deve totalmente ao acaso as codificaes idnticas dos juzes so em nmero igual ao das que teriam acontecido por acaso; o -1 traduz um desacordo perfeito e que no se deve ao acaso (Norusis, 2005, p. 430). Em sntese, o acordo que supera o esperado (por acaso) conduz a valores positivos; o que inferior ao esperado d origem a valores negativos. Mas como interpretar os valores de kappa que se situem no vasto leque de resultados possveis entre 0 e 1 (em valor absoluto)? Infelizmente, nem todos os investigadores coincidem nos valores de referncia para a leitura destes resultados. Por exemplo, Landis and Koch (1977) apresentaram diferentes leques de valores indicativos de distintos nveis de acordo. Embora os prprios autores tenham designado os seus valores de "claramente arbitrrios", estes acabaram por ser adoptados na literatura como o padro de referncia para a interpretao do kappa. De acordo com estas indicaes (tambm assumidas por Fleiss, 1981), valores superiores a 0.75 sinalizam um acordo forte que est para alm do acaso, valores inferiores a 0.40 representam um baixo nvel de acordo para alm

19

do acaso, e valores entre 0.40 e 0.75 representam um acordo de razovel a bom, no obtido por acaso. Alternativamente, em Brennan e Silman (1992), encontramos a seguinte tabela de referncia (Tabela 4): Tabela 4. Interpretao sugerida por Brennan e Silman (1992) para os diferentes valores de kappa Kappa <0.20 0.21-0.40 0.41-0.60 0.61-0.80 0.81-1.00 Grau de acordo Fraco Razovel Moderado Bom Muito Bom

Dada esta diversidade de orientaes, recomenda-se que o analista opte por um modelo interpretativo especfico e que o cite explicitamente, para que seja possvel ao leitor perceber em que quadro intelectual e tcnico situa a sua anlise. Uma condio importante para que seja possvel calcular o k no SPSS que ambos os codificadores usem as mesmas categorias e subcategorias, isto , torna-se necessrio que o programa possa construir uma tabela de dupla entrada simtrica em que as categorias sejam idnticas nas linhas e nas colunas. Mais concretamente, no pode dar-se o caso de haver uma categoria que s um dos codificadores usou, mas no o outro. Esta uma limitao do kappa. Com efeito, existem dois tipos gerais de desacordo possvel entre codificadores: (a) um pode entender que na unidade de registo 1 se deve aplicar o cdigo x, enquanto o outro acha que deve ser aplicado o cdigo y; (b) um pode considerar que um determinado cdigo aplicvel a, pelo menos, uma unidade de registo, enquanto o outro considera que tal cdigo no se aplica a nenhuma. O kappa de Cohen s est construdo para lidar com a primeira destas situaes e o SPSS d

20

mensagem de erro quando se confronta com o segundo contexto. Mas, se virmos bem, este no propriamente um problema: muito provvel que um sistema de categorias no qual algumas categorias nunca sejam aplicadas por um ou mais codificadores tenha problemas intrnsecos e a mensagem de erro do SPSS funcionar at, a este respeito, como um sinal de alarme de que necessrio aperfeioar o sistema (ou, hiptese que tambm admissvel, o treino dos codificadores). O que fazer quando a fiabilidade baixa? Suponhamos que no seu estudo um investigador conclui que a taxa de acordo entre os juzes baixa. O que deve fazer? Nestas situaes, dever procurar aperfeioar o seu sistema de categorias e repetir todo o processo de codificao e determinao da taxa de fiabilidade (preferencialmente, com outros juzes, ou outras unidades de registo), at atingir um limiar de fiabilidade adequado. Nesta fase, antes de repetir todo o processo, tendo em vista melhorar o sistema de categorias, recomendase que converse com os codificadores e procure perceber que aspectos acharam difceis na aplicao do sistema. Como resultado deste dilogo e da prpria anlise que o investigador faz dos comportamentos de codificao dos juzes (como se referiu, anteriormente), pode ser necessrio aplicar uma ou mais das seguintes medidas: a) proceder fuso de categorias e/ou subcategorias; b) alterar os descritivos das categorias e/ou subcategorias, para tornar mais clara a sua natureza; c) inserir exemplos tpicos mais adequados para ilustrar o contedo indicativo dessas categorias e/ou subcategorias. A anlise do corpus Depois de se atingir o nvel de fiabilidade desejado, aplica-se o sistema de categorias a toda a informao disponvel. Cada conjunto de unidades de registo colocadas numa determinada categoria ou subcategoria poder, ento, ser analisado, de forma a compreender-se em 21

que sentido aponta a informao nele contida. Para o efeito, devem organizar-se ficheiros temticos (por exemplo, no processador de texto WORD), um para cada categoria ou subcategoria do sistema aplicado. Em alternativa, poder utilizar-se um programa informtico de anlise qualitativa, de entre os vrios disponveis no mercado. O contedo de cada ficheiro ser posteriormente analisado, procurando-se detectar as principais tendncias de resposta, comportamento ou percepo encontradas e relacionar as concluses decorrentes da anlise dos diferentes ficheiros. Embora alguns autores utilizem a contagem de excertos ou de palavras/expresses como estratgia analtica, em cada ficheiro temtico, este no decididamente o critrio de anlise mais importante, embora possa constituir um auxiliar til na apresentao e interpretao dos resultados. O mais relevante a componente qualitativa da informao, embora at os partidrios mais puristas deste tipo de anlise no consigam normalmente resistir a fazer alguma espcie de contagem numrica para decidir o que importante nos seus dados. Concluso No existe uma forma certa de se fazer anlise de contedo e o presente trabalho no pretende apresentar-se como a soluo perfeita para todas as dificuldades com que este tipo de trabalho se confronta. Procurouse, mesmo assim, dar um passo em frente, fazendo um balano crtico sobre as formas habituais como temos lidado com estas situaes e sugerindo processos mais estruturados e explcitos de as aperfeioarmos. Para que um analista possa verificar em que medida cumpriu os requisitos enunciados no presente texto, apresenta-se em anexo uma lista de verificao (Anexo B). Neste artigo, deu-se especial ateno questo da fiabilidade, por se considerar que um elemento central nos esforos que precisamos de desenvolver para conferirmos s nossas anlises de contedo um estatuto mais rigoroso no mbito da comunidade cientfica. Na sua variante intracodificador, o termo fiabilidade descreve em que medida um mesmo 22

codificador codifica o material para anlise de uma forma consistente, em momentos diferentes. Procurmos demonstrar que, apesar de importante, esta forma de fiabilidade insuficiente para assegurar a credibilidade cientfica de um estudo, sendo essencial a busca da fiabilidade intercodificadores. Enquanto a primeira mede simplesmente a consistncia dos juzos privados de um sujeito, a segunda estabelece um grau de consistncia baseado em entendimentos partilhados, isto , assente na confluncia de juzos formulados por dois ou mais codificadores. Mas preciso reconhecer que a obteno de um acordo entre juzes quanto codificao de uma unidade de registo ou de um segmento de texto no garantia de que essa unidade ou segmento tenha sido codificada correctamente: ambos os juzes podem ter errado na atribuio do cdigo correcto. Por isto, no presente texto insistiu-se na importncia de se medir a fiabilidade com base numa forma de clculo que no exprima uma simples percentagem de acordo, sugerindo-se, para o efeito, a utilizao do kappa de Cohen. Embora o kappa tenha algumas limitaes, que foram aqui assinaladas, importante us-lo, porque (a) a medida mais utilizada para se calcular a fiabilidade intercodificadores no domnio das cincias comportamentais, o que permite a comparao entre estudos; (b) constitui a base sobre a qual a grande maioria dos outros testes e abordagens foi construda e (b) toma em considerao a probabilidade de uma parte dos acordos obtidos se ter devido ao acaso (Perrault & Leigh, 1989). Contudo, o kappa no uma soluo milagrosa para as complexidades inerentes ao processo de clculo da fiabilidade na anlise de contedo. O risco de a taxa de fiabilidade ser baixa aumenta com a quantidade de categorias a aplicar, o nmero de codificadores que intervm e o grau de desestruturao do material a codificar. Para se obter maior fiabilidade, basta, portanto, reduzir o nmero de categorias a aplicar e o nmero de codificadores a mobilizar, apresentando-lhes, preferencialmente, unidades de registo previamente recortadas pelo investigador. Isto mostra que existe uma certa artificialidade metodolgica no clculo da fiabilidade que no deve ser menosprezada. O contributo 23

essencial dos procedimentos recomendados no presente texto reside, pois, no propriamente na descoberta da forma ideal de se calcular a fiabilidade embora a tcnica sugerida represente um avano em relao ao que tem sido habitual fazer-se entre ns , mas, sobretudo, em dois outros aspectos: (1) o estabelecimento de uma forma tecnicamente clara de se organizar a informao e o processo de anlise e de se assegurar um acordo intersubjectivo entre analistas e (2) a insistncia na explicitao e revelao pblica dos procedimentos e das decises tomadas, permitindo assim que a anlise de contedo se torne verificvel e, portanto, digna de um estatuto cientfico. Referncias bibliogrficas Banerjee, M., Capozzoli, M., McSweeney, L., & Sinha, D. (1999). Beyond Kappa: a review of interrater agreement measures. The Canadian Journal of Statistics / La Revue Canadinne de Statistique, 27(1), 323. Bardin, L. (1995). Anlise de contedo. Lisboa: Edies 70. Bogdan, R., & Biklen, S. (1994). Investigao qualitativa em educao: uma introduo teoria e aos mtodos. Porto: Porto Editora. Brennan, P., & Silman, A. (1992). Statistical methods for assessing observer variability in clinical measures. British Medical Journal, 304, 1491-1494. Brennan, R. L., & Prediger, D. J. (1981). Coefficient kappa: some uses, misuses and alternatives. Educational and Psychological Measurement, 41, 687-699. Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20(1), 37-46. Constas, M. A. (1992). Qualitative analysis as a public event: the documentation of category development procedures. American Educational Research Journal, 29(2), 253-266. Esteves, M. (2006). Anlise de contedo. In J. . Lima & J. A. Pacheco (Orgs.), Fazer investigao (pp. 105-126). Porto: Porto Editora. Fleiss, J. L. (1971). Measuring nominal scale agreement among many raters. Psychological Bulletin, 76, 378-382. 24

Fleiss, J. L. (1981). Statistical methods for rates and proportions (2 edio). New York: John Wiley and Sons. Kassarjian, H. H. (1977). Content analysis in consumer research. Journal of Consumer Research, 4, 8- 18. Kolbe, R. H., & Burnett, M. S. (1991). Content-analysis research: an examination of applications with directives for improving research reliability and objectivity. Journal of Consumer Research, 18(2), 243-250. Krippendorff, K. (1980). Content analysis: an introduction to its methodology. Newbury Park, CA: Sage. Kurasaki, K. S. (2000). Intercoder reliability for validating conclusions drawn from open-ended interview data. Field Methods, 12(3), 179-194. Landis, R. J., & Koch, G.G. (1977). The measurement of observer agreement for categorical data. Biometrics, 33, 159-174. Lombard, M., Snyder-Duch, J., & Bracken, C. C. (2002). Content analysis in mass communication: assessment and reporting of intercoding reliability. Human Communication Research, 28(4), 587-604. Norusis, M. J. (2005). SPSS 13.0 Guide to data analysis. New Jersey: Prentice-Hall. Perreault, W. D., & Leigh, L. E. (1989). Reliability of nominal data based on qualitative judgments. Journal of Marketing Research, 36, 135-148. Rocha, D., & Deusdar, B. (2005). Anlise de contedo e anlise do discurso: aproximaes e afastamentos na(re)construo de uma trajetria. Alea, 7(2), 306-322. Vala, J. (1986). A anlise de contedo. In A. S. Silva & J. M. Pinto (Orgs.), Metodologia das cincias sociais (pp. 101-128). Porto: Afrontamento. Weber, R. (1990). Basic content analysis. Newbury Park, CA: Sage.

25

Anexo A Exemplo de um sistema de categorias para anlise de contedo


Categoria 1 - DESENVOLVIMENTO PROFISSIONAL INDIVIDUAL Esta categoria agrega os excertos das entrevistas relativos ao conceito de

desenvolvimento profissional manifestado pelos entrevistados, s experincias pessoais de desenvolvimento profissional que relatam, aos obstculos a esse desenvolvimento que consideram existir na sua escola e s condies que, na sua opinio, seriam necessrias para que se desenvolvessem mais, desse ponto de vista. Subcategoria 1.1 - Conceito de desenvolvimento profissional Engloba as referncias produzidas pelos entrevistados que exprimem o conceito que possuem de desenvolvimento profissional no ensino. Integra a sua descrio das mudanas e experincias verificadas ao longo do tempo na sua prtica e nas suas atitudes que indiciam um desenvolvimento individual, enquanto docente. Exemplo: Desenvolver-me, enquanto docente, sentir que estou a crescer interiormente e que consigo comunicar e fazer com que os alunos cresam, tambm, enquanto pessoas. Subcategoria 1.2 - Obstculos ao DP individual existentes na escola Integra as afirmaes dos entrevistados que ilustram a sua opinio sobre que aspectos existem na sua escola que constituem obstculo ao seu desenvolvimento profissional individual. Exemplo: Podia-me ter desenvolvido bastante mais se tivesse tido mais apoio. Apoio de quem percebesse realmente de educao especial. Subcategoria 1.3 Condies promotoras do DP individual na escola Integra as afirmaes dos entrevistados que ilustram a sua opinio sobre que aspectos existem na sua escola que promovem o seu desenvolvimento profissional individual.

26

Exemplo: Tendo em conta os recursos que ns temos na escola ... uma escola na qual eu vejo que h ritmo, que h dinamizao, quer h tentativa de ... de disponibilizar formao aos professores de modo a melhorarmos. Subcategoria 1.4 - Condies necessrias para um maior DP individual Agrupa as referncias feitas pelos entrevistados s condies que seriam necessrias para que se desenvolvessem mais, individualmente, do ponto de vista profissional. Exemplo: Dava jeito, por exemplo, sair mais vezes daqui, que uma coisa que ns fazemos muito pouco. (...) gostava que houvesse um bocadinho mais de intercmbios e de experincias, trocas partilha de experincias. Categoria 2 DESENVOLVIMENTO DA ESCOLA So includas nesta categoria as referncias feitas pelos inquiridos s condies que seriam necessrias para que a sua escola se desenvolvesse mais, enquanto estabelecimento de ensino. Exemplos: Eu acho que [o que a escola precisa para se desenvolver mais] o aspecto ... eu acho ... o aspecto humano, acho que falha um bocado a. Eu acho que tem que se ter em conta mais a pessoa, o lado humano dos docentes, ver tambm as suas ... os seus problemas que fazem com que s vezes tenham um desempenho menos ... menos bom. A escola precisa de adquirir mais material estou sempre a lembrar-me da minha rea, mais material de laboratrio, material informtico, se calhar talvez permitir mais consulta por parte dos alunos, s temos duas salas de Internet ligadas em rede.

27

Anexo B Anlise de contedo: lista de verificao dos procedimentos metodolgicos

Na minha anlise de contedo: 1. Explicitei o modo como constru o sistema de categorias, identificando as categorias prdeterminadas e as emergentes 2. No meu sistema de categorias, no existem unidades de registo enquadrveis em mais do que uma categoria ou subcategoria 3. As categorias e subcategorias do meu sistema de categorias so exaustivas, isto , exprimem todos os aspectos relevantes existentes nos dados 4. O meu sistema de categorias produtivo: todas as categorias/subcategorias tm pelo menos trs unidades de registo 5. Usei um sistema decimal de atribuio de cdigos s categorias/subcategorias 6. No sistema de categorias, inclu em cada categoria e subcategoria uma descrio por extenso da sua natureza 7. No sistema de categorias, inclu em cada categoria e subcategoria um ou dois exemplos tpicos de unidades de registo enquadrveis na mesma 8. Escolhi codificadores com nvel de instruo e capacidade de compreenso lingustica e tcnica adequados 9. Realizei um treino adequado dos codificadores, explicando-lhes detalhadamente o sistema de categorias 10. Utilizei pelo menos dois codificadores 11. No intervim no papel de codificador 12. Os codificadores agiram de forma independente 13. No clculo da taxa de fiabilidade, utilizei uma tcnica que tem em conta a possibilidade de o acordo poder ocorrer por acaso 14. Para o clculo da fiabilidade, usei uma amostra aleatria de pelo menos 10% das unidades de registo, com um mnimo de 50 unidades* 15. Apresentei o nvel de significncia estatstica da taxa de fiabilidade apurada* 16. Alterei o sistema de categorias e procedi a novo clculo da fiabilidade, quando o clculo anterior produziu uma taxa baixa** * critrio aplicvel unicamente quando a fiabilidade calculada com base numa amostra de unidades de registo ou de segmentos de texto ** critrio aplicvel apenas nas situaes em que a taxa calculada anteriormente se revela insatisfatria

Sim

No

28