Produto & Produo, vol. 11, n. 2, p. 85 - 103, jun.

2010

Confiabilidade em Questionrios para Qualidade: Um Estudo com o Coeficiente Alfa de Cronbach

Henrique Rego Monteiro da Hora Doutorando pela UFF Professor do ISECENSA Gina Torres Rego Monteiro Professora Doutora da FioCruz Dept. de Epidemiologia e Mtodos Quantitativos em Sade Jose Arica Professor Doutor da UENF Laboratrio de Engenharia de Produo

RESUMO O setor de servios ocupa na sociedade atual um papel de destaque em relao ao setor industrial, uma vez que os produtos industrializados tendem a possuir uma qualidade intrnseca semelhante, tornando o servio oferecido junto com este produto um importante diferencial competitivo. O setor de servio tambm se destaca em empresas que oferecem a sociedade servios puros, ou seja, no agregados a nenhum outro produto. Dada a importncia deste setor, preciso avaliar se a qualidade dos servios ofertados esta de acordo com as expectativas dos clientes. Este trabalho faz uma anlise de confiabilidade de questionrios para avaliar a qualidade de servios em geral, por meio de um experimento realizado em um estudo de caso. Os resultados so significativos e levam a concluso que o coeficiente utilizado deve ser mais difundido pela literatura nacional. Palavras-chave: alfa de Cronbach, confiabilidade, qualidade em servio. 1 INTRODUO Bell (1973) constri uma linha lgica pelo tempo e pela evoluo tecnolgica que caracteriza uma sociedade moderna ou ps-industrial (como o prprio autor denomina) baseado em dois parmetros: o leque de servios que ela oferece e o conforto que esses servios possibilitam. No Quadro 1 possvel acompanhar a evoluo das sociedades segundo Bell (1973).

Sociedade Pr-Industrial Industrial Ps-industrial Extrativismo Produo de Bens Servios Caracterstica Fora humana Mquinas Informao Energia Sem qualificao Semi-especializado Habilitado Profissional Natureza Natureza fabricada Pessoas Limitaes Fonte: Baseado em Bell (1973). Quadro 1: Principais caractersticas das sociedades.

interessante notar a evoluo das limitaes de cada sociedade, onde h uma migrao da natureza (chuva, estaes do ano, fertilidade da terra) como componente crucial da produtividade, passando pelas mquinas e estruturas construdas pelo homem (natureza fabricada), chegando enfim a uma valorizao do ser humano (pessoa), considerando-o pea importante na imagem e funcionamento da empresa. A Sociedade Ps-Industrial prevista por Bell (1973) se aproxima grandemente da situao atual: de cada 100 trabalhadores americanos, 75 so empregados em organizaes do setor de servios, entretanto quando se considera apenas as indstrias desse setor, tem-se que 86% dos trabalhadores esto envolvidos com servios, restando somente 14 em 100 para a fabricao de produtos (MIGUEL, 2001). No Quadro 2 se ilustra a importncia do setor de servios pela quantidade de funcionrios que as empresas alocam no setor administrativo. A GM, por exemplo, possui somente 22,5% da sua mo de obra destinada a produo direta de veculos e autopartes.
Funcionrios Administrativos IBM 91,0 % GM 77,5 % Mbil 61,5 % General Eletrics 60,0 % Du Pont 57,1 % Fonte: Baseado em Miguel (2001). Quadro 2: Diviso da fora de trabalho em algumas empresas. Empresa

Com o grande crescimento do setor, acirra-se a concorrncia entre as organizaes que prestam servios. Admitindo-se que o nvel de qualidade de uma organizao determinante para o seu sucesso e sua conseqente sobrevivncia no mercado, a medio da qualidade dos servios prestados se torna uma importante tarefa para avaliar sua competitividade da mesma. Os principais objetivos que levam uma organizao a investir em qualidade so aumentar a fatia de mercado, conquistando novos clientes, e reduzir desperdcios (CARPINETTI et al, 2007). A lgica que clientes satisfeitos representam faturamento, boa reputao, novos pedidos, melhores resultados para a empresa, garantia de emprego e remunerao para os funcionrios. O contrrio, clientes insatisfeitos, pode resultar em m reputao, dificuldade em conseguir novos pedidos, perda de faturamento e dificuldade em se manter no negcio. Segundo dados do IBGE, o setor de servios respondeu por 52% do PIB do Brasil em 2002 (MIGUEL & SALOMI, 2004; ROTONDARO & CARVALHO, 2007). A importncia da preocupao com a qualidade do atendimento nesse setor de servios pode ser comprovada pelos resultados de uma pesquisa que revelou um crescimento de 12% nos lucros das empresas que aplicaram programas para

melhoria da qualidade, contra 1% daquelas que no contaram com esse tipo de programa (LAS CASAS, 1992, apud MIGUEL, 2001). Outros estudos revelam que empresas que conseguiram diminuir a evaso de clientes em 5%, tiveram como conseqncia aumento do lucro entre 25% e 85% (MIGUEL, 2001). Entretanto, qualidade em servios um conceito muito subjetivo e, por conseqncia, pouco preciso, pois a percepo individual de cada avaliador proporcional s suas experincias anteriores, criando de certo modo uma expectativa sobre o servio que ela receber (PARASSURAMAN et al, 1985). Assim, quando se avalia o nvel de satisfao do cliente, como medida de qualidade do servio, deve-se solicitar dos mesmos seus pareceres em relao quele (HAYES, 1995). O presente trabalho prope-se a uma anlise de confiabilidade do questionrio como instrumento de interrogao. O objetivo deste trabalho ilustrar como estabelecer a confiabilidade de um questionrio utilizado para a medio da qualidade em servios por meio das avaliaes de percepo, realizando um experimento a fim de aumentar a confiabilidade do questionrio eliminando itens que de alguma forma, contribuem negativamente para o resultado final da anlise de confiabilidade.

2 TEORIA CLSSICA DE MEDIO Em toda medio o valor observado X composto aditivamente por duas variveis: o valor verdadeiro da medio V, e um erro aleatrio de medio E (CARMINES & ZELLER, 1979; HAYES, 1995; ALLEN & YEN, 2003; CROCKER & ALGINA, 2006). X =V + E (1) Analogamente, pode-se assumir que a varincia total dos valores observados 2 2 X est composta pela soma das varincias dos valores verdadeiros V e a
2 varincia dos erros E (NICHOLS, 1999, HAYES, 1995). 2 2 2 X = V +E

(2)

2.1 Confiabilidade

Assim sendo, se a varincia associada aos erros aleatrios diminui, o valor observado X se aproxima do valor verdadeiro V, o que representa maior preciso nas medies, conseqentemente, maior confiabilidade no instrumento utilizado para a coleta dos dados (no caso, o questionrio). Conceitualmente, a confiabilidade reflete o quanto os valores observados esto correlacionados aos verdadeiros valores (CARMINES & ZELLER, 1979; CROCKER & ALGINA, 2006). A confiabilidade de um teste se define, equivalentemente, nos seguintes modos (NICHOLS, 1999): O quadrado da correlao entre os valores observados e os valores 2 verdadeiros: ( xv );

 A proporo da varincia total dos valores observados em relao varincia dos valores reais: ( X
2 2 V

);

Um menos a proporo da varincia total dos valores observados pela varincia do erro: ( 1 X
2 2 E

).

2 Entretanto, sendo V desconhecido, impossvel determinar a confiabilidade diretamente, calculando a correlao entre os valores observados e verdadeiros. Por outro lado, Cronbach (1947) apresenta quatro definies para o termo confiabilidade e os respectivos mtodos para sua estimao: Definio 1 coeficiente de estabilidade: Confiabilidade o grau com que o resultado de um teste permanece com diferenas inalterveis individualmente em qualquer tratamento. Definio 2 coeficiente de estabilidade e equivalncia: Confiabilidade o grau com que o resultado de um teste permanece com diferenas inalterveis no universo e na amostra definida pelo teste. Definio 3 Coeficiente de equivalncia: Confiabilidade o grau com que o resultado de um teste indica o status do individuo no universo e na amostra definida pelo teste. Definio 4 Auto-correlao hipottica: Confiabilidade o grau com que o resultado de um teste indica diferenas individuais em qualquer tratamento no presente momento. Ao lanar estas definies Cronbach (1947) solicita que sejam discutidas e sugeridas novas e mais precisas definies. Aleen & Yen (2003), Hayes (1995) Crocker & Algina, (2006), e uma srie de autores corroboram as definies de Cronbach (1947) e os mtodos apresentados por ele para estimar a confiabilidade segundo cada definio: Mtodo do re-teste: Aplicar o mesmo instrumento ao mesmo grupo. As aplicaes so supostamente independentes, mas isso nem sempre pode ser feito. Mudanas nos resultados relativos so sempre tratadas como varincia do erro, e no dos valores reais; Mtodo dos testes equivalentes: Dois testes equivalentes ou paralelos devem ser aplicados com algum intervalo e sua correlao deve ser determinada. Qualquer mudana nos resultados deve ser tratada como varincia do erro; Mtodo da diviso pela metade: Supe que o desvio padro entre duas metades seja igual e que tenha alta correlao. Consiste em separar os resultados em duas metades e compar-las entre si. Acrescenta-se a esta lista o mtodo da consistncia interna, onde so calculados estimadores para a confiabilidade.

2.2 Alfa de Cronbach

O coeficiente alfa de Cronbach foi apresentado por Lee J. Cronbach, em 1951, como uma forma de estimar a confiabilidade de um questionrio aplicado em uma pesquisa. o alfa mede a correlao entre respostas em um questionrio atravs da anlise do perfil das respostas dadas pelos respondentes. Trata-se de uma correlao mdia entre perguntas. Dado que todos os itens de um questionrio utilizam a mesma escala de medio, o coeficiente calculado a partir da varincia dos itens individuais e da varincia da soma dos itens de cada avaliador atravs da seguinte equao: k si2 k (3) = 1 i =1 2 st k 1 onde: k corresponde ao nmero de itens do questionrio; si corresponde a varincia de cada item; st corresponde a varincia total do questionrio, determinada como a soma de todas as varincias. A Tabela 1 ilustra a aplicao passo a passo do coeficiente, onde cada coluna indica um item, cada linha indica um avaliador, e o encontro entre um item e um avaliador (Xnk) indica a resposta deste avaliador para este item, dentro da escala.
Tabela 1: Tabulao dos dados de questionrio para clculo do alfa de Cronbach. Avaliadores 1 2 p n 1 X11 X21 Xp1 2 X12 X21 Xp2 ... ... ... Itens i X1i X2i Xpi ... ... ... ... ... k X1k X2k Xpk Xnk sk Total X1 X2 Xp Xn St

... Xni Xn1 Xn2 ... sn s1 s2 Fonte: Adaptado de Cronbach, 2004.

Cada item, a priori, deve abordar uma nica idia de cada vez (GIL, 2002), isto , os itens devem ser independentes. Se a resposta a determinado item se comporta de maneira parecida com a resposta de outro item, conclui-se que um explica o outro. Assim sendo, para se ter um valor adimensional para representar a iseno dos erros aleatrios das observaes (a confiabilidade), dividimos o estimador pela variabilidade total do questionrio, chegando finalmente na frmula apresentada por Cronbach em 1951 (CRONBACH, 2004). A aplicao do alfa de Cronbach contempla alguns pressupostos, tais como: O questionrio deve estar dividido e agrupado em dimenses, ou seja, questes que tratam de um mesmo aspecto: Parassuraman et al (1988), em seu clssico e seminal modelo de avaliao de qualidade em servios, ServQual, aps uma purificao de escala, agrupa 22 itens de

seu questionrio em 5 dimenses (confiabilidade, presteza, garantia, empatia e tangibilidade); O questionrio deve ser aplicado a uma amostra significativa e heterognea: Quando se elabora um questionrio para especialistas, a confiabilidade no pode ser aferida internamente, pois se subentende que avaliadores especialistas tendem a ter a mesma opinio sobre o assunto em discusso, diminuindo a variabilidade total do questionrio e diminuindo assim o alfa. Neste caso, o mtodo de confiabilidade entre avaliadores mais recomendado do que a utilizao do coeficiente alfa; A escala j deve estar validada: H ainda na literatura cientfica uma confuso entre validade e confiabilidade. A validade est relacionada verificao de se um instrumento realmente mede aquilo que se prope a medir (o instrumento vlido para qual propsito?) J confiabilidade est relacionada com a iseno de erros aleatrios, ou seja, em se repetir verificao os resultados sero os mesmos? Ainda no h um formalismo matemtico para se dizer se uma escala vlida ou no, por esse motivo muitos pesquisadores avaliam a validade da escala pelo nvel de confiabilidade desta. Exemplos deste procedimento podem ser encontrados em Freitas & Gonalves (2004); Maada et al (2000); Oviedo & Campo-Arias (2005), entre outros. O conceito de validade trs subjetividade em si, pois ao afirmar que um instrumento de medio vlido, surge a pergunta: vlido para qual propsito? A validade o grau em que um determinado instrumento mede o que ele deveria medir (CARMINES & ZELLER, 1979). Validade , em fim, o grau de acurcia ou exatido do resultado de uma medio, i.e., o quanto o resultado se aproxima do que se pretende medir (ALEEN & YEN, 2003). Um exemplo claro da diferena entre os conceitos de validade e confiabilidade ilustrado quando Cronin & Taylor (1992) questionam a validade do instrumento ServQual e prope o ServPerf como sendo vlido. Em vrios trabalhos possvel verificar que em muitas medies da qualidade em servios em diversos setores a escala ServQual adaptada com um alto grau de confiabilidade, mas no tem a sua validade assegurada. Salomi et al (2005) compararam os dois instrumentos (ServQual e ServPerf) utilizando o coeficiente alfa e verificaram um alto grau de confiabilidade para os dois instrumentos. Entretanto, um alto grau de confiabilidade no significa necessariamente que o instrumento seja vlido.

2.2.1 Divulgao e utilizao do coeficiente alfa

A grande utilizao e aceitao no meio acadmico do coeficiente alfa de Cronbach um fator determinante para sua adoo como ferramenta para estimao da confiabilidade. O levantamento bibliomtrico realizado por Peterson (1994) sobre a quantidade de publicaes que utilizaram este coeficiente na literatura mundial apresentado na Tabela 3. No foram encontrados na academia dados consolidados mais atuais, e este trabalho no tem a ambio de realizar uma nova bibliometria.

Tabela 2: Quantidade de publicaes sobre o alfa de Cronbach em fontes internacionais. Fonte AMA/ACR Proceedings Journal of Applied Psychology Journal of Consumer Research Journal of Marketing Journal of Marketing Research Journal of Personality and Social Psychology Journal of Personality Assessment Journal of the Academy of Marketing Science Psychological Reports Outras publicaes Manuscritos no publicados Total Fonte: Peterson, 1994. Perodo 1971-1992 1960-1992 1974-1992 1960-1992 1964-1992 1960-1992 1960-1992 1972-1992 1960-1992 1970-1992 1980-1992 Quantidade 113 670 166 238 639 724 586 387 418 30 315 4.286

Em consulta ao portal Scholar Google, em junho de 2010, possvel verificar que mais de 12.000 citaes j foram feitas ao artigo que lanou o coeficiente que ficou academicamente conhecido como alfa de Cronbach (1951). No Brasil, seu uso ainda pouco difundido nas revistas de Engenharia, mas alguns trabalhos so encontrados em peridicos da rea de sade, que frequentemente utiliza questionrios em pesquisas (STREINER & NORMAN, 2008).
Tabela 3: Quantidade de publicaes sobre o alfa de Cronbach em fontes nacionais. Fonte Revista Produo on-line Revista Produo ENEGEP SIMPEP Revista Gesto e Produo Revista P&D em Engenharia de Produo Revista de Administrao de Empresas Eletrnica Revista de Administrao de Empresas Outros peridicos Total Fonte: Elaborao Prpria. ISSN 1676-1907 0103-6513 1809-7189 0104-530X 1679-5830 1676-5648 0034-7590 Perodo 2001-2008 2002-2008 1996-2008 2003-2007 2000-2008 2003-2006 2002-2007 1961-2008 Quant. 1 0 77 1 0 0 0 0 117 196

A Tabela 3 foi elaborada com os dados disponveis em peridicos e bases cientficas disponveis para consulta on-line, e indexadas por, pelo menos, ttulo do artigo. relevante ressaltar que, apesar da literatura cientfica a respeito das aplicaes do coeficiente nas diversas reas do conhecimento ser ampla e abrangente, ainda no existe um consenso entre os pesquisadores acerca da interpretao da confiabilidade de um questionrio obtida a partir do valor deste coeficiente. No h um valor mnimo definido para o coeficiente alfa de Cronbach ser aceito como bom, mas acha-se na literatura o valor de 0,70 como mnimo aceitvel (FREITAS & CONGALVEZ, 2005; URDAN, 2001; OVIEDO & CAMPO-ARIAS, 2005; MILAN & TREZ, 2005). Existem, entretanto, autores que utilizam o alfa sem fazerem nenhuma meno a um mnimo (SALOMI et al, 2005; XEXEO, 2001; MIGUEL & SALOMI, 2004; MAADA et al, 2000; MATO & VEIGA, 2000).

2.2.2 Valores negativos para o coeficiente

{ | < 1 0}, mas deve ser interpretado no intervalo entre 0 e 1, onde

modelo

para

estimao

alfa

de

Cronbach

vlido

para

os valores negativos do alfa devem ser considerados como escalas sem confiana (ou seja, zero) (NICHOLS, 1999).

3 INSTRUMENTOS DE INTERROGAO

A aferio da satisfao do cliente pode se dar de vrias formas, seja por pesquisa direta por meio de entrevistas, formulrios e/ou questionrios, seja por outros meios. Freitas (2005) levanta uma srie de instrumentos para tal: Formulrios de Pesquisa (questionrio): para serem respondidos diretamente pelos clientes. Podem ser desenvolvidos baseados em mtodos conhecidos, como ServQual, ServPerf, etc.; Entrevistas: realizadas pessoalmente ou por telefone; Pesquisa de Mercado: realizadas normalmente por um instituto de pesquisa independente; Urna de Sugestes: instrumento de comunicao diria com os clientes, capaz de captar elogios, crticas e sugestes; Mesa Redonda com o Cliente: reunies planejadas entre a organizao e clientes selecionados aleatoriamente; Servio de Atendimento ao Consumido (SAC): linha telefnica ou email disponibilizado para o cliente se manifestar. Esses instrumentos de coleta de dados (ou instrumentos de medio) podem ser entendidos como os documentos atravs dos quais as perguntas so apresentadas aos respondentes, registrando-se as respostas e os dados obtidos (MATTAR, 2008). Nesse contexto, medio significa atribuir nmeros a objetos ou eventos de acordo com regras. Ou ainda, a atribuio de uma escala numrica (quantitativa) ou descritiva (qualitativa) a um determinado evento ou objeto (CARMINES & ZELLER, 1979). Gil (2008) apresenta trs formas de levantamento de dados: a entrevista, o formulrio, e o questionrio. A entrevista se caracteriza por ser muito rica em informaes e mas pouco poder de sintetizao de dados. O questionrio limita a liberdade de resposta, mas muito fcil sumarizar dados com tratamento estatstico,e formulrio esta entre essas duas realidades. A principal caracterstica do questionrio, continua Gil (2008) ser construdo para ser preenchido sem auxlio de mo de obra especializada, e por isso, no necessitando de treinamento para realizar o levantamento de dados, e por isso, sendo a escolha da maioria das pesquisas por ser a forma mais barata de coletar informaes. Segundo Mattar (2008) o instrumento de coleta de dados o documento atravs do qual as perguntas e questes so apresentadas aos respondentes e onde so registradas as respostas e dados obtidos. Todo o trabalho de planejamento e execuo das etapas iniciais do processo de pesquisa se consolida

no instrumento de coleta de dados. O instrumento mais utilizado em pesquisas o questionrio. Segundo Parasuraman et al. (1989), um questionrio to somente um conjunto de questes, feito para gerar os dados necessrios para se atingir os objetivos do projeto. Mattar (2008) afirma que realizar medies fundamental para a pesquisa de marketing. Os erros em pesquisas podem ser amostrais (com origem no processo amostral utilizado) ou no amostrais (com origem em diversos procedimentos errados ou equivocados da pesquisa). Para a elaborao de um questionrio preciso seguir o seguinte roteiro: O problema e os objetivos da pesquisa; As hipteses da pesquisa; A populao a ser pesquisada;
Os mtodos de anlise de dados escolhidos e disponveis.

O autor supracitado ainda afirma que preciso decidir o formato das respostas mais adequadas para avaliao, podendo ser: Abertas:Nas questes abertas, os respondentes ficam livres para responderem com suas prprias palavras e no se prendem a escolhas de alternativas. Exemplo: O que voc pensa sobre o aborto?
Vantagens - Podem dar mais informaes; - Muitas vezes mais ricas e detalhadas; - Podem dar uma informao inesperada. Desvantagens - Muitas vezes as respostas tm de ser interpretadas; - preciso tempo para analisar as respostas; - Os respondentes muitas vezes tm preguia de escrever.

Quadro 3: Vantagens e Desvantagens das Questes abertas. FONTE: Mattar (2008).

De mltipla escolha: Nas questes de mltila escolha, o respondente deve optar por uma das alternativas apresentadas no questionrio. Exemplo: Marque a opo de 0 a 5 que achar de acordo com sua avaliao.
Vantagens - Facilidade de aplicao; - Rapidez de responder; - Possuem diversas alternativas. Desvantagens - Os respondentes podem ser influenciados pelas outras alternativas; - preciso tempo para preparar as respostas corretas para no ocorrer um vis. Quadro 4: Vantagens e desvantagens das questes de mltipla escolha. FONTE: Mattar (2008).

Dicotmicas: Que apresentas duas opes, ou seja, carter bipolar do tipo sim/no, concordo/no concordo, apoio/no apoio, normalmente uma terceira opo oferecida, indicando desconhecimento ou falta de opinio.

Vantagens - Rapidez e facilidade de aplicao; - Apresentam pouca possibilidade de erro; - So objetivas.

Desvantagens - Possibilidade de forar a respostas pela opo apresentada; - So fortemente passveis de erro dependendo da formulao das perguntas. Quadro 5: Vantagens e desvantagens das questes dicotmicas. FONTE: Mattar (2008).

Algumas limitaes de coleta de feedback dos clientes, reportam uma srie de possveis problemas decorrentes do uso do mesmo (CROSS et al, 1995): a amostragem pode no incluir usurios lderes, que so os primeiros a adotarem novidades; as perguntas podem condicionar os resultados; os clientes podem no se sentir vontade para exprimir seus pontos de vista; numerosas estatsticas e grficos, podem confundir as necessidades reais. Embora a anlise das tcnicas conclua que o questionrio constitui uma opo amplamente difundida como instrumento de coleta pelos inmeros benefcios de seu uso (rpido de implementar, barato e sem exigncia de treinamento de pessoal, entre outros), Hayes (1995) chama a ateno para a pouca literatura correspondente a como utilizar corretamente esse instrumento.

4 MATERIAIS E MTODOS

4.1 Classificao da pesquisa Segundo Silva & Menezes (2001), a pesquisa classificada quanto a sua natureza como aplicada, pois utiliza-se de tcnicas j desenvolvidas para resoluo de um problema local. Quanto sua abordagem, a pesquisa classificada como quantitativa, pois metrifica a qualidade de um servio prestado e utiliza-se de tcnicas estatsticas para chegar a concluses. Quanto aos objetivos, a pesquisa classificada como explicativa, pois procura aprofundar um conhecimento. Quanto aos procedimentos tcnicos, a pesquisa bibliogrfica na fundamentao terica e desenvolvimento da base conceitual do trabalho, e experimental na execuo de seus procedimentos, realizando uma pesquisa documental no levantamento dos dados, que foram previamente coletados em outra pesquisa. 4.2 Procedimentos tcnicos A seguir, ilustra-se a verificao e purificao de escala de um questionrio por meio da aplicao do coeficiente alfa de Cronbach em um questionrio aplicado de acordo com a metodologia SoftMat, desenvolvida por Batista (2004). Analisa-se a consistncia interna do questionrio da metodologia SoftMat desenvolvida e proposta por Batista (2004), tomando-se por base a avaliao do

software Rgua e Compasso, Verso 2.41, disponibilizada em 10 de outubro de 2003. A metodologia de avaliao SoftMat, disponvel em <www.es.cefetcampos.br/softmat>, de um instrumento de avaliao de softwares educacionais voltados para o ensino de matemtica do ensino mdio. Este composto de um questionrio, disposto em cinco blocos de questes. As questes levam em considerao aspectos tcnicos das normas ISO (ISO/IEC 9126-1 e ISO/IEC 12119), aspectos educacionais em geral e aspectos particulares referentes Matemtica do Ensino Mdio. Por meio desta metodologia so avaliados atributos de qualidade externa dos softwares. A metodologia pode ser dividida em quatro fases distintas: 1. exposio do software; 2. resoluo de atividades didticas; 3. preenchimento do questionrio; 4. clculo do resultado. O objetivo geral de todo o processo de avaliao verificar a qualidade de um determinado software matemtico quanto a sua aplicao em determinado contedo da grade do ensino mdio. Entendendo-o como um produto adquirido, mas que tem algumas caractersticas de servio (intangibilidade, simultaneidade, heterogeneidade (PARASURAMAN et al, 1985)), o uso do software pode ser comparado prestao de um servio.

4.2.1 Exposio do software A fase de exposio do software tem como objetivo capacitar os avaliadores a usarem o software sozinhos, explorando e demonstrando suas funes e construindo um conhecimento com os alunos (avaliadores). Esta fase importante porque constitui um momento onde os contedos abordados podem e devem ser relembrados. Dentro da metodologia SoftMat, procura-se dar condies plenas e necessrias para que o avaliador possa dar o seu parecer da forma mais consciente possvel. 4.2.2 Resoluo de atividades didticas Aps a exposio do software, os avaliadores j se encontram em condies de resolverem uma srie de exerccios comuns do dia-a-dia de uma sala de aula, e so instigados a fazerem um elo entre essas atividades didticas e o plano de aula que eles esto acostumados a seguir, imaginando como poderia ser uma aula com o auxlio deste software. Neste momento desenvolvida uma atividade didtica elaborada pela monitoria a fim de explorar as potencialidades do software em relao ao contedo matemtico proposto. A metodologia no prev restrio quanto ao avaliador, mas no estudo de caso que est sendo apresentado, o grupo de avaliadores se compe de licenciados e licenciados em matemtica. Dentro de um laboratrio de informtica, o(s) mediador(es) da oficina realizada para a avaliao do software em questo procura(m) construir o

conhecimento matemtico proposto com auxlio de um software matemtico.Nesta fase a interao entre monitores e avaliadores muito bem vinda e a troca de experincias e habilidades, tanto com a matemtica quanto com a informtica so benficas para a avaliao.

4.2.3 Preenchimento do questionrio

Aps a resoluo das atividades didticas, os avaliadores encontram-se familiarizados suficientemente com o software e com a proposta pedaggica para responder a um questionrio que vai verificar a aderncia do software com cada dimenso avaliada. No presente estudo, a aplicao do questionrio foi realizada na prpria sala, de modo que o software ainda ficasse disponvel para uso, mas a metodologia de Batista (2004) no prev essa obrigatoriedade, podendo ser utilizada como algo particular, longe de uma oficina de aprendizado. O questionrio aplicado composto por 5 dimenses, que Batista (2004) chama de blocos. Cada dimenso abrange os seguintes aspectos: Bloco A: questes relativas documentao (documentao de descrio e manual do usurio, impresso ou on line); Bloco B: questes operacionais (relacionadas instalao e utilizao do software); Bloco C: questes relacionadas a caractersticas pedaggicas gerais (objetivos, usabilidade, contedos matemticos e praticidade); Bloco D: questes relacionadas s propostas dos Parmetros Curriculares do Ensino Mdio (PCNEM) para Matemtica; Bloco E: questes relativas proposta pedaggica privilegiada no software. A aplicao ainda em sala estratgica e tem como objetivo disponibilizar o software ao avaliador para, no caso de ocorrer alguma dvida quanto s suas potencialidades, limites ou aplicaes, esta possa ser sanada de imediato com uma consulta documentao do mesmo ou por uma nova investigao em suas funes. O objetivo desse processo preencher satisfatoriamente o questionrio, usando ainda as atividades didticas se necessrio, bem como o prprio software ou o monitor/moderador.

4.2.4 Tratamento quantitativo dos dados

Aps a coleta dos dados, aplicou-se a parte da metodologia para transformao das percepes dos avaliadores em ndices de conformidade, tanto para cada bloco, como para o software completo. A atribuio de valores dentro de uma escala nominal para uma escala numrica para as questes realizou-se da seguinte maneira (BATISTA, 2004): questes com resposta Sim, recebem valor 1; questes com resposta Parcialmente com poucas restries recebem valor 0,75;

questes com resposta Parcialmente recebem valor 0,5; questes com resposta Parcialmente com muitas restries recebem valor 0,25; questes com resposta No, recebem valor 0 (zero).

importante ressaltar que em pesquisas, muitas vezes, os avaliadores no desejam, no sabem ou simplesmente no respondem a alguns itens do questionrio. Nestas ocasies, se usam pode-se usar alguns dos seguintes procedimentos: substituir as respostas em branco pelo valor zero; ignorar todas as demais respostas do avaliador, eliminando-o da anlise; substituir as respostas em branco por um valor aleatrio da escala de julgamento; ou, substituir as respostas em branco pela mdia dos valores respondidos no item (FREITAS & GONALVES, 2005). Neste trabalho, so adotados os seguintes critrios para descarte i) se o nmero de questes respondidas por um avaliador for menor que 50%, todas as suas avaliaes so eliminadas do clculo; ii) se o nmero de questes respondidas por um avaliador for superior a 50%, seu julgamento em branco em um determinado item substitudo pela mdia dos valores dos outros avaliadores para o mesmo item. Esta forma de substituio, diversa da sugerida por Freitas & Gonalves (2005), prefervel pois no altera as varincias de cada item e contribui proporcionalmente varincia total do questionrio. Esta medida assegura que os julgamentos de um determinado avaliador no sejam descartados indevidamente e que seu aproveitamento no seja prejudicial para a estimativa da confiabilidade. 4.5 Anlise de confiabilidade e purificao da escala

Os dados coletados pelos questionrios aplicados so tabulados em planilha eletrnica e as frmula modeladas do mesmo modo. Prefere-se a utilizao de planilha eletrnica ao invs dos pacotes estatsticos profissionais disponveis no mercado, que fazem clculos similares, pelo motivo de acompanhamento do processo de clculo e purificao da escala. Parasuraman et al. (1989) citam que no desenvolvimento do ServQual as escalas foram purificadas, mas no definem precisamente o mtodo utilizado para tal. Neste trabalho a purificao realizada com o re-calculo do coeficiente de confiabilidade, desconsiderando um nico item, e observando o comportamento do mesmo. Ao final, sumariza-se a purificao eliminando todos os itens cuja eliminao contribui para o aumento da confiabilidade da medio.

5 RESULTADOS E DISCUSSO

Os blocos A, C, D e E obtiveram um bom nvel de confiabilidade, considerado satisfatrio e classificado na maioria das vezes como Alto segundo Freitas & Gonalves (2005). Apenas o bloco B do questionrio resultou um coeficiente muito abaixo do que se considera confivel (0,70) e classificado como Muito Baixo, segundo a mesma escala, chamando a ateno sobre os aspectos que possam ter levado ao baixo desempenho.

O Bloco B do questionrio diz respeito aos quesitos tcnicos do programa, a questes operacionais (relacionadas instalao e utilizao do software). Era esperado que licenciados e licenciandos no sejam os melhores avaliadores desses quesitos. J nos blocos restantes, vemos um bom desempenho no geral, em que o grupo de avaliadores pode realmente expressar sua opinio com excelncia, pois o Bloco A diz respeito a documentao, e esta preparada para qualquer usurio entender, os Blocos C, D e E dizem respeito a caractersticas pedaggicas, aos Parmetros Curriculares Nacionais do ensino mdio (PCNEM) e a proposta pedaggica do software, ou seja, reas de conhecimento que profissionais da rea de educao so altamente recomendados para darem sua opinio. A intensidade da correlao entre os itens de um questionrio pode ser verificada se esse coeficiente aumenta depois de eliminar um item da escala de medio (questionrio). Se isso ocorrer, pode-se assumir que esse item no altamente correlacionado com os outros itens da escala. Por outro lado, se o coeficiente diminuir pode ser assumido que esse item altamente correlacionado com os outros itens da escala. Dessa forma, o alfa de Cronbach determina se a escala realmente confivel, pois avalia como cada item reflete sua confiabilidade (SALOMI et al, 2005). Neste trabalho, simula-se a eliminao de cada item de cada dimenso a fim de verificar o comportamento do coeficiente alfa e assim, determinar quais questes prejudicam a confiabilidade do questionrio. Parassuraman et al (1988) chamam esta metodologia de purificao da escala.
Tabela 4: Resultado da purificao da escala. Dimenso Alfa Total de Total de Remoo Alfa (Bloco) inicial itens removidos (%) purificado A 0,7380 18 5 27,78 0,8282 B 0,2949 11 9 81,82 0,6273 C 0,8046 27 7 25,93 0,8600 D 0,7324 7 3 42,86 0,8262 E 0,8168 8 1 12,50 0,8688 Fonte: Elaborao prpria. Incremento (%) 12,23 112,75 6,88 12,81 6,37

Na Tabela 4, pode-se observar que a quantidade de questes removidas para incremento do coeficiente de confiabilidade foi muito varivel. No bloco A com a remoo de cinco itens (27,78% do total de itens do Bloco), o coeficiente passou de 0,7380 para 0,8282, ou seja, um incremento de 12,23% na confiabilidade antes da purificao. O caso que mais nos chama a ateno o Bloco B, onde o processo de purificao aponta que 81,82% dos itens deste bloco, se removidos, aumentariam em 112,75%, ou seja, resulta em um coeficiente com valor acima do dobro do coeficiente antes da purificao. Este fenmeno que acontece com o Bloco B, de ter uma baixa confiabilidade, sugerindo a remoo de mais de 80% dos seus itens, reflete um alfa perto do razovel justificado pela inabilidade apurada pelo perfil dos avaliadores em no serem aptos a avaliar questes operacionais relacionadas com o software, como B.1. fcil instalar o software corretamente? ou B.7. Na ocorrncia de erros do sistema, o usurio tem fcil acesso s informaes necessrias ao diagnstico e soluo do problema?.

Outro tpico digno de ateno o Bloco D que por possuir pequeno nmero de itens apresenta elevado percentual de remoo (42,86%), com um acrscimo na confiabilidade relativamente baixo (12,81%). importante notar que o processo de purificao de uma escala no reduzido somente ao estudo de eliminao de itens. necessrio tambm uma rotao dos itens para identificar as dimenses (PARASSURAMAN et al, 1988), trabalho este que no pode ser realizado aqui pela pr-definio das dimenses como Blocos de questes propostas por Batista (2004). Aps a purificao de uma escala, esta deve ser revalidada em uma nova aplicao e o processo de avaliao de confiabilidade pela consistncia interna se reinicia e se repete at o ponto em que se estabilize ou se chegue confiabilidade desejada. O questionrio SoftMat, apesar de mostrar alguns blocos com um ndice de confiabilidade baixo, ou ento com uma purificao significativa, dificilmente poder ter sua estrutura alterada, pois como instrumento para avaliao de software, necessariamente precisa abordar certos aspectos de acordo com as normas da ABNT, mesmo que os avaliadores no sejam os mais aptos a responderem um determinado conjunto de perguntas.

6 CONCLUSO 6.1 Quanto ao objetivo Este artigo atinge seu objetivo ao ilustrar em detalhes a utilizao do coeficiente alfa de Cronbach, realizando o experimento de eliminar itens de um questionrio e observar o comportamento do mesmo coeficiente, o que chamado de purificao de um questionrio ou de uma escala (PARASSURAMAN et al, 1989). Na rea de engenharia, o alfa vem sendo utilizado cada vez mais, principalmente na rea de engenharia da qualidade, como se verifica na bibliometria realizada no cenrio nacional nos trabalhos consultados para esta pesquisa, para verificar a confiabilidade de medies. Trabalhos como este se fazem necessrios para difuso e correta utilizao do coeficiente. Contudo, importante ressaltar que esta tcnica no substitui o papel do pesquisador em avaliar a pertinncia de um item que avalia a percepo de um cliente acerca de algum aspecto que seja relevante. A anlise de confiabilidade, bem como a purificao da escala devem auxiliar o pesquisador sobre a pertinncia ou no de um item em determinado levantamento de dados. 6.2 Quanto ao trabalho realizado Observaram-se ganhos significativos na confiabilidade das medies realizadas, com o descarte de um ou mais itens. Os resultados indicam que em um mesmo instrumento de interrogao, separado por dimenses da qualidade, possvel observar uma confiabilidade alta em uma parte, e uma extremamente baixa em outra, indicando ao pesquisador que ele deve avaliar a pertinncia ou no de determinados itens.

O baixo desempenho do Bloco B, que diz respeito aos aspectos tcnicos, uma exigncia da norma, e a permanncia dos itens que representam um baixo desempenho na confiabilidade necessria para contemplar todos os aspectos da qualidade em software. 6.3 Quanto aos trabalhos futuros Parassuraman et al (1989), durante o seu processo de purificao da escala ServQual, utiliza um conceito de rotacionamento dos itens, onde procura reagrupar os itens de maneira que o coeficiente alfa torne-se maior. No trabalho de Parassuraman para avaliao da Qualidade em Servios, comeou-se com 10 dimenses para avaliao levantadas por Parassuraman et al (1985), mas aps todo o procedimento, cinco dimenses foram removidas e a disposio dos itens foi completamente remodelada em comparao proposta original. Aps este trabalho, possvel realizar um estudo de redefinio de dimenses e dos itens pertencentes a cada dimenso, rotacionado-os e reagrupando-os de forma a alcanar um maior ndice de confiabilidade, mesmo sem a remoo de nenhum item. Outro trabalho interessante a ser desenvolvido a partir deste uma reviso de todos os itens cuja remoo foi sugerida, reaplicando os questionrios em outras oficinas ou amostras pilotos, e por fim, apresentando um novo questionrio mais confivel que o anterior.

ABSTRACT

The service sector occupies in nowadays's society a role highlighted in relation to the industrial sector since the industrial products tend to have a intrinsically quality similar, making the service offered with this product a significant competitive advantage. The service sector has also stood out in companies that offer pure services company, ie not aggregated with any other product. Given the importance of this sector, we must evaluate the services quality offered is in accordance with customer expectative. This paper has as aim a reliability analysis of questionnaires to assess the quality of services in general, by means of an experiment conducted on a case study. The results are significant and lead to the conclusion that the coefficient used should be encouraged by national literature.

Keywords: Cronbach's alfa, reliability, quality in service.

REFERNCIAS ALLEN, M. J., YEN, W. M. Introduction to measurement theory. WaveLand Press, 2003. BATISTA, S. C. F. SOFTMAT: um repositrio de ensino mdio - um instrumento em prol de posturas mais conscientes na seleo de software. Dissertao (Mestrado em Cincias de Engenharia). Campos dos Goytacazes, RJ, Universidade Estadual do Norte Fluminense UEN, 229p. 2004. BELL, D. O Advento da sociedade ps-industrial. Ed. Cultrix, 1973, So Paulo. BESSON, J. L. As Estatsticas: verdadeiras ou falsas? In Iluso das Estatsticas. Jean-Louis Besson (Org.). Editora UNESP. So Paulo, 1995. CARMINES, E. G., ZELLER, R. A., Reliability and validity assessment. Sage University paper, 1979. CARPINETTI, L. C. R., MIGUEL, P. A. C., GEROLAMO, M. C. Gesto da qualidade ISO 9001:2000: princpios e requisitos. Ed. Atlas, 110p. So Paulo, 2007. CROCKER, L., ALGINA, J. Introduction to classical & modern test theory. Ed. Thonson, 571p, Florida 2006. CRONBACH, J. L. Coefficient alpha and the internal structure of tests. V. 16. No. 3, pp. 297-334, Psychometrika, Setembro de 1951. CRONBACH, J. L. My current t procedures. Educational and Psychological Measurement, Vol. 64 No. 3, Junho 2004. CRONBACH, J. L. Test reliability: Its meaning and determination. V. 12. No. 1, pp. 1 - 16, Psychometrika, Maro de 1947. CRONIN, J.; TAYLOR, S. Measuring service quality: A reexamination and extension. Journal of Marketing, v. 56, n. 3, p. 55-68, 1992. CROSS, K. C., LYNCH, R. L., FEATHER, J. J. A arte da reengenharia: o renascimento da empresa. Jorge zahar editor, 307p. Rio de Janeiro, 1995. FREITAS, A. L. P. A qualidade de servios no contexto da competitividade. Revista Produo on line. Vol. 5, num. 1. UFSC Florianpolis, SC, Maro de 2005. FREITAS, A. L. P., RODRIGUES, S. G. A avaliao da confiabilidade de questionrio: uma anlise utilizando o coeficiente alfa de Cronbach. XII SIMPEP Bauru-SP, 2005. GIL, A.C. Como elaborar Projetos de Pesquisa. Ed. Atlas. So Paulo - SP, 2002.

HAYES, B. E. Medindo a satisfao do cliente: desenvolvimento e uso de questionrios. Quality Mark, 228p. Rio de Janeiro, 1995. MAADA, A. C. G. et al. Medindo a satisfao dos usurios de um sistema de apoio a deciso. ENANPAD Encontro Nacional de Administrao, 2000. MATO, C. A., VEIGA, R. T. Avaliao da qualidade percebida de servios: um estudo em uma organizao no-governamental. Caderno de Pesquisa em Administrao, V. 07, N. 3, p. 27-42, So Paulo, Jul/Set de 2000. MATTAR, F. N. Pesquisa em marketing. Ed. Atlas, 6. Ed. 347p. So Paulo, 2008. MIGUEL, P. A. C. Qualidade: enfoques e ferramentas. Ed. Artliber, 263p. So Paulo, 2001. MIGUEL, P. A. C., SALOMI, G. E. Uma reviso dos modelos de medio de qualidade em servios. Revista Produo, V. 14. N. 1, p. 12-30. Rio de Janeiro, 2004. MILAN, G. S., TREZ, G. Pesquisa de satisfao: um modelo para planos de sade. RAE Eletrnica, Revista de Administrao de Empresas. V. 4, N. 2, Art. 17, jul/dez 2005. NICHOLS, D. P. My Coefficient is Negative, SPSS Keywords, Number 68, 1999 disponvel em <http://www.ats.ucla.edu/STAT/SPSS/library/negalfa.htm> acessado em 04/08/2006. OVIEDO, H. C., CAMPO-ARIAS, A. Aproximacin al uso del coeficiente alfa de Cronbach, Revista Colombiana de Psiquiatra. V. 34, N. 4. p. 572-580. 2005. PARASSURAMAN V. ZEITHAMI, V.A. BERRY, L. L. A conceptual model of servicequality and its implications for future researsh. Journal of Marketing, v. 49, n. 4, p. 41-50, 1985. ______. SERVQUAL: A multiple-item scale for measuring consumer perceptions ofservice quality, Journal of Retailing, v. 64, n. 1, p. 12-40, 1989. PETER, J. P., Reliability: a review of psychometric basics and marketingpractices, Journal of Marketing Research, vol. 16, 6-17. 1979. recent

PETERSON, R. A. A meta-analysis of Cronbach's coefficient alfa, Journal of Consumer Research; ABI/INFORM Global, Set 1994 ROTONDARO, R. G., CARVALHO, M. M. Qualidade em servios pp. 331-355 in: CARVALHO, M. M., PALADINI, E. P (org). Gesto da qualidade: teoria e casos. Ed. Campus, 355p. Rio de Janeiro, 2007. SALOMI, G. G. E. et al, SERVQUAL x SERVPERF: comparao entre instrumentos para avaliao da qualidade de servios internos. Gesto da Produo. V. 12 N. 2 p 279-293, maio-ago/2005.

SILVA, E. L. ; MENEZES, E. M. Metodologia da pesquisa e elaborao de dissertao. Florianpolis, 2001. STREINER, D. L., NORMAN, G. R. Helth measurement scales: a pratical guide to their development and use. 4th edition, Oxford, 431p, 2008 TROCHIM, W. M. The Research Methods Knowledge Base, 2nd Edition. Internet WWW page, at URL: <http://trochim.human.cornell.edu/kb/index.htm> (version current as of August, 2005). URDAN, A. T. Qualidade de Servios mdicos na perspectiva do cliente. Revista de Administrao de Empresas, V. 41, N. 4 p. 44-55, out/dez 2001. XEXEO, J. A. M., Sistemas de Informao como Instrumento de Programa de Qualidade, doutorado em Engenharia de Sistemas e Comunicao, COOPE, UFRJ, 2001.