1

Avaliação da qualidade do ensino de pós-graduação:

elementos para a construção e validação de um instrumento de pesquisa

Autores: Mariana Lima Bandeira, Carlos Alberto Gonçalves, Ricardo Teixeira Veiga e Melby
Karina Zúñiga Huertas
Resumo
O objetivo principal deste trabalho consiste em propor um instrumento de avaliação da
qualidade de cursos de pós-graduação, resultante de um estudo exploratório em três
instituições de ensino superior em Belo Horizonte, e sugerir um procedimento para
aprofundar os estudos de validação da escala proposta. A escala baseia-se no conceito de
qualidade de serviço e no conhecimento de profissionais envolvidos com o ensino de pós-
graduação. No trabalho também procurou-se discutir sumariamente a trajetória do ensino
superior no Brasil, evidenciando as principais fragilidades do sistema. Entretanto, mais do que
avaliar os cursos de pós-graduação e diagnosticar seus problemas, o que se pretende é
instrumentalizar a coordenação desses cursos com um questionário que seja útil para
identificar pontos fracos e fortes e selecionar prioridades de melhorias, contribuindo para o
alcance da excelência na educação superior de pós-graduação.
1. Introdução
Ao contrário da qualidade de bens, que pode ser medida objetivamente através de
indicadores como durabilidade e número de defeitos (Garvin, 1983), a qualidade de serviço
tem natureza mais abstrata e esquiva devido à intangibilidade e demais singularidades dos
serviços (Parasuraman, Zeithaml e Berry, 1988).
Os primeiros modelos de qualidade de serviços (Grönroos, 1984; Parasuraman,
Zeithaml e Berry, 1985;) surgiram nos anos 80, baseando-se na comparação do serviço
experimentado com as expectativas do consumidor e visam explicar sua percepção de
qualidade. Parasuraman, Zeithaml e Berry (1988) desenvolveram ainda uma escala
multifatorial que pode ser aplicada e adaptada para a mensuração da qualidade em outros
ramos de serviços não investigados pelos autores, embora haja uma controvérsia se essa
escala seja mesmo “universal” (Cronin e Taylor, 1994; Urdan, 1995).
O ensino superior é uma forma de prestação de serviços. Com o aumento do
desemprego, a exigência de qualidade no ensino superior de graduação e pós-graduação tende
a se intensificar, pois uma melhor formação profissional, embora não seja em si mesma
garantia de emprego, pelo menos deve resultar em maior “empregabilidade” dos alunos
formados.
Conseqüentemente, medir a qualidade do ensino de pós-graduação, através de um
conjunto confiável de indicadores (Schwartzman,1997), é imperativo nos tempos atuais, como
atesta, por exemplo, o projeto de Reforma Universitária, em tramitação no Congresso
Nacional. Em virtude da intangibilidade do serviço-educação o cliente precisa experimentá-lo
para verificar mais seguramente sua qualidade ou então basear-se em indicadores de
qualidade indiretos, como o sucesso de ex-alunos em exames oficiais, do tipo do “provão”,
ministrado pelo MEC, ou o exame da OAB para advogados.
O objetivo principal deste trabalho consiste, então, em propor um instrumento de
avaliação de qualidade de cursos de pós-graduação, resultante de um estudo exploratório em
três instituições de ensino superior da cidade Belo Horizonte no Brasil, e sugerir um
procedimento para aprofundar os estudos de validação da escala proposta. No trabalho
também procurou-se discutir sumariamente a trajetória do ensino superior no Brasil,
 2

evidenciando as principais fragilidades do sistema. Entretanto, mais do que avaliar os cursos

de pós-graduação e diagnosticar seus problemas, o que se pretende é instrumentalizar a
coordenação desses cursos com um questionário útil para identificar pontos fracos e fortes e
selecionar diretrizes de atuação para o alcance da excelência na educação da pós-graduação.

2. Revisão Teórica
Qualidade de Serviços
O termo serviços tem sido basicamente usado com dois significados. Primeiro, pela
identificação de um dos três setores econômicos básicos - o setor terciário -, distinto do setor
agropecuário e da indústria, respectivamente identificados como os setores primário e
secundário. Na maior parte do mundo, em especial nos países de Primeiro Mundo, o setor de
serviços tem-se tornado o mais importante da economia, tanto no faturamento quanto no
emprego de mão-de-obra. Nos países desenvolvidos, mais de 2/3 da força de trabalho está
empregada no setor de serviços ou naqueles que exigem conhecimento intensivo (Exame,
1992). Também no Brasil, em 1993, segundo dados do IBGE, o setor de serviços era
responsável por 59,4% do PIB brasileiro, e empregava aproximadamente 55% da população
ocupada (Dieese, 1994).
Baseando-se na dicotomia tangível-intangível, podemos considerar serviços como
produtos especiais. Serviços, como o ensino, por exemplo, distinguem-se de bens por terem
um componente intangível mais relevante do que o componente tangível. Podem estar
agregados à oferta de bens físicos (treinamento de clientes no uso de equipamentos vendidos)
ou não (aconselhamento psicológico).
É possível classificá-los de diversas formas, quais sejam: conforme o agente principal
de execução do serviço - pessoa ou equipamento (Thomas, 1986); baseando-se na extensão do
contato com o cliente na prestação deste - de alto a baixo (Chase, 1989); de acordo com as
características da demanda, conteúdo e benefícios dos serviços (Lovelock, 1980).
Se torna mais difícil ainda conceituar e medir sua qualidade, porque serviços se
constituem em atividades ou processos. A qualidade percebida pelo cliente, ou seja, um
conceito de qualidade de serviço baseado no usuário (Garvin, 1988) leva à denominação de
“qualidade de serviço”. Assim, a qualidade (percebida) do serviço consiste no grau e direção
da discrepância entre as percepções do consumidor e suas expectativas sobre o desempenho
do fornecedor do serviço (Parasuraman, Zeithaml e Berry, 1988).
O SERVQUAL, modelo de qualidade de serviço mais popular atualmente, foi criado
por Parasuraman, Zeithaml e Berry (1985; 1988; 1991) e se baseia no princípio da
desconfirmação das expectativas, segundo o qual os consumidores comparam o que desejam
e esperam que o fornecedor deveria prover com suas percepções do desempenho real na
prestação de serviços (Parasuraman, Zeithaml e Berry, 1985). Segundo o SERVQUAL, as
cinco dimensões da qualidade do serviço podem ser assim definidas (Berry e Parasuraman,
1992):
(1) Tangibilidade - aparência física das instalações, equipamentos, pessoal e material de
comunicação;
(2) Confiabilidade - capacidade de desempenhar o serviço prometido de modo confiável e
com precisão;
(3) Presteza - disposição de ajudar os clientes e de fornecer o serviço com presteza;
(4) Segurança - conhecimento, cortesia dos funcionários e sua capacidade de transmitir
confiança e confiabilidade; e
 3

(5) Empatia - atenção individualizada e cuidadosa que as empresas proporcionam aos

clientes.
Associada ao seu modelo de qualidade de serviço, Parasuraman, Zeithaml e Berry
(1988) elaboraram uma escala Likert de 22 itens composta por baterias distintas para medir
expectativas e percepções de qualidade, com questões referentes a cada uma das cinco
dimensões de qualidade de serviço - a SERVQUAL. Embora desenvolvida numa pesquisa
multissetorial com empresas de serviços (banco, empresa de cartão de crédito, empresa de
manutenção e companhia telefônica), trata-se de uma escala padrão, que pode ser aplicada em
outras organizações de serviço ou varejo, se necessário com algumas adaptações. Em trabalho
posterior (Parasuraman, Zeithaml e Berry 1991), os autores refinaram a Servqual, melhorando
a redação de alguns itens e substituindo outros, de modo a melhorar suas propriedades
psicométricas, i.e., tornando a escala mais fidedigna e válida.
Segundo diversas pesquisas com aplicação da escala SERVQUAL, a dimensão
confiabilidade - a capacidade de realizar o serviço prometido de forma confiável e precisa - é
o atributo mais importante de qualidade do serviço, enquanto o menos importante são os
aspectos tangíveis (Berry e Parasuraman, 1992; Rust, Zahorik e Keiningham, 1994;).
Críticas recentes à escala SERVQUAL, alegando falta de comprovação empírica
(Cronin e Taylor, 1994), ambigüidades e fraquezas conceituais (Teas, 1993 e 1994) têm
apoiado sugestões de adaptações do modelo de qualidade SERVQUAL (Teas, 1993) e a
proposição de modelos de qualidade de serviços e escalas alternativos, como o SERVPERF,
que na mensuração da qualidade utilizam uma abordagem diferente: não consideram as
expectativas dos clientes, mas somente suas percepções de qualidade (Teas, 1993; Brown,
Churchill e Peter, 1993; Cronin e Taylor, 1994).
Parasuraman e colaboradores reagiram a essas críticas, argumentando que a suposta
superioridade de escalas não-diferenciais em relação ao SERVQUAL é aparente, porque as
escalas alternativas são praticamente equivalentes ao seu modelo, em termos de validade e
confiabilidade (Parasuraman, Zeithaml e Berry, 1993). Ademais, segundo os autores, uma
escala baseada apenas nas percepções é mais econômica, porém mais ambígua, porque não
inclui informações precisas sobre causas de eventuais mudanças no juízo de qualidade, por
parte do consumidor.
O Ensino Superior
A Universidade de Bolonha comemorou seus mil anos em 1986 e outras estão com mais
de 700 anos de existência, reiterando o quão antiga e sólida é a instituição de ensino
(Cassimiro, 1996). Criadas no século XI, as universidades já sofreram mudanças radicais, mas
sempre houve um consenso de que deveriam ser um local onde se produz o conhecimento.
Encerram a missão de preparar gerações para atuação na sociedade e no mercado de trabalho,
formando mentes ativas e criativas para todos os setores sociais.
Schwartzman (1997:152) analisa a educação superior como um processo produtivo,
onde aspectos como insumos, processos e produtos fazem parte dessa discussão. São
classificados como produto das Universidades "a produção de pesquisas, a formação de mão-
de-obra qualificada em nível de graduação e pós-graduação e a satisfação de necessidades
culturais do usuário do sistema educacional...". Neste trabalho, interpretou-se o conceito do
ensino de pós-graduação como um composto que envolve um serviço essencial - o ensino
(aulas, palestras, atividades de monitoria etc.) - e serviços de apoio (biblioteca, secretaria,
fotocópias, etc.), que atuam como facilitadores do processo de ensino. Na sua
multifuncionalidade, o ensino superior abrange o desenvolvimento da pessoa, do homem
 4

como ser complexo que é, integrando o saber em todas as suas nuances e contribuindo para a
formação total do ser humano (Oliveira, 1995).
Cassimiro (1996) observa que, apesar de sua nobre função, a Educação e o Ensino no
Brasil têm passado por problemas graves, até hoje não resolvidos satisfatoriamente. Silva
Júnior e Sguissardi (1997) têm visão mais otimista, acreditando que os problemas no ensino
superior no Brasil começam a ter soluções mais concretas, orientadas pela busca de
excelência em sua estrutura.
Cassimiro (1996:120) argumenta que só uma conscientização da importância do papel
desempenhado pelas universidades contribuirá efetivamente para o "saneamento dos desníveis
e das injustiças", promovendo a plena integração do povo brasileiro. Cavalcanti (1985) expõe
contrastes relativos ao ensino e pesquisa em pós-graduação, observados na repartição de
recursos financeiros para financiamento dos mesmos, e também na política adotada para as
diversas universidades públicas, em termos de ofertas de cursos de pós-graduação lato sensu e
stricto sensu, e com reflexos na quantidade de docentes e em sua qualificação. O autor
questiona a forma como os órgãos responsáveis pelo financiamento do ensino no Brasil
selecionam a quem auxiliar e direcionam suas verbas, concluindo que as regiões Norte e
Nordeste são as mais negligenciadas em relação à alocação de recursos, considerando a
distribuição da população e renda. Nesse sentido, evidencia o caráter desigual com que o
Brasil trata suas universidades, e conduz a "exacerbação dos desníveis inter-regionais
brasileiros" (Cavalcanti, 1985: 413).
Falta muito para corrigirem-se os desníveis e distorções do sistema universitário
brasileiro, pois um requisito fundamental é o tratamento igualitário na concessão de apoio
financeiro às escolas de todas as regiões do país.
A proposta da Reforma Educacional brasileira está centrada, exclusivamente, na
promoção de melhor qualificação do ensino superior. No entanto outras necessidades
acadêmicas fundamentais, como a pesquisa, a qualificação dos docentes e as atividades de
extensão têm sido negligenciadas, como resultado de cortes no orçamento, verbas e bolsas.
Apesar disso, o Governo Federal parece empenhado em mudar esse quadro, buscando a
formulação de novos critérios para o funcionamento da universidade brasileira.
Alguns autores observam que o sistema educacional tem ficado defasado com relação à
realidade, não sendo capaz de suprir as necessidades de conhecimento e tecnologias da
sociedade, bem como as demandas de qualificação profissional do mercado de trabalho.
Nascimento e Ferreira (1996) afirmam que as escolas não acompanharam as transformações
sociais e não se prepararam para as exigências atuais, o que resulta numa necessidade
imediata de busca de maior qualidade. Sem a formação de profissionais suficientemente
qualificados, não se atendem às demandas resultantes da modernização, gerando mais
desemprego. Nesse sentido, Oliveira (1996:7) argumenta que o papel da pós-graduação é
fundamental num contexto de transformações e que sua importância deve crescer ainda mais.
Por isso, desde a década de 60, cursos de pós-graduação têm sido cada vez mais procurados
por profissionais e exigidos pelas organizações como critério de seleção (Oliveira, 1995).
A pós-graduação pode ser dividida em dois tipos de cursos, instituídos pelo Parecer no
977/65 do Conselho Federal de Educação: o stricto sensu (mestrado e doutorado) e o lato
sensu. Estes últimos, normalmente identificados como cursos de pós-graduação, consistem de
cursos de especialização e aperfeiçoamento, voltados mais para o aperfeiçoamento técnico,
prático e profissional. Já os cursos de pós-graduação stricto sensu têm maior conteúdo
acadêmico, sendo voltados à formação de professores universitários e pesquisadores.
 5

Segundo Oliveira (1995), esse parecer limitou-se a conceituar os cursos de lato sensu,
não estabelecendo qualquer orientação para seu funcionamento, ao contrário dos cursos
stricto sensu. Esse cuidado com os cursos de de mestrado e doutorado explica-se pela
necessidade de controle da propagação dos mesmos, que motivou legislação específica.
A Lei da Reforma Universitária no 5540/68 ampliou os horizontes para a pós-
graduação, possibilitanto uma maior exploração desses cursos pelas instituições de ensino
superior. O exemplo do MBA da EAESP/FGV demonstra que é possível encontrar
criatividade no ensino superior, quando o objetivo é implantar e manter um padrão de
qualidade, estabelecendo inovações quando menos se espera. De acordo com Oliveira (1996),
o conservadorismo é que impede e desestimula as mudanças no ensino público. O corpo
docente da EAESP/FGV percebeu a necessidade de se segmentar o público dos cursos de pós-
graduação (mestrado) e desenvolveu um programa alternativo, voltado para as necessidades
do aluno que trabalha em empresas. Esse perfil mais dinâmico desencadeou mudanças na
estrutura, sendo os programas substancialmente diferentes, com enfoque no desenvolvimento
de habilidades gerenciais. O curso, sendo mais compacto, enseja um ritmo mais intenso, e não
desobriga o aluno à defender a dissertação para aquisição do título. Entretanto, não se exige
erudição na revisão bibliográfica, mas sim a demonstração de proficiência na aplicação
prática de conhecimentos.
Esse panorama sugere que universidades públicas e privadas se intensificam na busca
pela qualidade e pela conquista de clientes e financiadores. Assim, pode-se afirmar a forte
tendência de se conferir maior flexibilidade e qualidade à pós-graduação (Oliveira, 1996).
A Avaliação como Ferramenta da Reforma Universitária
Com a necessidade de melhor ajuste das instituições de ensino superior às demandas da
sociedade moderna, o desenvolvimento de mecanismos de avaliação do ensino superior
emerge como tema importante e oportuno.
A avaliação do ensino superior constitui ferramenta utilizada no meio acadêmico há
algum tempo, haja vista as experiências relatadas por Paul, Ribeiro e Pilatti (apud Sguissardi,
1997). Entretanto, essa avaliação tem sofrido influência marcante do ideário da Qualidade
Total o que, segundo a visão do autor, pode distorcer o real significado do instrumento,
levando-a aspectos secundários do processo educacional. Por isso, é fundamental definir o
propósito, ou seja, o objetivo real da avaliação, antes de elaborá-la. Por exemplo, um
instrumento de avaliação adequado do ensino superior pode estar direcionado à identificação
de deficiências da metodologia de ensino, falhas de concepção ou estruturação do curso,
satisfação dos alunos e adequação às suas necessidades reais.
Sguissardi (1997) salienta que o processo de avaliação interna e externa da universidade
deve ser democrático, legítimo e transparente, proporcionando oportunidades de críticas
construtivas, socialmente contextualizadas. Além disso, deve também contemplar aspectos
específicos da universidade enquanto instituição, cursos oferecidos, programas, necessidades
da comunidade universitária etc. Deve incluir o exame da atuação do docente, para estimular
o aprimoramento de sua didática, atividades de pesquisa e desenvolver sua integração com a
instituição a qual pertence. Finalmente, argumenta o autor, como a proposta de avaliação traz
em seu cerne o desejo de implantar ou fortalecer um dado padrão de política educacional, sua
implementação contribui para o desenvolvimento, como um todo, da universidade.
 6

3. Metodologia
O objetivo geral da pesquisa é a elaboração de um instrumento de coleta de dados que
seja útil na avaliação da qualidade global do ensino de pós graduação, sob o ponto de vista
dos alunos, considerados como seus principais clientes. Como prática comum observa-se que
as escolas têm-se limitado a avaliar apenas as disciplinas isoladamente, ao seu término, bem
como seus seus respectivos professores. O sistema carece, portanto, de um instrumento de
avaliação global dos cursos, que demonstre o desempenho do curso como um todo, após sua
conclusão.
Na elaboração de tal escala serão apresentadas as etapas necessárias à sua validação,
baseando-se no princípio de que a qualidade do serviço é a diferença entre as expectativas dos
clientes e a qualidade percebida pelos mesmos. Para o desenvolvimento da escala, o trabalho
baseou-se na metodologia proposta por Churchill (1979) (Fig. 1).
Nenhuma escala deve ser utilizada regularmente sem antes ter sido validada. O processo
de validação pode ser entendido como um conjunto de procedimentos cujo objetivo
fundamental é produzir escores observados o mais próximo possível dos escores reais de
satisfação. Os erros, aleatórios ou sistemáticos, ocasionam um viés na interpretação das
medidas, daí a necessidade de eliminá-los ou pelo menos minimizá-los.
Segundo o autor, o processo de validação de uma escala deve basear-se na especificação
do domínio do construto. Esta etapa consiste no estabelecimento dos aspectos do marco
teórico que o pesquisador deseja avaliar, ou seja, suas expectativas e conseqüências acerca do
objeto em foco. O autor é categórico ao afirmar que essa definição deve englobar com
exatidão as especificações conceituais contidas no construto e as que não serão incluídas.
Propõe-se uma revisão bibliográfica profunda e séria para atender a essa meta e, feito isso,
Churchill (1979) recomenda a utilização da técnica estatística Análise Fatorial para testar
empiricamente as dimensões teóricas do construto. Spector (1992) assevera ainda que, quanto
mais claro este estiver definido, bem como sua abrangência, mais facilmente será a tarefa de
construir os itens que irão mensurá-lo. Assim, uma boa especificação do construto a ser
medido é passo vital no desenvolvimento da escala.
A segunda fase é chamada de geração de amostra de itens, a ser fundamentada em
pesquisas bibliográficas, estudos exploratórios, grupos de foco, incidentes críticos e
estimuladores de insights para auxiliar a elaboração das questões ou temas a serem avaliados
pelo instrumento. Os estudos exploratórios, como Churchill (1979) ensina, consiste no
julgamento de uma amostra de pessoas que podem oferecer algumas idéias sobre aspectos do
objeto analisado. Os estimuladores de insights constam da comparação com a oferta da
concorrência ou exame detalhado de alguma reclamação sem resposta. A técnica de
“incidentes críticos”, bem como grupos de foco, são também procedimentos bastante
utilizados e que produzem efeitos produtivos na determinação das questões da escala. É
importante ressaltar que cada afirmação (ou questão) deve ser revista de modo que seja o mais
clara e precisa possível a sua redação. Uma outra possibilidade seria adaptar um questionário
padrão, caso exista, à realidade do estudo em foco. No caso desse trabalho, poderíamos tomar
como modelo a escala SERVQUAL, procurando adaptá-la às peculiaridades do serviço-
educação.
O estágio seguinte é a purificação da escala, que depende do modelo abordado. Este
exame de fidedignidade (primeiro passo cumprido no processo em questão) pode ser
abordado pelo teste-reteste, de formulários alternativos ou, ainda, por meio da avaliação de
sua consistência interna. Seguindo a recomendação de diversos autores (Churchill,1979,
 7

Spector, 1992 e Urdan, 1995), neste trabalho optou-se pelo exame de consistência interna da
escala, através do cálculo do coeficiente Alfa de Cronbach, que determina o quanto os itens
da escala estão inter-relacionados. Segundo Spector (1992), esse coeficiente varia de 0 a 1,
onde 1 significa o máximo de consistência interna. O valor do Alfa não pode ser menor que
0,7, correspondente ao mínimo aceitável de consistência interna para que uma escala seja
considerada fidedigna.

FIGURA 1
Procedimento Sugerido para o Desenvolvimento de Melhores Medidas

Coeficientes ou Técnicas Recomendadas

(1) Especificar o
domínio do constructo Pesquisa Bibliográfica

(2) Gerar Amostra Pesquisa Bibliográfica

de Itens Estudo Exploratório
Exemplos Estimuladores de Insights
Incidentes Críticos
Grupos de Foco
(3) Coletar Dados

(4) Purificar Coeficiente Alfa

Medida Análise Fatorial

(5) Coletar Dados

(6) Avaliar Coeficiente Alfa

Confiabilidade Confiabilidade baseada em duas metades

(7) Avaliar Matriz de Multimétodos-multitraços

Validade Validação baseada em critérios

Média e outras estatísticas sintetizando

(8) Desenvolver distribuição de escores
Normas

Fonte: Churchill Jr. (1979, p. 66).

 8

A validação do construto, ou seja, a demonstração de que a escala mede realmente o que

deseja medir, pode ser feita por técnicas estatísticas sofisticadas, como a matriz de
mutimétodos-multitraços. Outra possibilidade é o exame da associação do escore da escala
com indicadores válidos do construto que a escala visa medir. Nesta pesquisa, por exemplo,
elaborou-se uma equação de regressão múltipla em que a nota geral da qualidade do curso era
a variável dependente e as notas parciais, referentes às diversas dimensões, as variáveis
independentes. Assim, quanto mais próximo de 1 o coeficiente de determinação do modelo
2
(R ), maior a indicação de validade da escala.

A Pesquisa

Inicialmente, definiu-se como qualidade do curso de pós-graduação a qualidade dos

recursos e serviços oferecidos para os alunos durante o curso. A elaboração das questões
baseou-se num estudo exploratório a partir de duas fontes: (1) entrevistas com amostras de
clientes (alunos de cursos de Pós-Graduação), acerca de aspectos que eles consideravam
importantes e influentes na qualidade do curso em questão; (2) análise dos questionários de
avaliação de disciplinas utilizados por algumas instituições de ensino superior, que focalizam
a avaliação da capacidade do professor e de características das disciplinas.
Nesse sentido, a presente pesquisa procurou classificar com maior clareza aspectos
relevantes na avaliação geral do cursos de pós-graduação, de modo a dar uma visão mais
precisa do que está sendo analisado. A primeira etapa do presente trabalho conduziu a seis
aspectos relevantes para a qualidade de um curso de Pós Graduação: Professores, Disciplinas,
Aspectos Tangíveis, Turma, Valor do Curso e Secretaria. Para cada um, foi elaborada uma
série de questões (anexo 1), onde o respondente pôde avaliar tanto suas expectativas quanto
suas percepções a respeito do curso que estava concluindo, numa escala variando de 1
(qualidade muito baixa) a 5 (qualidade muito alta).
O instrumento consta de duas partes, onde a primeira procura avaliar de per si os
aspectos mencionados no parágrafo anterior, e a segunda tenta avaliar o curso de forma geral,
aferindo o grau de satisfação do respondente com seu curso e a importância que atribui aos
tópicos analisados na primeira parte do questionário.
Assim, o questionário possui uma estrutura semelhante à SERVQUAL (Parasuraman,
Zeithaml e Berry, 1988), pois se baseia na comparação entre expectativas e percepções do
respondente. Entretanto, não se tentou medir as 5 dimensões da escala original, por terem
sido julgadas inadequadas e insuficientes para o estudo em questão.
Seguindo o procedimento sugerido por Churchill (1979), buscou-se examinar a
fidedignidade e validade da escala proposta.
Os formulários foram submetidos a alunos de cursos de pós-graduação lato sensu de
uma universidade pública e duas instituições de ensino superior privadas, que identificaremos
doravante com as letras A, B e C. As escola foram escolhidas em função da autorização de
seus dirigente para que realizássemos a pesquisa, bem como pelo fato de oferecerem cursos
de pós-graduação em Administração, objeto de nosso interesse específico.
O universo pesquisado constou de apenas 250 alunos, sendo 159 da escola A, 51 da B e
40 da C. A amostra foi intencional devido ao estágio preliminar do estudo e pelo fato de a
pesquisa ter sido realizada ao final do ano letivo de 1997, época em que a maioria dos alunos
já havia terminado seus trabalhos e não mais regressaria às instituições. Na escola C, por
exemplo, dentre os 167 alunos que cursaram a pós-graduação em 1997, somente puderam ser
aplicados questionários em duas turmas (40 alunos).
 9

Apesar de não aparecerem na análise dos dados, certas falhas na redação de algumas
questões não foram identificadas no pré-teste, mas somente após a aplicação do instrumento,
implicando na necessidade de uma reformulação do mesmo. Ilustrando o fato nota-se
ambigüidade no item Valor. Ficou obscuro para o respondente interpretar valor como
“relação entre tempo investido e benefícios obtidos”. Seria interessante que houvesse uma
especificação mais clara do termo utilizado (“quais benefícios?”), para compreensão total do
significado das questões. E ainda há a questão da localização, que poderia ser melhor
entendida se fosse utilizado o termo “fácil acesso”. Tal fato pode explicar os 57,15 % dos
respondentes que deixaram respostas em branco, percentual elevado para alunos de pós-
graduação. As limitações apresentadas visam alertar o leitor para o caráter provisório dos
resultados e a necessidade de prosseguimento dos estudos.

4. Resultados e Análise
Os dados obtidos foram processados no software estatístico SPSS / Windows versão
6.0. A tabela 1 indica que houve um índice médio de retorno de 61,6% dos questionários.
Tabela 1
ESCOLA QUESTIONÁRIOS ENTREGUES QUESTIONÁRIOS RECEBIDOS Índice (%)
A 159 92 57,86
B 51 26 50,98
C 40 36 90,00
Fonte: Dados da Pesquisa

Inicialmente, foi realizado o teste de fidedignidade da escala, através da análise do

Alfa de Cronbach, considerando as sub-escalas (Spector, 1992). No geral, o questionário
desta pesquisa, elaborado com o intuito de mensurar a qualidade do ensino em universidades
que oferecem cursos de pós-graduação, apresentou um coeficiente alfa relativamente elevado,
resultando numa forte interrelação dos itens, como se vê na tabela 2.
Nos cálculos, trabalhou-se com a diferença entre expectativas e percepções dos
respondentes, identificadas com a letra Q e os números das questões (v. anexo), Q01, Q02 ... e
assim por diante. Na tabela 2, observa-se que raramente aumenta o α caso o item seja
excluído do questionário. Verificamos que se a questão 30 fosse retirada, o α seria elevado de
0,7974 para 0,8093. Assim, decidiu-se retirar essa questão, com objetivo de elevar a
consistência da sub-escala Aspectos Tangíveis.
Ainda na tabela 2 verifica-se o coeficiente de correlação (R), que indica como as
variáveis estão relacionadas. Quanto maior a dispersão - se os itens não estiverem muito
relacionados entre si - mais próximo de zero estará o R. Caso contrário, ou seja, se os itens
estiverem relacionados entre si fortemente, mais próximo de 1 estará o R.
Em alguns casos, tais como Q30 e Q31, observa-se um valor abaixo de 0,5. Talvez esse
fato evidencie ainda mais a fragilidade dessas questões face ao Aspecto Tangível. Elas são
relacionadas à localização da instituição, o que talvez tenha pouca relevância frente à
qualidade de ensino, na opinião dos alunos.
 10

Tabela 2
Construtos da Coeficiente Alfa da Item da escala Correlação Correlação Múltipla Alfa de Cronbach,
Qualidade Sub-escala (Expectativas - Corrigida Item-total ao quadrado sendo o item
percepção) deletado

Qualidade do 0,9246 Q01 0, 6718 0,5495 0,9183

PROFESSOR Q02 0,7321 0,6185 0,9163
Q03 0,7213 0,6076 0,9166
Q04 0,6949 0,5404 0,9174
Q05 0,6916 0,5304 0,9177
Q06 0,7030 0,5856 0,9171
Q07 0,4767 0,4023 0,9238
Q08 0,7684 0,6978 0,9153
Q09 0,6196 0,5293 0,9197
Q10 0,5794 0,4256 0,9212
Q11 0,5444 0,4596 0,9218
Q12 0,5918 0,5282 0,9207
Q13 0,6108 0,4854 0,9200
Q14 0,6077 0,4760 0,9201
Q15 0,6429 0,5368 0,9190
Qualidade das 0 ,8990 Q17 0,7381 0,6163 0,8831
DISCIPLINAS Q18 0,7289 0,6538 0,8834
Q19 0,6753 0,6177 0,8868
Q20 0,7012 0,5615 0,8859
Q21 0,7126 0,6237 0,8845
Q22 0,6758 0,5745 0,8872
Q23 0,5596 0,5499 0,8935
Q24 0,5212 0, 5544 0,8952
Q25 0,6952 0,5478 0,8856
Q26 0,4377 0,2229 0,8997
Q27 0,5122 0,2935 0,8974
ASPECTOS 0,7974 Q29 0,6636 0,4836 0,7426
TANGÍVEIS Q30 0,3393 0,1505 0,8093
Q31 0,4915 0,3244 0,7851
Q32 0,6721 0,5497 0,7411
Q33 0,6126 0,4870 0,7592
Q34 0,5776 0,3559 0,7638
Perfil da TURMA 0,7924 Q36 0,5831 0,5423 0,7514
Q37 0,7110 0,5991 0,6811
Q38 0,5922 0,4270 0,7439
Q39 0,5259 0,3999 0,7741
Análise de VALOR 0,8308 Q41 0,7106 0,5049 0,0000
Q42 0,7106 0,5049 0,0000
Qualidade da 0,9021 Q44 0,7733 0,6045 0,8697
SECRETARIA Q45 0,8275 0,7215 0,8513
Q46 0,7322 0,5393 0,8844
Q47 0,7814 0,6702 0,8663

Fonte: Dados da pesquisa

Para o exame de validade, utilizou-se um modelo de regressão múltipla, baseando-se

num nível de confiança de 95% para análise dos resultados, considerado adequado em estudos
exploratórios.
Para a análise de Regressão Linear Múltipla adotaram-se como variáveis dependentes
da pesquisa as notas gerais dadas pelos respondentes às sub-escalas, correspondente aos
aspectos “professores”, “disciplinas”, “secretaria” etc., denominadas como A16, A28, A35,
A40, A43 e A48 (vide anexo 1). Para relacionar com essas variáveis, tomaram-se como
variáveis independentes as respostas correspondentes a essas dimensões sobre percepção
(B01, B02 ...) dos alunos sobre a qualidade desses aspectos. Optou-se por utilizar as questões
relativas à percepção, e não à diferença entre percepção e expectativa (Q), porque na verdade
obteve-se assim um valor R2 mais elevado, relativamente, como se vê na tabela 3. Talvez isso
sugira que analisar a percepção do cliente, não levando em conta suas expectativas, seja mais
relevante ao estudo da qualidade do serviço em si.
 11

2
O coeficiente de determinação (R ) consiste na relação entre a variância explicada e a
variância total, ou seja, é a proporção da variação total da variável dependente que pode ser
explicada pelo conjunto de regressores (variáveis independentes) na Regressão Múltipla.
2
Quanto mais próximo ao valor 1, melhor. Assim, tem-se que, embora o R da maioria das
questões não seja tão elevado - o valor mínimo é de 0,55746, e em alguns grupos, esse valor
assume uma proporção maior (0,87298), indicando que o questionário pode ser considerado
válido, medindo de fato o que se deseja, isto é, a qualidade global do curso de pós-graduação.
2
Uma possível explicação para a obtenção de valores de R relativamente distantes de 1
é que os itens propostos não capturam todos os aspectos importantes da qualidade percebida
(Urdan, 1995). Logo, é necessário realizar mais pesquisas qualitativas para identificar as
questões relevantes a serem adicionadas na escala.
Tabela 3
Variável Dependente Variáveis Independentes R2 R2 ajustado
A16 - Qualidade do Professor B01 a B15 0,63882 0,58119
Q01 a Q15 0,35438 0,24557
A28 - Qualidade das B17 a B27 0,59609 0,55746
Disciplinas Q17 a Q27 0,31857 0,25339
A35 - Aspectos Tangíveis B29 a B34 0,64069 0,62273
Q29 a Q34 0,20406 0,16427
A40 - Perfil da Turma B36 a B39 0,64794 0,63685
Q36 a Q39 0,31341 0,29179
A43 - Análise de Valor B41 e B42 0,72837 0,72409
Q41 e Q42 0,45534 0,44676
A48 - Qualidade da B44 a B47 0,87649 0,87298
Secretaria Q44 a Q47 0,24130 0,21962
Fonte: da dos da pesquisa

As notas gerais atribuídas pelos respondentes aos aspectos “professores”, “disciplinas”,

“tangíveis”, “turma”, “valor” e “secretaria” denominadas respectivamente como A16, A28,
A35, A40, A43 e A48 (vide anexo 1) foram também relacionadas à nota geral do curso dada
pelos alunos (A49) num modelo de regressão múltipla, onde buscou-se explicar a variância
dessa variável. Utilizando o SPSS, obtivemos o seguinte resultado:
Tabela 4

Variável B Erro Intervalo de Conf. Beta T Sig. T

Padrão B
95%
A16 0,230974 0,081820 0,068666 a 0,393283 0,238802 2,823 0,0057
A28 0,207241 0,069505 0,069361 a 0,345121 0,238050 2,982 0,0036
A35 0,045414 0,045616 -0,045077 a 0,135904 0,068207 0,996 0,3218
A40 0,150204 0,051259 0,048520 a 0,251888 0,200859 2,930 0,0042
A43 0,245269 0,057393 0,131417 a 0,359121 0,332781 4,274 0,0000
A48 -0,059091 0,054701 -0,167603 a 0,049421 -0,071236 -1,080 0,2826
Const. 0,724757 0,272825 0183546 a 1,265967 2,656 0,0092
Fonte: da dos da pesquisa

Variável Dependente: A49 - Qualidade Geral do Curso

R2: 0,66989
R2 Ajustado: 0,65028 Erro Padrão: 0,34810
Análise de Variância: para 6 graus de liberdade, F = 34,15916 com significância = 0,0000

Com exceção das variáveis “aspectos tangíveis” e “secretaria”, cujos coeficientes não
são significativos (valor absoluto de T abaixo de 2), as demais variáveis - “professores”,
 12

“disciplinas”, “turma” e “valor” - parecem explicar a maior parte da variância da nota geral
atribuída ao curso pelos alunos (R2 ajustado igual a 0,65028). Comparando os coeficientes
padronizados - beta – observa-se que o “Valor do curso” (variável A43) é vista como mais
relevante para explicar a nota geral do curso, do que as variáveis “Professores” (A16) e
“Disciplinas” (A28).
Apesar das limitações, já especificadas, julgamos cumprida a primeira etapa necessária
à elaboração da escala desejada, entendendo que o instrumento proposto é válido para os seus
propósitos. No entanto, existe ainda um longo caminho a ser trilhado para que se obtenha um
instrumento perfeitamente confiável de avaliação da qualidade global de um curso de pós-
graduação.

5. Conclusão
Ao apresentar um questionário de avaliação global da qualidade de cursos de pós-
graduação e um guia para sua validação (Churchill, 1979), pretende-se contribuir para o
desenvolvimento das pesquisas desse tema.
O trabalho tem limitações evidentes. A amostragem por conveniência, o tamanho da
amostra e o tratamento dos dados como uma amostra única podem acarretar algum viés na
interpretação dos resultados e também desconfiança quanto à sua validade. Os modelos de
regressão usados para validar o questionário podem ser também questionados a respeito de
multicolinearidade e outros aspectos. Apesar dessas limitações e devido ao caráter
exploratório do estudo, julgamos a metodologia aceitável.
Os resultados do trabalho, apesar de suas restrições, são promissores, embora
provisórios. A escala proposta é um instrumento alternativo para a mensuração da qualidade
de cursos de pós-graduação. Dada a rápida expansão de cursos dessa natureza, julga-se
urgente dotar seus coordenadores de uma ferramenta gerencial como essa. A dificuldade em
obter bibliografia sobre “ensino de pós-graduação no Brasil”, talvez seja devido à natureza
polêmica do tema ou ao descaso com o ensino superior em nosso país.
Nesse cenário, as informações obtidas através da atuação como professores de cursos de
pós-graduação sugerem que uma limitação importante do uso de instrumentos como esse pode
ser a metodologia de aplicação do questionário, processamento e uso gerencial das
informações obtidas com a pesquisa de qualidade. É fundamental garantir o anonimato dos
respondentes, bem como estimulá-los a responder os questionários com seriedade e empenho.
Além disso, é primordial rapidamente as providências necessárias para realizar as mudanças
de forma a superar os pontos fracos identificados.
Além disso, precisamos nos conscientizar de que educação é um investimento, cujo
retorno mais importante se dá através da realização profissional plena dos indivíduos que
estão sendo capacitados e formados nas instituições de ensino superior. Promover incentivos
para que um ensino de qualidade se estabeleça e se fortaleça, de forma a se adequar às
necessidades atuais da economia e do mercado, é imprescindível para reverter o quadro
negativo da educação superior no país. A avaliação de cursos de pós-graduação pode ser um
passo relevante nesse sentido, pois, como destaca Oliveira (1995: 31), programas de nível
superior, bem como cursos de pós-graduação lato sensu, "configuram-se como um novo nicho
de mercado, possibilitando a sobrevivência de vários estabelecimentos de ensino". Devemos
então sugerir ações para a avaliação e melhoria da qualidade do ensino de pós-graduação.
Finalizando, apresentam-se algumas sugestões para prosseguimento desse estudo:
 13

Reformular o instrumento, refinando-o com base nos resultados deste trabalho e no

uso de entrevistas a grupos de foco, coletando opiniões de alunos e professores;
Utilizar amostragem aleatória e amostras maiores, envolvendo mais alunos, cursos e
instituições de ensino, para justificar o tratamento estatístico proposto;
Utilizar também análise de componentes principais ou outra técnica para reduzir a
quantidade de perguntas;
Evitar o uso de perguntas distintas sobre expectativas e percepções de qualidade,
procurando ancorar as respostas em expressões como “abaixo do esperado”,
“próximo ao esperado” e “acima do esperado”, como sugerem Rust, Zahorik e
Keininghan (1994);
Apresentar sugestões mais abrangentes para a melhoria da qualidade do ensino.

6. Bibliografia
BERRY, L. L. e PARASURAMAN, A. Serviços de marketing: competindo através da
qualidade. São Paulo: Maltese-Norma, 1992.
BROWN, T. J., CHURCHILL, Jr. G. A. e PETER, J. P. Research note: improving the
measurement of service quality. Journal of Retailing, v. 69, n. 1, p. 127-139, spring 1993.
CARMAN, J. M. Customer perceptions of Service Quality: an assessment of the SERVQUAL
dimensions. Journal of Retailing, v. 66, p. 33-55, spring 1990.
CARVALHO, J. de; BALTHAZAR, R. Diáspora de cérebros. Revista Veja. Ano 30. São
Paulo: Editora Abril, p.112-119, 10 de dezembro de 1997.
CASSIMIRO, M. do R. Uma universidade para o Tocantins. Goiânia: Kelps, 1996.
CAVALCANTI, C. Brasis do Brasil: desigualdades regionais no ensino e pesquisa em pós-
graduação das ciências sociais. Revista Econômica do Nordeste, v. 16, n.3, (p.407-427),
Jul/Set 1985.
CHURCHILL Jr., G. A. A paradigm for developing better measures of marketing constructs.
Journal of Marketing Research, v. XVI, p. 64-73, February, 1979.
CRONIN, J. J. e TAYLOR, S. A. SERVPERF versus SERVQUAL: reconciling performance-
based and perceptions-minus-expectations measurement of Service Quality. Journal of
Marketing, v. 58, p. 125-131, January, 1994.
CRUZ, A. S.; MANSO, B. P. O sábio joga a toalha. Revista Veja. São Paulo: Editora Abril,
p. 86-87, 27 de agosto de 1997.
GARVIN, D. A. Managing quality. New York: The Free Press, 1988.
GRÖNROOS, C. A Service Quality Model and Its Marketing Implications. European Journal
of Marketing, n. 4, p. 36-44, 1984.
KOTLER, P. Marketing: edição compacta. São Paulo: Atlas, 1990.
LOVELOCK, C. H. Classifying Services to Gain Strategic Marketing Insights. Journal of
Marketing, v. 47 , p. 9-20, summer,1983.
NASCIMENTO, A.; FERREIRA, R. O funil estreitou. Revista Veja. nº 49, Ano 29. São
Paulo: Editora Abril, p.116-122, 04 de dezembro de 1996.
OLIVEIRA, F. B. de Inovando na pós-graduação: a experiência do MBA da EAESP/FGV.
Revista de Administração de Empresas, vol. 36, n. 1. Jan/Mar 1996.
 14

OLIVEIRA, F. B. de Origem e evolução dos cursos de pós-graduação lato sensu no Brasil.

Revista de Administração de Empresas, v. 29, n. 1, p. 19-33, Jan/Mar 1995.
PARASURAMAN, A., BERRY, L.L. e ZEITHAML, V. A. Refinement and reassessment of
the SERVQUAL Scale. Journal of Retailing, v. 67, n. 4, winter, 1991.
_________________, ZEITHAML, V. A. e BERRY, L. L. A conceptual model of Service
Quality and its implications for future research. Journal of Marketing, v. 49, p. 41-50, fall,
1985.
__________, _________ e _________. SERVQUAL: a multiple-item scale for measuring
consumer peceptions of Service Quality. Journal of Marketing, v. 64, p.12-40, spring,
1988.
__________, _________ e _________.Research note: more on improving Service Quality
measurement. Journal of Retailing, v. 69, n.1, p. 140-147, spring 1993.
__________, _________ e _________. Alternatives scales for measuring Service Quality: a
comparative assessment basead on psychometric and diagnostic criteria. Journal of
Retailing, v. 70, n. 3), p. 201-230, 1994.
RUST, R. T., ZAHORIK, A. J. e KEININGHAM, T. L. O retorno da qualidade: ROQ. Rio
de Janeiro: Qualitymark, 1994.
SCHWARTZMAN, J. Um sistema de indicadores para as universidades brasileiras in:
SGUISSARDI, V. (org) Avaliação universitária em questão: reformas do estado e da
educação superior. Campinas, SP: Autores Associados, 1997.
SGUISSARDI, V. Para avaliar propostas de avaliação do ensino superior in: SGUISSARDI,
V. (org) Avaliação universitária em questão: reformas do estado e da educação superior.
Campinas, SP: Autores Associados, 1997.
SILVA JÚNIOR, J. dos R.; SGUISSARDI, V. Reforma do Estado e Reforma da Educação
Superior no Brasil in: SGUISSARDI, V. (org) Avaliação universitária em questão:
reformas do estado e da educação superior. Campinas, SP: Autores Associados, 1997.
SPECTOR, P. E. Summated rating scale construction: an introduction. Age Series:
Quantitative Applications in the Social Sciences, v. 82. Los Angeles: Sage, 1992.
TEAS, R. K. Expectations, performance, evaluation and consumer’s perception of quality.
Journal of Marketing, v. 57, p. 132-139, october, 1993.
__________. Expectations as a comparison standard in measuring Service Quality: an
assessment of a reassessment. Journal of Marketing, v. 58 , p. 132-139, january,1994.
URDAN, A. T. Avaliação empírica da escala SERVQUAL em serviços hospitalares: uma
crítica e réplica ao estudo de Vinícius Sittoni Brasil. Anais do 19o. ENANPAD, p. 294-
314, 1995.
 15

Anexo 1 - Estrutura do Questionário

Qualidade dos Professores
Nº Questões / Itens Nº Questões / Itens
01 Domínio dos assuntos tratados. 09 Uso adequado dos recursos audio-visuais e
instrumentos de apoio didático
02 Clareza na exposição. 10 Disponibilidade para atender alunos fora do horário
de aulas.
03 Objetividade na abordagem dos temas. 11 Tratamento cordial e respeitoso.
04 Coerência na distribuição do tempo. 12 Aceitação de pontos-de-vista contrários.
05 Capacidade para esclarecer dúvidas. 13 Feedback regular aos alunos sobre seu
aproveitamento.
06 Habilidade para criar interesse pelo assunto. 14 Justiça na avaliação do desempenho dos alunos.
07 Pontualidade 15 Cumprimento do cronograma das aulas.
08 Preparo adequado das aulas. A16 Nota geral para os professores
Qualidade das Disciplinas
17 Utilidade das disciplinas para a capacitação 23 Qualidade da bibliografia utilizada
profissional.
18 Distribuição equilibrada das disciplinas durante o 24 Atualidade da bibliografia utilizada
curso.
19 Coerência entre carga horária destinada a cada 25 Equilíbrio entre teoria e prática
disciplina e o conteúdo da mesma.
20 Adequação das disciplinas aos objetivos do curso. 26 Horários de aulas convenientes.
21 Conteúdo das disciplinas. 27 Volume adequado de atividades extra-classe.
22 Atualidade dos temas abordados A28 Nota geral para as disciplinas
Aspectos Tangíveis
29 Instalações físicas adequadas (confortáveis, arejadas, 33 Equipamentos em perfeito estado de funcionamento.
iluminadas)
30 Localização de fácil acesso 34 Qualidade do material impresso
31 Ambiente externo com pouco ruído. A35 Nota geral para aspectos tangíveis
32 Equipamentos didáticos modernos
Perfil da Turma
36 Nível de preparação dos colegas da turma. 38 Relacionamento entre colegas.
37 Participação dos colegas nas discussões em sala. 39 Relacionamento com professores.
A40 Nota geral para a turma
Análise de Valor
41 Relação entre tempo investido e benefícios obtidos 42 Relação entre custo monetário e benefícios obtidos
A43 Nota geral para Valor
Qualidade da Secretaria
44 Qualidade das informações recebidas 46 Entrega dos documentos no prazo
45 Atendimento prestado pelos funcionários 47 Competência dos funcionários
A48 Nota geral para Secretaria
Fonte: Questionário da Pesquisa