Você está na página 1de 14
Avaliação Centrada em Especialistas Relatório final para a disciplina de Avaliação e Monitoramento de Políticas Públicas

Avaliação Centrada em Especialistas

Relatório final para a disciplina de Avaliação e Monitoramento de Políticas Públicas Prof. Doutor Ivan Almeida L. Fernandes

Bruna Alves M. da Maia

RA 21054713

Bruno Martins

RA 21005214

Carlos Henrique C. Braz

RA 21059415

Rodrigo Zanateli Ribeiro

RA 21029512

São Bernardo do Campo

2016

SUMÁRIO

  • 1. Avaliação Centrada em Especialistas…… …………………

...

  • 2. Variantes da Avaliação Centradas em Especialistas…… …

....

  • 2.1. Acreditação………………………………………………… .......04

  • 2.2. Connoiseur e a crítica educacional……………………….…......06

  • 2.3. Pareceres ad hocs individuais……………………………… .......06

  • 2.4. Pareceres ad hocs grupal………………………………… ..........06

  • 3. Críticas à Abordagem………………………………………… …

..

....07

  • 4. Legados da Abordagem para o campo de Avaliação de Políticas Públicas……………………………………………………… ……

..

..08

  • 5. Exemplos……………………………………………………… …

..

...10

  • 6. Conclusão………………………………………………………… ....11

  • 7. Referências Bibliográficas…………………………………… …

..

....12

1.

Avaliação Centrada em Especialistas

A Avaliação centrada em especialistas é o tipo de avaliação que depende basicamente dos conhecimentos de um profissional para julgar uma instituição, produto, programa ou atividade. É claramente diferente das outras abordagens devido a dependência direta e declarada de juízos profissionais subjetivos como estratégia básica de avaliação. Esse conhecimento especializado pode ser oferecido por avaliadores ou por outro tipo de profissional; a escolha é feita de acordo com a pessoa que oferece mais em termos de substâncias ou procedimentos que estão sendo avaliados. A avaliação pode ser feita por uma equipe de especialistas ao invés de um indivíduo, pois desta maneira, a abordagem seria plural, sem comprometer a exigência do ponto de vista especializado. Esta abordagem, em sua constituição inicial e também nas variações mais recentes, utiliza da metodologia da visita, ou seja, da avaliação in loco. Desta forma, pode se verificar pessoalmente a existência ou não de determinados equipamentos, das condições do local, de como os profissionais envolvidos na atividade que está sendo avaliada exercem sua função e etc.

A abordagem de avaliação centrada em especialistas foi usada formalmente na educação no séc. XIX para admissão padronizada de alunos no sistema educacional dos Estados Unidos. Mas sua origem é anterior, sem registro histórico, pois informalmente, ela existe desde que um especialista reconhecido deu um parecer a qualidade de alguma atividade. A avaliação centrada em especialistas podem se dividir em cinco categorias:

1) Sistemas formais de pareceres: exige uma estrutura e segue padrões públicos de avaliação (critérios utilizados na avaliação de equipamentos e assuntos públicos), exige uma periodicidade pré determinada, pode ser feita por um ou vários especialistas e geralmente afeta a situação que avalia a partir dos resultados que apresenta. 2) Sistemas informais de pareceres: exige uma estrutura, raramente segue padrões públicos, determina ou não uma periodicidade, pode ser feita por um ou vários especialistas e da mesma forma que o parecer formal, geralmente afeta a situação que avalia a partir dos resultados que apresenta. 3) Pareceres ad hoc (voltadas para um objetivo específico) feitas por grupos altamente qualificados: não exige estrutura, periodicidade determinada e nem segue padrões públicos para avaliação, mas exige o mesmo nível de especialidade por parte dos avaliadores, que formam

um grupo de especialistas, e o resultado afeta a situação que avalia, menos vezes que os formais, mas também afeta. 4) Pareceres ad hoc (voltadas para um objetivo específico) individuais; mesma situação do parecer ad hoc, citado anteriormente, com a única diferença de que este é feito por um indivíduo especialista. 5) Connoiseur/ crítica educacional: Refere-se, por exemplo, a bancas de doutorado e avaliação de projetos educacionais. Não depende de uma estrutura e não segue padrões públicos. O crítico educacional avalia periodicamente, mas objetos pontuais, que não se repetem. A avaliação interfere no objeto. As vantagens de se utilizar a avaliação por especialistas, é que ela gera critérios e diretrizes para avaliação institucional e incentiva a melhoria institucional. Ela também, assegura ao público, em geral, informações relacionadas aos objetivos da instituição, as condições para cumpri-los, o comprometimento da mesma com o cumprimento desses objetivos e se ela está organizada, tem quadros treinados e a estrutura necessária. É diferente de uma assessoria, pois utiliza de uma abordagem de aconselhamento, mais focada e especializada. Além disso, protegem as instituições de possíveis abusos, por exemplo, alguém pode processar a instituição por algum motivo, e a defesa pode utilizar dos dados colhidos na avaliação ao seu favor, contra o argumento da acusação caso ele tenha sido feito em falso, com más intenções; As avaliações são feitas por especialistas no assunto que está sendo avaliado, o que impede a simplificação das avaliações e o olhar descuidado, que muitas vezes decorre em equívocos. A auto avaliação, que acompanha a avaliação dos especialistas no processo, leva a benefícios e descobertas importantes ligadas a utilização das vantagens da avaliação formativa e somativa. Por fim, quando as avaliações são feitas por um grupo de especialistas os conhecimentos especializados são conjugados, o que resulta em uma avaliação multiplamente validada, por vários observadores e entrevistadores.

2. Variantes da Avaliação Centradas em Especialistas

2.1. Acreditação

Surgiu com o chamado experimento Flexner, nos Estados Unidos, em 1910. Flexner foi um educador, que avaliou as escolas de medicinas dos EUA; O procedimento não é exatamente acreditação como entendemos hoje, dentro das abordagens avaliativas, pois neste sentido, a acreditação é uma avaliação que exige iniciativa voluntária por parte da instituição, que solicita a avaliação. Mas sim, no sentido amplo, já visto anteriormente, ou seja: a acreditação é um sistema formal de parecer, que depende de uma estrutura, utiliza padrões estabelecidos seguindo critérios públicos e depende da especialidade do avaliador. Flexner não era especialista em medicina, para julgar escolas de medicina, mas sim, era especialista em educação, portanto estava apto a julgar espaços educacionais em medicina. Flexner defendia o uso do bom senso e acredita que uma pessoa de fora do assunto específico, é mais indicada para avaliar, pois apresenta o olhar de especialista, mas também não está envolvido diretamente com o assunto avaliado, além de trazer um olhar diferente. Ou seja, seria muito ingênuo chamar um médico, do círculo dos médicos, para avaliar as escolas de medicina. Flexner então, não usou de reforço empírico para os critérios de avaliação, mas sim utilizou do que chamou de ''indicadores óbvios'' ou seja, era só empregar a avaliação in loco, para observar se a escola tinha os equipamentos necessários, se os profissionais e o local estavam de acordo com as condições de higiene e assim por diante; Ele também dispensava de ''sutilezas profissionais'' e ''críticas corteses'', que é geralmente comum em procedimentos avaliativos.

2.1.1 A história do Sistema de Acreditação

Após o já citado estudo de Flexner, a institucionalização do sistema de acreditação se deu através da aplicação do sistema do médico americano Ernest Codman (1869- 1940) que em 1917 criou um rastreamento dado para cada paciente num hospital dos Estados Unidos. Sua ideia, era identificar o que era e o que não era efetivo no tratamento e determinar um padrão para as condutas médicas. O estudo do Dr. Ernest foi muito bem sucedido e o Colégio Americano de Cirurgiões estabeleceu o Programa de Padronização de Hospitais, baseado nestes estudos. Nesta época foi

criado o programa que era formado por cinco padrões mínimos, sendo três deles focados na organização do corpo clínico, o quarto se preocupava com registros específicos e o quinto era focado em ter uma tecnologia apta a boa prática médica. Foi criado um manual com 18 páginas na época. Com o passar dos anos, este manual ganhou força e nele foi sendo acrescentado mais especificações, porém, os hospitais passaram a gastar muito para cumprir as exigências do mesmo. Para resolver esse problema foi criado em 1951 a Comissão Conjunta de Acreditação de Hospitais que criou um programa oficial de acreditação chamado Joint Comission on Acreditation Healthcare Organization (JCAHO). Com esse novo formato, a acreditação se ampliou e começou a ser utilizada em outros lugares, e não apenas em solo americano. Os quarenta anos seguintes serviram para afirmar as políticas de acreditação ao redor do mundo, com pequenas alterações nos modelos de cada país.

  • 2.1.2 A Acreditação nos dias atuais

Nos últimos anos, a JCAHO começou a dar ênfase para a assistência clínica e a mensuração de seus resultados começou a ser expressa em quatro níveis: Acreditação com distinção, acreditação sem recomendação, acreditação com recomendação e acreditação condicional. Essa nova divisão da Acreditação fez com que o setor ganhasse em eficiência, principalmente no setor administrativo dos hospitais.

  • 2.1.3 A Acreditação no Brasil

No Brasil, os sistemas de Acreditação chegaram nos anos 70, mas, segundo o site da ONA - Organização Nacional de Acreditação até o fim dos anos 80, muitas poucas pessoas conheciam e ainda menos utilizavam qualquer sistema de acreditação no país. O desenvolvimento desse sistema se deu, somente em 1991. Nesse ano o presidente do OPAS, que na ocasião era brasileiro, atribui a alguns brasileiros a missão de trazer para o Brasil o sistema de acreditação hospital. Esse grupo, então, foi a um seminário em Washington e posteriormente elaboraram o “Manual OPAS de acreditação dos hospitais da América Latina e Caribe” (OPAS é a Organização Panamericana de Saúde). Sem apoio de outras instituições, a acreditação foi inserida no vocabulário dos profissionais, mas sua divulgação continuava andando devagar, até que em 1999 foi criada a ONA (organização nacional de acreditação) , e assim a divulgação e importância do sistema

aqui no país acabou sendo divulgado, pela ONA e por várias outras empresas que surgiram depois, como ANVISA e UNIMED.

  • 2.2. Connoiseur e a crítica educacional

O connoiseur é um artista da avaliação. Ele tem percepção das qualidades da entidade ou objeto avaliado, tendo como talento principal, saber para o que olhar na avaliação. Pode-se fazer uma analogia ao provador de vinho para entender o papel do connoiseur na crítica educacional. Ou seja, é necessário uma experiência e um paladar refinado, além da memória gustativa desse profissional, que possibilita distinguir qualidades sutis (corpo, cor, acidez, buquê, sabor residual, etc) e emitir julgamentos de valor não baseados em preferências pessoais. Desta maneira, o avaliador é o instrumento de avaliação e a coleta, a análise e o julgamento ficam encobertos na cabeça do avaliador. Portanto, para obter a validade da sua avaliação, é necessário a experiência reconhecida e as percepções do avaliador.

  • 2.3. Pareceres ad-hoc individuais

Nessa forma de avaliação um único especialista com conhecimentos especializados realiza um parecer a respeito de uma entidade, programa ou atividade. Esse parecer costuma ser feito geralmente para avaliação de livros didáticos, programas de treinamento em empresas, planos de programas e etc (WORTHEN; SANDERS; FITZPATRICK, 2004).

  • 2.4. Pareceres ad-hoc grupais

Nesse tipo de avaliação os pareceres não se relacionam a nenhuma estrutura institucionalizada, a padrões pré-determinados e as avaliações não são realizadas em intervalos regulares, ou seja, são resultado de uma necessidade particular do momento. Os pareces grupais costumam seguir algumas diretrizes para sua realização: 1) os integrantes da avaliação são escolhidos de acordo com os critérios de qualificação, experiência e preparo no campo estudado; 2) há procedimentos avaliatórios individuais e coletivos e 3) os pareceres documentam as observações e fazem recomendações voltadas para a ação (WORTHEN; SANDERS; FITZPATRICK, 2004).

2.5 Sistemas informais de pareceres profissionais

Muitos sistemas informais de pareceres contam com estruturas e com diretrizes procedimentais, porém, não seguem padrões públicos, não tem periodicidade predeterminada e os procedimentos de avaliação ficam a cargo da equipes de visitas aos locais sem contam com nenhuma diretriz. Um exemplo de sistema informal de parecer é um comitê de supervisão dos estudantes de pós-graduação (WORTHEN; SANDERS; FITZPATRICK, 2004).

3. Críticas à Abordagem

Uma série de críticas são levantadas contra a abordagem centrada em especialistas ao

longo do trabalho de (WORTHEN; SANDERS; FITZPATRICK, 2004). A principal crítica diz respeito ao fato dessa abordagem ser bastante subjetiva e baseada em percepções e depender exclusivamente dos especialistas e da qualificação profissional dos avaliadores para julgar a qualidade de qualquer atividade que esteja sendo avaliada. Desse modo, tal avaliação fica excessivamente vulnerável as preferências pessoais e a intuição dos avaliadores. Além dessas limitações uma série de outros argumentos críticos são levantados contra a abordagem centrada em especialistas pelos autores (WORTHEN; SANDERS; FITZPATRICK, 2004), dentre eles podemos citar a seguir alguns:

1) (Kirkwood, 1982, apud WORTHEN; SANDERS; FITZPATRICK, 2004) questiona a falta, muitas vezes, de “similaridades de metas, uniformidade de processos ou termo de comparação das instituições”;

2) A imposição de padrões externos por parte dos órgãos de acreditação pode privar as instituições de oportunidade de desenvolver seus pontos fortes, na medida em que ficam focadas em seguir as recomendações desses órgãos e podem deixar de priorizar o aprimoramento das suas melhores características. 3) Os sistemas de acreditação se baseiam no princípio de que só os membros de uma classe profissional estão qualificados para julgar as atividades de seus pares e definir os critérios de avaliação. Esse fato pode gerar preocupações com relação a credibilidade das avaliações e com o cinismo público da avaliação das próprias atividades. Essas preocupações decorrem da suspeita de avaliações protecionistas ligadas aos interesses de classes profissionais. Dessa forma, os pareceres podem ser incestuosos e sujeitos a conflitos de interesses, devido à falta de distanciamento e objetividade por parte dos avaliadores.

4) Os julgamentos podem refletir preconceitos pessoais ou excesso de conservadorismo, ou seja, nem sempre há um rigor necessário, o que faz com que a qualidade das avaliações fiquem dependentes do profissionalismo e da consciência dos avaliadores; 5) O difícil acesso aos dados, a escassez de documentação-base para as conclusões e uma provável posição defensiva dos que terão seu trabalho avaliado (muitas vezes fornecem informações parciais) pode dificultar muito a execução das avaliações; 6) Muitas avaliações podem envolver altos custos para as instituições avaliadas, decorrentes principalmente dos custos das viagens dos avaliadores; 7) (HOUSE, 1980, apud WORTHEN; SANDERS; FITZPATRICK, 2004) nota que o sigilo pode ser outro problema, pois os profissionais costumam mostrar relutância em expor corajosamente sua visão no relatório público. Isso prejudica a confiabilidade dessas avaliações; 8) Dificuldade de reprodutibilidade das avaliações. Em outras palavras, outro especialista ou outro grupo de especialistas pode fazer outros julgamentos e recomendações; 9) Esse tipo de avaliação pode ser competente para avaliar a obediência institucional, mas não a qualidade de determinada instituição ou do programa. Além disso, o peso e a escolha de cada padrão ou critério de avaliação pode ser arbitrária e não refletir ou detectar as verdadeiras questões ligadas a qualidade do programa ou da instituição; 10) Os avaliadores necessitam de grande preparo especial para avaliar. Precisam ter conhecimento das teorias das ciências sociais e do programa que está sendo avaliado e precisam ter capacidade acurada de sensibilidade e discernimento. Além disso, devem seguir padrões rigorosos de objetividade e de mensuração dos diferentes padrões e critérios. 11) Esse tipo de avaliação pode gerar fixação em objetivos que podem excluir a busca de efeitos colaterais. Exemplo: O IDEB (índice de desenvolvimento da educação básica) mensura o desempenho dos alunos somente nas disciplinas de português e matemática. Tal fato gera incentivos para os professores focarem na melhora dos desempenho dos alunos nessas disciplinas, em detrimento de outras disciplinas. Desse modo, os alunos podem piorarem nas outras disciplinas, devido à falta de prioridade dada as mesmas; 12) Os avaliadores por não estarem inseridos no cotidiano diário das instituições avaliadas podem fazer uma análise superficial do contexto das mesmas, deixando de levar em conta aspectos fundamentais e possíveis erros e limitações que costumam estar presentes no dia-a-dia, mas que no dia da avaliação não apareceram.

4. Legados da Abordagem para o campo de Avaliação de Políticas Públicas

Pode-se concluir a partir das contribuições fornecidas por (WORTHEN; SANDERS; FITZPATRICK, 2004) que o desenvolvimento da avaliação centrada em especialistas ao longo do tempo trouxe uma série de contribuições para o campo de avaliação de políticas públicas deixando legados para a mesma. Dentre esses legados podemos mencionar:

1) Tal abordagem incentivou muito a formação e profissionalização de muitos especialistas em avaliação de políticas públicas; 2) Algumas características dessa abordagem facilitaram a disseminação das avaliações:

A maximização do tempo dos membros das equipes de avaliação para coletar e resumir uma quantidade substancial de informações avaliatórias num curto espaço de tempo; o custo relativamente modesto; a cobertura ampla e a eficiência (facilidade de implementar) (WORTHEN; SANDERS; FITZPATRICK, 2004);

3) Essa abordagem induziu muitos avaliadores a desenvolverem conhecimentos

especializados em técnicas de avaliação e a criarem novas técnicas, o que ajudou a melhorar a qualidade das avaliações; 4) A proliferação sistemática de órgão especializados em acreditação ajudou a criar uma

“cultura” e tradição de avaliação de instituições, programas e projetos;

5) Incentivou, também, o fortalecimento de uma cultura de auto avaliação, que muitas

vezes leva a descobertas e benefícios mais importantes do que os da visita ao local pelas equipes de acreditação; 6) Promoveu e fomentou o desenvolvimento e aprimoramento de critérios, padrões e diretrizes de avaliação de eficiência institucional; 7) As abordagens da avaliação centrada em especialistas sempre enfatizam há muito tempo o papel crucial dos pareceres de especialistas no processo avaliatório.Isso fez com que se fortalecesse a credibilidade e a legitimidade dos processos de avaliação de políticas públicas; 8) A avaliação centrada em especialistas foi uma das primeiras abordagens de avaliação de políticas públicas a justificar seus critérios e padrões com base em ligações empíricas de insumos e processos a resultados (WORTHEN; SANDERS; FITZPATRICK, 2004). Isso ajudou a fortalecer o grau de “cientificidade” e de objetividade das avaliações de forma geral. 9) Vários processos específicos de avaliação são variantes da abordagem centrada em especialistas, como por exemplo, exames de doutoramento, pareceres específicos, painéis para revisão de projetos, entre outros (WORTHEN; SANDERS; FITZPATRICK, 2004);

10) Foi a primeira abordagem a aplicar padrões para determinar valor, qualidade, utilidade, eficácia ou importância de programas, produtos ou instituições. Além disso, foi a primeira abordagem a explicitar os padrões de avaliação; 11) Estimulam a excelência através do desenvolvimento de critérios e diretrizes para avaliar programas ou produtos. (Ex: Capes no Qualis Periódicos e avaliação de programas de pós-graduação, Sinais) (WORTHEN; SANDERS; FITZPATRICK, 2004).

5. Exemplos

Um exemplo de sistema de acreditação é o sistema de acreditação da Agência de Avaliação e Acreditação de Portugal, que obriga o cumprimento de indicadores de qualidade por parte das instituições de ensino. Uma vez definidos os critérios-base, os standards-base ou as condições mínimas, os cursos são ou não acreditados. Nenhum curso pode funcionar sem a acreditação dada pela agência. No contexto de Portugal, avaliação e acreditação têm objetivos diferentes, mas são complementares e indissociáveis: avaliação visa à promoção da qualidade do ensino, investigação, ação cultural e ação no meio exterior desenvolvido pelas instituições; enquanto que a acreditação visa o cumprimento dos requisitos mínimos que conduzem ao reconhecimento oficial das instituições e cursos avaliados. A avaliação de qualidade é responsabilidade, em primeiro lugar, das próprias IES. A avaliação externa, por sua vez, é realizada por comissões designadas pela agência e visa a garantia de qualidade e a validação dos mecanismos internos de garantia de qualidade (auditoria) expressos em recomendações e da acreditação expressa em três gradações:

acreditado, acreditado condicionalmente e não acreditado (MONTEIRO DE FREITAS, 2010). Outro exemplo de avaliação centrada em especialista é PNLD (plano nacional do livro didático), implementado na década de 1980, e tem como objetivo principal contribuir para a melhoria da qualidade da educação básica, a partir da avaliação, escolha e distribuição de materiais didáticos. Segundo Basso (2012), esses materiais (livros didáticos, livros paradidáticos, dicionários) fornecidos pelo MEC às escolas da rede escolar pública têm como função contribuir para o trabalho docente e para o desenvolvimento do processo de ensino/aprendizagem dos alunos. A implementação de avaliação de livros didáticos ocorreu em 1996. Desde sua primeira edição, até os dias atuais, os LD destinados aos anos iniciais do ensino fundamental de todas as

áreas curriculares são avaliados, o que se registra quase duas décadas de avaliação, perfazendo um total de sete edições (BASSO, 2012). Considera-se marco na história deste processo o documento de 1994 intitulado:

“Definição de Critérios para avaliação de livros didáticos” que, em síntese, consistiu na avaliação de livros mais utilizados pelos professores das diversas disciplinas curriculares:

Língua Portuguesa, Matemática, Estudos Sociais e Ciências. Esse trabalho foi encomendado pelo MEC a cinco especialistas de diferentes áreas de ensino, para avaliar os dez títulos de LD mais escolhidos e utilizados pelos professores do ensino fundamental e, assim, estabelecer critérios de análise de LD. Essa avaliação revelou que os livros comprados pelo MEC e utilizados na escola, em sua maioria, veiculavam preconceitos e erros conceituais graves, que prejudicavam o processo formativo dos alunos (BASSO, 2012). O processo de análise dos livros didáticos é realizado por meio de um sistema de inscrição sob os quais as editoras listam e enviam suas coleções para o MEC. Após a aprovação técnica, os livros didáticos são direcionados para a Comissão de avaliadores. Um grupo de especialistas (geralmente dois pareceristas independentes para cada coleção) avalia os livros sem identificação dos autores ou das editoras (livros sem capa e descaracterizados de autoria, editora etc.) seguindo os critérios avaliativos presentes no edital de convocação de editoras (BASSO, 2012). Contudo, na íntegra os critérios são similares, uma vez que a avaliação, em linhas gerais, preocupa-se com a ausência de erros conceituais e preconceitos nos livros didáticos e com a coerência da proposta teórico metodológica das coleções. De modo geral, pode-se constatar cinco categorias de critérios que mais aparecem nas avaliações de livros didáticos do PNLD. A saber: (1) Integridade física dos alunos; (2) Compromisso com a ética e cidadania; (3) Aspectos teórico metodológicos; (4) Atividades experimentais; (5) Aspectos visuais (ilustrações, fotos e figuras) e (5) Manual do Professor (BASSO, 2012).

6. Conclusão

Pode-se concluir a partir das contribuições fornecidas por (WORTHEN; SANDERS; FITZPATRICK, 2004) que o desenvolvimento da avaliação centrada em especialistas ao longo do tempo trouxe uma série de contribuições para o campo de avaliação de políticas públicas, na medida em que incentivou muito a formação e profissionalização de muitos especialistas em avaliação de políticas públicas e induziu muitos avaliadores a desenvolverem conhecimentos especializados em técnicas de avaliação e a criarem novas técnicas, o que ajudou a melhorar a qualidade das avaliações. Ademais, a proliferação sistemática de órgão especializados em acreditação ajudou a criar uma “cultura” e tradição de avaliação de instituições, programas e projetos, o que ajudou a promover e fomentar o desenvolvimento e aprimoramento de critérios, padrões e diretrizes de avaliação de eficiência institucional. Contudo, apesar dessas contribuições fornecidas por essa abordagem, os consumidores e interessados nas avaliações feitas por especialistas estão ficando cada vez mais céticos no que se refere a veracidade dos resultados apontados por especialistas, devido ao fato dessa abordagem ser bastante subjetiva e depender exclusivamente dos especialistas e da qualificação profissional dos avaliadores para julgar a qualidade de qualquer atividade que esteja sendo avaliada. Desse modo, tal avaliação fica excessivamente vulnerável as preferências pessoais, a intuição dos avaliadores e a consciência dos mesmos. Por fim, entendemos que esse tipo de avaliação pode ser competente para avaliar a obediência institucional, mas não a qualidade de determinada instituição ou do programa. Além disso, o peso e a escolha de cada padrão ou critério de avaliação pode ser arbitrária e não refletir ou detectar as verdadeiras questões ligadas a qualidade do programa ou da instituição. Para resolver esse tipo de limitação acreditamos que o sistema de parecer ad hoc parece ser uma alternativa eficaz para fornecer um modelo de pesquisa mais flexível e que consegue fornecer resultados mais qualitativos, combinando, então qualidades dos métodos qualitativos e dos métodos quantitativos.

7. Referências Bibliográficas

A ONA e a história da acreditação no Brasil. Disponível em:

<www.ona.org.br> Acessado em: 6 de Agosto de 2016

BASSO, Lucimara Del Pozzo; CAMPOS, Franciele Mota; RODRIGUES, Larissa Zancan. Programas governamentais de distribuição de livros, em foco, o PNLD. In: Seminário ANPAE Região Sul, 2012, Pelotas/RS. Gestão e Políticas Públicas de Educação: Desafios Atuais, 2012.

História da Evolução da Qualidade Hospitalar: dos padrões a acreditação. Disponível em:

<http://www.scielo.br/pdf/ape/v18n2/a15v18n2.pdf> Acessado em: 6 de Agosto de 2016

Observatório da Acreditação na Saúde. Disponível em:

Disponível em: <https://observatoriodacreditacao.wordpress.com/a-acreditacao-na-historia> Acessado em: 6 de Agosto de 2016

WORTHEN, Blaine R.; SANDERS, James R.; FITZPATRICK, Jody L. Avaliação de programas: concepções e práticas. São Paulo. Ed. Gente, 2004.

Verhine, Robert E. e Freitas, Antônio A. da Silva Monteiro de. A Avaliação da educação superior: modalidades e tendências no cenário internacional, 2012. Disponível em: <https://www.revistaensinosuperior.gr.unicamp.br/artigos/a-avaliacao-da- educacao-superior-modalidades-e-tendencias-no-cenario-internacional> Acessado em 08 de Agosto de 2016.