ESTUDOS EM AVALIACAO EDUCACIONAL HERALDO MARELIM VIANNA‘ 1. AVALIACAOE OBJETIVOS: Ralph W. Tyler 1.1 Introdugio ‘A avaliagéo evolui diferentemente nos varios ambientes educacionais e suas hist6rias so, conseqiientemente, bem diversas umas das outras, mesmo quando os valores e as crengas que deram origem as vérias metodologias apresentam pontos comuns (Norris, 1993). O exame da questio na perspectiva norte-americana possibilita perceber que a estrutura social determinada pelo desenvolvimento econdmico, no prinefpio do século XX, exigiu a reformulagao de todos os nfveis educacionsis, uma atuag&o mais eficiente dos educadores no gerenciamento da administragio institucional, e novas estruturas curriculares, assim como novas estratégias de ensino, segundo mostrou Norris (1993), da Universidade de Hast Anglia (Inglaterra), ¢ Vienne (1995)*. 12 Avaliagdo e o processo s6cio-econémico HA uma preocupagio, nas primeiras décadas do século XX, tanto nos Estados Unidos como na Inglaterra, em associar de maneira bastante estreita 0 proceso sécio-econémico a valores e conhecimentos transmitidos por intermédio da educagao, Essa visio ' Pesquisedor Senior da Fundagio Carlos Chagas ~ FCC, * aveliagto Educacional: — uma perspectiva historia, Estudos em Avaliagiio Edneacional, n* 12, Sio Paulo, Fundago Carlos Chagas, 1995. ndo problema exigiu, naturalmente, um sistema de controle de todas as atividades mais diretamemte ligadas ao proceso educacional, 0 que possibilitou, conseqiientemente, o desenvolvimento da pesquisa, da avaliaglo educscional , naturalmente, o da tecnologia dos instrumentos de medida e das técnicas de andlise quantitative, gragas ao trabalho pioneiro ¢ proficuo de E, Thorndike ¢ K. Pearson, entre outros, nos Estados Unidos e na Inglaterra, respectivamente. Nessa fase, avaliagdo e medidas educacionais apresentam-se confundidas até © surgimento, nos anos 30, do importante trabalho empreendido por Ralph W. Tyler, como reconhece Norris (1993), apesar de suas discordancias conceituais com o grande sistematizador da avaliaglio educacional. 13° Influéncia de Binet Antes de considerar o trabalho de Tyler , analisar os pressupostos cm que bascou o scu modelo de avaliagio ¢ 0 scu significado, assim como as reagdes geradas ao modelo de avaliagiio por objetivos, € necessdrio destacar, como jé o fizeram Madaus, Airasian e Kellaghan (1980), a influéncia de Alfred Binet ¢ seus estudos (1905) para a medida da inteligéncia nos Estados Unidos e, inclusive, na Inglaterra, especialmente em relacio as medidas educacionais, com repercusséo bastante profunda na avaliagfo dos alunos ¢ seu rendimento escolar. Os resultados dos chamados testes de inteligéncia erem utilizados na interpretagio do desempenho dos estudantes nos testes de escolaridade, sobretudo quando se tratava de um baixo desempenbo. A idéia de que qualquer pessoa poderia aprender comegou a ser posta & prova e, em conseqiiéncia, houve uma mudanga nos testes de rendimento, que eram referenciados a critério e o desempenho do aluno era comparado a um valor absoluto, passando a testes do tipo referenciados a normas, em que o desempenho do estudante 6 relacionado a0 comportamento do seu grupo (Madaus, Airasian e Kellaghan, 1980). Foi, assim, 0 inicio da idolatrizagaio da curva normal, que domina a rca da avaliagio até meados dos anos 60, quando os teéricos da avaliagio, entre os quais Cronbach e Bloom, comegaram a contestar a idéia de que o fracasso do aluno era "4responsabilidade exclusivamente sua, som participagao dos sistema, da escola e do préprio professor. 14 = The Eight-Year Study © modelo das diferengas individuais, surgido logo apés o conflito de 1914-18, vai dominar 0 mundo da educagiio ¢ influenciar as formas de avaliag&o educacional, inclusive tornando-se uma idéia fixa, quase obsessiva, dirfamos, no espirito dos avaliadores de diferentes reas, que passaram por longo tempo a acreditar quase que picdosamente no mito da curva normal de probabilidade, simples representagio gréfica de uma fungi matemética, o que teve profundas implicagSes na interpretagio dos resultados de avaliagSes que envolviam o componente rendimento escolar. A primeira grande excegiio aos testes padronizados refercnciados a normas foi o projeto Fight-Year Study (1942), idealizado, plangjado ¢ desenvolvido por Ralph W. Tyler, na avaliagio da eficiéncia diferencial de varios tipos de escola, como claramente demonstrado por Madaus, Airasian ¢ Kellaghan (1980). Os anos 20 ¢ 30 assistem a um desenvolvimento consideravel dos testes padronizados de escolaridade, de acordo com Worthen ¢ Sanders (1987). Ao mesmo tempo, a controvérsia entre curriculo tradicional e curriculo progressista, este na proposta de John Dewey, vai ter grandes repercuss6es. Tyler, ao lado de Dewey, no Movimento para a Educacio Progressista, vai atuar ativamente no primeiro grande estudo de avalia¢o longitudinal — The Fight-Year Study (1932-40) - para dirimir dividas sobre a eficiéncia diferencial de varios tipos de escola, no perfodo que antecede & Segunda Guerra Mundial (1939-45). estudo planejado por Ralph Tyler procurou responder 20 questionamento da eficécia da escola tradicional em relagdo & escola secunddria progressista, tendo em vista que muitos colleges ¢ universidades recusavam estudantes oriundos das escolas que seguiam a proposta de Dewey , sob a alegagiio de que as mesmas nao ofereceriam créditos em reas curriculares supostamente importantes (Madaus et al., 1993) [1]. O estudo experimental de Tyler , com base na andlise dos resultados de programas educacionais elaborados de acordo com as 15necessidades dos alunos, independentemente dos pré-requisitos definidos pelas universidades cm relagio aos exames de ingresso nesse nivel de ensino (Norris, 1993), vai mostrar uma nova concepgio de avaliagio educacional, que consiste em comparar. os objetivos pretendidos aos que foram realmente alcangados. O esquema de Tyler supera, assim, 0 que vinha sendo até entiio adotado (Madaus et al., 1993), que simplesmente comparava 0 desempenho entre grupos experimentais e de contraste, A sua proposta, por outro lado, conforme discutiremos, partiu da medida de objetivos comportamentais, preocupando-se com os resultados decorrentes da aprendizagem. Tyler, nos 25 anos seguintes (1957), ter grande atuacio nfio apenas em atividades relacionadas a testes, medidas ¢ avaliagio, mas influenciard toda a educagiio norte-americana, com amplos reflexos em outras regiées, inclusive no proprio Brasil, ainda que hoje existam algumas reagdes 20 seu pensamento, em fungéo de “modismos” educacionais [2]. 1.5 Modelo de Tyler O modelo de Tyler (1942) € bastante simples ¢ parte do princfpio de que educar consistiria em gerar e/ou mudar padrées de comportamento, devendo, em conseqiiéncia, o curriculo ser construféo com base na especificagdo de habilidades desejéveis expressas em objetivos a screm alcangados’. A avaliagdio, na concepgio de Tyler, verificaria a concretizaciio dos objetivos propostos, a congruéncia entre resultados ¢ objetivos. Seria, pois, uma forma de validar os pressupostos em que sc bascariam os programas curriculares (construtos). As suas idéias t8m grande repercussio e influenciam outros modelos, como, por exemplo, o de Hammond (s/d) e, mais tarde, o de Metfessel ¢ Michael (1967) ¢ o de Provus (1973). [3] [4]. * 0 pensamento de Tyler esié expresso em scus numerosos traballios; acreditamos, contudo, que a leituma de seu artigo seminal sobre avaliagdo (1942), suas consideragées sobre Dbjetivos educacionais (In: Payne (ed), 1974), e a parte relacionada a experi¢neias de aprendizagem (Goldberg e Souza (Eds.), 1982; Hamilton (Ed), 1978), consignados na bibliografia, sob a rubrica de TYLER, oforegam um quadro bem amplo do suas coxcepybes sobre educagdo, curriculo © avallagao, 6Tyler, em seu ensaio cléssico — General Statement on Evaluation — (1942) deixa claro que cabe a avaliagio verificar, periodicamente, até que ponto a escola demonstra eficiéncia como instituigdo respons4vel pela promogdo da educago. A avaliagdo, desse modo, proporcionaria subsidios para uma andlise critica da instituicao, possibilitando a reformulagdo de sua programago curricular. A avaliagio, segundo essa perspectiva, ofereceria elementos para uma critica fundamentada da instituigao, baseada em dados empiricos, ¢ permitiria, ao mesmo tempo, uma discussdo sobre a cficiéncia da sua atuagio. A avaliagio, ainda de acordo com o pensamento de Tyler, possibilitaria o aprimoramento dos programas, com a eliminagio do inoperante ¢ o desenvolvimento daqueles aspectos que se tivessem revelado positivos. A avaliago teria, ainda, como objetivo covalidar as hipdteses formuladas na estruturagio dos novos curriculos, que refletiriam o sistema de crengas e valores sociais c culturais da sociedade em que est inserida a escola, O curriculo, no pensamento de Tyler, deve corresponder a essas aspiragdes da sociedade, que se concretizariam pela atuagio da comunidade escolar no desenvolvimento dos varios programas, A idéia de congruéncia é uma das t6nicas do pensamento de Tyler e , no aspecto exposto, a avaliagio estaria constatando em que medida as hipéteses levantadas para a elaboracaéo dos curriculos estariam sendo congruentes com a realidade social. A orientagao do estudante, mais do que a simples transmissio de contetidos nem sempre relevantes, seria outro dos objetivos propostos no plano de avaliaglo de Tyler. A orientagfio do aluno somente scria realizdvel depois que uma avaliagiio criteriosa fizesse 0 levantamento de todas as informagées sobre o seu desempenho escolar, a fim de caracterizar possiveis problemas no seu desenvolvimento como alguém que esté scndo conduzido por intermédio de um processo educative previamente determinado e com objetivos delincados. A avaliacio, desse modo, nfo deveria ficar restrita a apenas alguns aspectos, como geralmente ocorre, que se limita & verificagdo do rendimento escolar, mas abranger outras dimensées de forma a oferecer uma orientagdo segura ao aluno, a0 Jongo de sua escolaridade [5]. 1A avaliago, qualquer que seja o modelo apresentado visa, sem sombra de divida, a uma tomada de decisio, que envolve professores, administradores, pais ¢ os préprios alunos, que, assim, precisam de elementos de informagio relativamente A eficiéncia dos sistemas, especialmente no que sc relaciona com a aprendizagem. A avaliagio, na proposta de Tyler (1942), dado o scu cardter sistemético, possibilita eliminar com seguranca todos aqueles elementos que possam gerar desconfiangas da parte da comunidade, porque os dados levantados mostram 0 sucesso operacional do currfculo ou, entéo, apontam aqueles elementos que devem ser imediatamente corrigidos com o fito de restaurar a credibilidade que se deve depositar em uma escola bem orientada, Tyler (1942) deixa claro que a soviedade global — apesar da redundincia da exprossiio — deve atuar em consonfincia com a sociedade educacional, a fim de garantir a continuidade do saber humano em suas diferentes formas, responsabilidade prioritéria da escola. A avaliagio, portanto, serve de nexo entre a escola ¢ a sociedade, que passa a ser informada dos problemas pode intervir, superando-os [6]. 1.6 —_ Interagio professor/aluno Ha um aspecto da proposta de Tyler (1942) que nao pode ser ignorado, que € o das relagdes professor/aluno. O professor deve deixar claramente exposto aquilo que pretende dos seus alunos através de diversas priticas curriculares. Os alunos, por sua vez, ficariam em condig6es de apresentar respostas satisfatdrias as demandas da escola, dos curriculos ¢ dos professores, Depreende-se, por conseguinte, que 0 modelo de Tyler (1942) contém um apelo ao solidfrio, em que a educacéo néo surge como um trabalho isolado, resultante da atividade de alguns poucos, mas um esforgo cooperativo, com 0 envolvimento de diferentes segmentos sociais. Tyler (1942), ao definir seu modelo de avaliacdo , deixou bastante claro o seu posicionamento em relacéo a diversos pontos capitais de sua fildsofia da educago, que aflo podem ser olvidados, tendo em vista que constituem o elemento de sustentagao de estrutura metodolégica do seu modelo, dando-lhe a coeréncia interna sem diivida necessdria para a sustentagdo de 18qualquer proposta operacional, como a que pretendeu realizar em avaliag&io educacional. Quais, entio, esses pontos expostos por Tyler (1942), apresentados de forma abreviada, e que ja foram objeto de cogitag4o em outro trabalho anteriormente divulgado (1982)*? Sem ditvida, os pontos-chaves concentram-se nos seguintes aspectos: 1) A educag&o & um processo que visa a criar padres de conduta, on a modificar padrécs anteriores, nos individuos. 2) Os padres de conduta desenvolvidos na escola sfio, na realidade, os objetivos educacionais. 3) O éxito de um programa cducacional, verificado através da avaliagiio, depende da concretizagio desses objetivos, 4) A avaliagio deve incidir sobre 0 aluno como um todo, nos seus conhecimentos, habilidades, modos de pensar, atitudes e interesses, sem se concentrar em apenas clementos isolados, como, na realidade, acontece nos dias fluentes. 5) A avaliagio pressupde diversidade de instrumental para ayaliar mdltiplos comportamentos, nao devendo ficar restrita, apenas, a exames escritos, como geralmeate ocorre. 6) A avaliagio nfo se concentra apenas no estudante, como acentua Tyler (1942), ndo é um ato isolado, mas um trabalho solidério que deve cnvolver, além de alunos, claro, os professores, administradores e, sem sombra de dtivida, os proprios pais, que devem ter voz.ativa no processo. 1.7 _ Eficiéncia e pontos criticos © modelo de avaliagio proposto por Tyler (1942) € aparentemente simples ¢ mudou, inteiramente, o enfoque da avaliago, que sc concentrava, inicialmente, nas habilidades dos individuos, passando, entiio, a preocupar-se com o julgamento do curriculo. A avaliagGo, nessa concepefo, supera a idéia, aliés equivocada, de que seria uma simples tecnologia com vistas a ordenar os individuos, segundo um determinado critério, discriminando-os uns dos outros. Na ‘Viana, HL. M. Avaliogio Educucional - algumas idéias precursoras. Educagio ¢ Selegdio, S20 Paulo, Fundagto Carlos Chagas, 1? 6, 1982. 19verdade, com Ralph W. Tyler, a avaliagdo passou a ser um meio de verificar em que medida os objetivos curriculares, assim como os Processos instrucionais, se concretizaram na pratica, de acordo com o destaque bastante procedente de Norris (1993). Acteditamos seja necessdrio ressaltar a posigo de Tyler em relagio aos testes ¢ aos objetivos, muitas vezes confundidos por pessoas nem sempre integradas no seu pensamento. Tyler néo admitia a identificagao dos conceitos de avaliagdo e medida, usados quase como expresses sinénimas, Isso, em oposigdo ao pensamento de Tyler, seria admitir que a avaliagéo visaria a mensurar apenas diferengas individuais, 0 que nao estava de acordo com o scu pensamento, Sua posigo cra frontalmente de recusa diante desse posicionamento, sendo medida, especialmente a do rendimento escolar, apenas um momento do complexo processo de avaliagao. Isso, entretanto, ndo significava que negasse a importancia dos exames, dos testes ¢ das provas. A sua preocupagiio com objetivos, por outro lado, ligava-se A sua prépria concepgdo de objetivo, que seria uma transformacao desejdvel nos padrdes de comportamenio dos alunos. Tyler, na andlise do desempenho dos estudantes, no projeto Eight Year Study, dé destaque & palavra avaliagdo como substituta de outras usadas, como as que foram mencionadas, ¢ que ainda continuam a ser empregadas. A avaliagio, para Tyler, est4 identificada com um processo de investigagio de valores, devendo _verificar, periodicamente, a cficiéncia das escolas ¢ identificar os pontos criticos dos varios programas curriculares, a fim de aperfeicod-los c, aaturalmente, validar os princfpios que alicergam a atividade de uma instituigao escolar. 1.8 Reagées e criticas iniciais Os anos 50, nos Estados Unidos, além da figura de Tyler, sofreram a influéncia dos trabalhos de E. F. Lindquist. As estatisticas desenvolvidas gragas aos seus esforgos estabeleceram princfpios para 0 uso do experimental design no campo da educaggo ¢ foram usadas intensamente em relagdo quantificagdo de varidveis educacionais. Tyler, por sua vez, nessa mesma época, obteve 0 concurso de outros cducadores, como foi o caso de Bloom, na hicrarquizagiio dos 80objetivos instrucionais, As idéias de Tyler consolidaram-se nesse momento, os testes padronizados passaram a ter maior disseminagio, profissionais receberam solicitagdes para que expressassem suas opiniées e trabalhos experimentais foram realizados para a avaliagio de novos curriculos (Medaus, Airasian e Kellaghan, 1980; Madaus, Stufflcbeam ¢ Scriven, 1993). E légico, como expdem Madaus et al. (1993), que toda inovacdo gere resisténcias, ¢ criticas, as vezes bastante exacerbadas, so feitas ao planejamento experimental de Lindquist, 2 teoria da congruéncia de Tyler e & atuagio de Bloom na categorizagio das capacidades a serem medidas (objetivos), iniciando-se uma reagio a0 uso da Psicometria em avaliagdo, com fundamento em diferentes posigdcs cpistemolégicas relativas & pesquisa c, naturalmente, & avaliagdio, conforme esbogaremos em suas linhas gerais. A importéncia de Tyler aprofundou-se em toda a vida educacional norte-americana, ao projetar, nos anos 60, 0 National Assessment of Educational Progress - NAEP, avaliagdio poriédica da situagio do ensino nos Estados Unidos e que ainda subsiste, fornecendo importantes elementos para as correges necessfrias © a identificagao de pontos de cxceléncia ou pontos criticos a serem enfrentados’. Um desdobramento do NAEP, na década de 90, no plano internacional, foi o IAEP - International Assessment of Educational Progress, que teve, inclusive, a participagio parcial do Brasil, com amostras de escolas de So Paulo ¢ Fortaleza. O Kight-Year Study, delineado por R. W. Tyler, domina 2 cultura pedagégica norte-americana até os dias de hoje, apesar das reagdes surgidas © que determinaram o aparecimento de novos modelos. Uma geragio de avaliadores, entretanto, segue o pensamento de Tyler, ainda que em alguns casos com alteragées, podendo-se indicar, entre outros, os nomes bastante expressivos de B. S. Bloom; H. Taba; D. R. Krathwohl; B. B. Masia; N. M. Metfessel; W. B Michael; J. T. Hastings e G. F. Madaus. A influéncia de Tyler no Brasil ndo ficou restrita & rea de currfculo, com a tradugio de seu livro basico sobre o assunto, mas ocorreu de forma indireta gragas & * 0 Sistema de Avaliagiio do Ensino Basico (SAEB), no Brasil, a partir de sua ditima aplicago em 1995, procurou seguir, em alguns de seus aspectos, o modelo do NAEP. 81disseminago da obra de Bloom e seus associados sobre a avaliagtio do rendimento escolar ¢ as Taxonomias dos objetivos educacionais, divulgadas a partir do infcio dos anos 70 no Pafs. © modelo de Tyler, tendo em vista scu delineamento, baseado em objetivos comportamentais, e sua metodologia de anélise quantitativa, ficou, naturalmente, sujeito a critica no debate das posigdes epistemol6gicas dos vérios te6ricos da avaliagdo, sendo-the imputada uma orientagdo geral do individualismo metodolégico, porquanto a validagio dos currfeulos dar-se-ia por meio do contraste entre predicbes logicamente estabelecidas (objetivos) ¢ os resultados coletados (escores), na linha dos delincamentos experimentais, conforme as proposigdes de D. T. Campbell e J. C. Stanley, em Experimental and Quasi-Experimental Designs for Reasearch (Rand McNally & Company, Chicago, 1966). Ora, tudo isso entrava em confronto com a reagdio estabelecida inicialmente pelos tedricos sociais, na Europa, a partir de cientistas alemdes, com repercussées posteriores nos Estados Unidos, discusses que so analisadas em profundidade, alguns anos depois, por Habermas’ ¢, mais recentemente, por Guba’ [7]. A discuss&o remonta ao possfvel conflito entre os objetivos das citncias sociais ¢ os das ciéncias ffsicas, que, dessa forma, por via de conseqiiéncia, deveriam seguir, forgosamente, metodologias diversas, ‘A sbordagem nas ciéncias fisicas teria um carter nomotético, visaria ao estabelecimento de leis e generalizagbes estat(sticas, enquanto as cigncias do social cstariam interessadas na anlise intensiva dos individuos ou de casos particulares, adotando, portanto, metodologias ideogréficas, segundo a exposi¢io de Nortis (1993). Questionava-se, assim, a possibilidade de estudar da mesma forma fendmenos naturais ¢ sociais a partir de uma unidade metodolégica, determinando, em decorréncia, um reducionismo (identidade de contetido e de método). A idéia de que 0 que é valido em uma érea ¢ igualmente vélido em outta representava, assim, 0 pensamento ortodoxo do empirismo reducionista e durante muito tempo foi a temftica central das ‘ HABERMAS, J. Conhecimento e Interesse. Rio de Jenciro, Zaher Ealitora. 1982. 7 GUBA, E. G. (Ed.) The Paradigm Dialog. Newbury Park, Californis, Sage Publications, 1990. 82discussées sobre qual seria a orientagdo epistemolégica a ser seguida em avaliagio educacional. A idéia de que a linguagom om avaliagfio em pesquisa deveria ser operacional, sem ambigiidades; as diversas varidveis a serem observadas bem definidas e seus conceitos claramente delimitados, scndo o objetivo estabelecer conclusdes generalizaveis, eram idéias contestadas pelos que se propunham a criar um novo posicionamento cientifico de sentido humanistico, ou seja. sociolégico, nas ciéncias do homem, inclusive na érea da avaliago educacional, reagindo, dessa forma, as explicagdes nomotéticas, que visavam a explicar o fenémeno para predizer e, depois , generalizar. 1.9 Posigées de Cronbach, Scriven, Stake e Parlett/ Hamilton © trabalho de Cronbach — Course Improvement through Evaluation (1963) — apresenta uma posigao critica face ao modelo objetivo de Tyler, quando mostra que a avaliagao nao pode ficar presa a simples aspectos rotineiros e ritualisticos da mensuragio. A avaliagdo, na sua concepgfio, ¢ com inteira procedéncia, tinha por finalidade nfio apenas fazer um julgamento final, o que seria limité-la nos seus objetivos, mas oferecer meios que possibilitassem 0 aprimoramento dos curriculos, 0 que acreditamos est de acordo com 0 espfrito do trabalho de Tyler ao longo de seu desenvolvimento. Cronbach (1963), com a sua perspicdcia habitual, soube imediatamente compreender o carter multidimensional dos resultados a aprendizagem e, 2 esse respeito, demonstra claramente que essa situagéo nfio pode ser constatada em um tnico escore compésito, agregando diferentes elementos. Assim, uma avaliagio conseqtiente exige uma coleta diversificada de informacées para que seja vidvel uma descrigio dos curriculos ou programas educacionais ¢ possam set identificados os elementos que devem sofrer a intervengio dos especialistas, no processo de aprimoramento das _atividades educacionais, A critica bastante procedente de Cronbach incorporou- se ao trabalho de Tyler, como pode ser depreendido do seu trabalho igualmente fundamental publicado na antologia de Madaus et al. (1993), 83As posigdes de Scriven, em sua obra clissica — Methodology of Evaluation (1967) —, ddo continuidade e ampliam pontos levantados por Cronbach (1963) ¢ introduzem um novo elemento de grande significado:- a obrigaggo do avaliador determinar o valor (mérito) do que esta sendo objeto da avaliagiio — programas, projetos, materiais ou quaisquer outras inovagées educacionais. Scriven parte, conforme seré posteriormente analisado, da necessidade de diferengar papéis (roles) de objetivos (goals), sem 0 que niio se pode determinar a cficdcia das prdticas educacionais. A posigao de Scriven é, assim, de restricio as avaliagées bascadas exclusivamente om goals, por n&o possibilitarem procedimentos adequados para o julgamento do valor ou mérito dos odjetivos. Stake, nessa ¢poca (1967), em obra capital — The countenance of educational evaluation —, apresenta criticas as préticas convencionais da avaliagio. A sua preocupagio imediata concentra-se na discussio dos diferentes tipos de evidéncias que os avaliadores deveriam levantar no decorrer do scu trabalho, A avaliagiio tal como estava sendo feita, segundo 0 modelo de Tyler, e na opinizio de Stake, gerava a suspeicéo dos educadores e administradores, insatisfeitos com a linha seguida e tendo em vista as implicagées politicas das avaliagées realizadas no contexto norte-americano, daf a sua proposta de um novo modelo, que possibilitasse um levantamento basiante exaustivo de aspectos complexos e particulares de um determinado programa, A avaliagdo, dese modo, ainda segundo Stake (1967), nao deveria ter um cardter meramente episédico, mas permitir uma compreensao de todo o processo relacionado a um programa, por intermédio de um amplo levantamento de informagécs para uma tomada de decisGes em bases realistas, A reagio mais veemente, se 6 que podemos usar 0 termo, contra a avaliagiio por objetivos, segundo o modelo estabelecido por Ralph W. Tyler, partiu de Parlett e Hamilton (1972), na Inglaterra, repercutindo, depois, em outras 4reas, inclusive nos Estados Unidos, com uma repercussdo bastante tardia no Brasil, assim mesmo em cfreulos limitados, A reagio procurou refletir a insatisfagio de muitos educadores aos modelos tradicionais de avaliag&o, por um lado, e, por outro, rejeitava, cm muitos aspectos, a influéncia da tradigao 84psicolégica que dominava a pesquisa educacional. Os criticos da situagZo entio dominante pretendiam que a pesquise educacional e, naturalmente, sem sombra de diivida, a propria avaliagéo educacional livesscm uma abordagem sociolégica, ¢ que ambas — pesquisa ¢ avaliagiio — se envolvessem na consideragéio de valores humanos e adotassem paradigmas que fossem para seres humanos. Parlett ¢ Hamilton, em Evaluation as illumination: a new approach to the study of innovatory programs (1972), reagiram & psicometria e ao experimentalismo, propondo uma avaliagio na tradigao humanista, que fosse responsiva as necessidades de diferentes grupos, iluminativa do complexo orgenizacional, do ensino e do processo de aprendizagem, relevante em relagio as diferentes decisGes a serem tomadas, e que fosse divulgada por intermédio de uma Tinguagem acess{vel aos diferentes grupos interessados no assunto. A reagio de Parlett ¢ Hamilton opunha-sc, assim, ao quantitativo do modelo por objetivos e procurava apresentar uma visio mais pragmdtica do planejamento e da concretizacio da avaliagdo, pretendendo, dessc modo, por via de uma avaliago responsiva, atenuar os problemas que decorriam daquilo que acreditavam como resultante de um dogmatismo metodol6gico, como destaca Norris (1993). Pretendiam a valorizaciio do verbal ¢ ndo do quantitativ, que decorria de uma tradigo métrica que se impunha desde os primeiros anos do século XX, na Inglaterra e nos Estados Unidos. As idéias de Parlett e Hamilton foram duramente criticadas por muitos, ¢ ainda o so, apesar de possufrem um néimero relativamente expressivo de seguidores, tendo em vista que, na realidade, elas no oferecem condig6es para um controle acurado do grau de subjetividade dos pesquisadores/avaliadores c, por acréscimo, complicando ainda mais o problema e nao evitam as digressdes personalissimas dos avaliadores c/ou pesquisadores. A chamada avaliag&io iluminativa que estava scndo proposta, na visio de seus crfticos, constitufa, na realidade, um simples método e nfo tinha um embasamento suficientemente fundamentado, sendo, na realidade, simples reagiio a tradig&io psicométrica om avaliagao. 8s1.10 Possiveis limitagGes modelo de avaliagao por objetivos, mesmo na apreciagio de us opositores, é racional, © suas criticas se concentraram nao exatamente na tecnologia da avaliag%o, mas no posicionamento de Tyler e seus seguidores em relagéio A natureza do conhecimento e nes formas de sua aquisigao. A importéncia da avaliago e sua utilidade nijo siio discutidas, 0 confronto estaria na limitagéo do modelo para a reformulagiio das experiéncias curriculares e, especialmente, quanto aos objetivos, que seriam colocados em termos basiante pedestres, ou seja, de uma forma por demais trivial, Alguns teéricos opositores, por outro lado, como é 0 caso de Eisner (1993), — ver observagGes em Notas ¢ Comentirios [5] —, preocupados com problemas ligados & arte € ao seu processo de criag&o, envolvendo a complexa questiio da criatividade, colocaram em dtivida a possibilidade de aplicar a avaliag&io por objetivos a todo e qualquer tipo de conhecimento, via a especificagao dos resultados esperados, tendo em vista a imprevisibilidade da criagao artistica. 111 NOTAS EK COMENTARIOS [1] O pensamento de Tyler, suas experiéneias ¢ os caminhos que o Jevaram 2 avaliag2o esto apresentados em substancial artigo (Madaus et al., 1993), no qual explica o surgimento de uma de suas obras mais interessantes — Constructing Achlevement Tests (1934) “? — fruto de um trabalho desenvolvido a partir de 1929, na Ohio State University, em pesquisas sobre censino © avaliago nos cursos de graduagdo, na area do Biclogia. A mi qualidade dos testes utilizados, que exigiam sobretudo 0 reconhecimento de fatos ¢ conhecimentos simples, além da incapacidade de claborar objetivos comportamentais (contetido ¢ habilidade), entre outros aspectos criticos, coniribuiram para que redigisse o trabalho indicado, que, apesar de editado na década de 30, ainda oferece uma orientagtio bastante sensata na coastrugio de instruments de medida, A partir de 1934, Tyler passou a vivenciar um novo problema, ao ser nomeado diretor do Right: Year Sindy e sua atuzgio foi na érea curricular das escolas de 2° Grau (high-school), que, em termos de coniedido ¢ de atividades, ainda refletiam o pensamento dos anos 20. Havia uma grande pressio para mudanga, © mundo se tinha modificado apés u depressio de 29 e a escola 86seu curriculo continuavam os mesmos. Gragas a agdo pioneira da Progressive Education Association, um pequeno mimero de escolas e sistemas (30) foi autorizado a desenvolver programas educacionais que atendessem aos interesses dos alunos e ao seu desejo de continuar seus estudos. Um programa que levasse em consideragdo os interesses, as necessidadcs, as atividades ¢ as caracterfsticas de aprendizagem dos jovens. Iniciado em setembro de 1933, 0 projeto piloto teria a duragio de oito anos (Right-Year Study). Especialistas ‘em currfculo e em avaliagZo comegaram a trabalhar juntos. A fim de fazer face a complexidede dos problemas, ¢ estimulado por Hulda Taba, Tyler escreveu ‘um syllabus entitulado Basic Principles of Curriculum and Instruction” , ‘que seria discutido em varios semindrios, e mais tarde publicado sob 2 forma de livro, influenciando o pensamento pedagégico de educadores nos Estados Unidos © em outros pafses, inclusive no Brasil. Curriculo deixa de ser um conjunto de t6picos para ser experiéncias de aprendizagem associadas a objetivos, e organizadas de forma 2 maximizarem seu efeito cumulative. Ao formular suas idéias sobre curriculo, Tyler, como ele proprio reconhece (In: Madaus, et al., 1993), sofreu a influéncia das concepgdes educacionais de John Dewey (1859-1952) © de Alfred North Whitehead (1861-1947), sobretudo no relative aos objetivos du educagao e as tearias do ensino ¢ da aprendizagem. Os trabalhos de Tyler tiveram grande repercussio. A partir de 1938, a Universidade de Chicago, por exemplo, seguia sua orentagiio na elaboragiio de exames compreensivos, e na década de 40 passaram 2 constitair (© fundamemto tedrico de mumcrosos testes. As suas idéias sobre curriculo serviram para a elaboragio e/ou revisio de numerosos curriculos profissionais (medicina, enfermagem, assisténcia social, engenharia ¢ agricultura). Entretanto, modestamente, confessa ndo poder precisar a influéncia de suas dias nos currfoulos das escolus primirias © secundirias (Tyler, In: Madaus et al., 1993), (1) Ralph W. Tyler Constructing Achievement Tests. Bureau of Educational Research, Columbus, Olo: State University Bureau of Educational Research, 1934. (2) Ralph W. Tyler Basic Principles of Curriculum and Instruction. Chicago: University of Chicago Press, 1949. [21 Ao discatir programas destinados i melhoria dos sistemas sociais, Airasian (1993) mostra que nem sempre os mesmos produzem as melhorias pretendidas, sendo diffcil estabelecer se um programa vai ter, efetivamente, algum impacto, inclusive tendo em vista a precariedade das metodologias para determinar 0 impacto. Apesar do otimisino que envolveu certos programas no contexto norie-americano, que abordaram aspectos sociais e econdmicos, incluindo entre aqueles o educacional, a repercussio do seu impacto nem sempre correspondeu as expectativas com que os programas foram criados. ‘Apesar dos esforgos empreendidos, a solugtio para a medida do impacto talvez esteja no desenvolvimento de uma metodologia que use métodos quase- 87experimentais, possibilitando conciliar a realidade do mundo &s exig€ncias da pesquisa avaliativa, como assinala Airasian (In: Madaus ct al., 1993). © texto cita alguns modelos neotylerianos, que, entretanto, no tiveram maior repercussiio, pelo menos no Brasil. Ficaremos limitados 20 que tem muiores possibilidades de divulgagao entre nés, o de Provus (1973), que apresentou 0 modelo de Discrepancy Evaluation, mais tarde desenvolvido por varios teécicos e praticantes da avelingo, inclusive Steinmetz. (In: Madaus ct al., 1993), 0 qual ressalta 0 fato de que a avaliagdo abrange diferentes atividades € prop6sitos, ¢ que a sua pritica gera formas mais ou menos intensas de preocupagdo, Isso porgue @ avaliagto est4 associada # valor, mérito e julgamentos, 0 que determina reagées emacionsis, pois tudo isso tem significados sociais © profissionais, podendo representar perda de status alteragdes em projetos de vida ¢ de carreiras, entre outras conseqiiéncias. A abordagem da Discrepancy Evaluation propée-se a reagir de forma construtiva as expectativas criadas pelo ato de avaliar, apresentando, com esse objetivo, algumas idSias © procedimentos que procuraremos resumir. A idéia bésica dessa abordagem centra-se no fato de que, ao avaliarmos, fazemos comparagées, que somente sic possiveis se padréies forem fixados, entendendo-se por padiao a descrigdo de como alguma coisa — objeto, pessoa, programas etc. — deva ser. Fixadlos os padres, 6 necessério obter medidas do desempenho (performance); portanto, nessa abordagem, avaliar 6 ‘comparar desempenhos a padres estabelecidos, e essas comparagées nos v0 fornecer possiveis discrepfincias entre ambos — desempenhos © padrdes. Avaliagdo seria, assim, 0 julgamento do valor de algo, estabelecido a partir da discrepancia entre os padres ¢ a performance. O avaliador na Discrepancy Evaluation nao fixa os padrées, nem julga a comparagio entre © padriio ¢ o desempenho, ainda que seja o responsével pela coleta dos dados da performance. 0 avaliador etua como auxiliar éo cliente interessado na avaliagiio, que € solicitado pelo avaliador para apresentar perguntas em relagio ao que ¢ avaliado. A partir dessas perguntas, sio estabelecidos os padrdes, identificadas as fontes de informagio, selecionados ou construfdos os instrumentos, so necessfrios, © coletados, entiio, os dados pelo avatiador. Outros aspectos a serem definidos em colaboragiio — clientes # avaliador referem-se as informagdes coletadas sobre os desempenhos e a fonte que vai proporcionar esses elementos. Precisamos lembrar que, 20 fixer os pixdidcs, o cliente deve considerar © corhecimento que tem sobre 0 objeto a ser avaliado, assim como suas préprias experiéncias, valores ¢ objetivos . A fixagio de padrées 6 uma atividade orientada por objetivos. Um procedimento habitual no estabelecimento de padroes ¢ a realizagio de uma andlise de componentes, no caso de programas educacionais, que sto divididos © as vezes aié mesmo subdivididos em varios de seus aspectos, com vistas & determinagio de diversos nfveis de detalhe.A partir desse ponto, cada componente e subcomponente sofre urna andlise para determinar 0 que 6 input, processo e produto. Os objetives sio os prodatos (outputs); o que serd feito, o processo; ¢ tudo que é necessério para © process (fecursos financeiros, pessoal, material, pré-requisitos etc.) constitui o input,. A discrepancy evaluation inclufda entre as abordagens de avaliagio orientadas por objetivos. seria, digamos, um modelo quase~ tyleriano, ¢ teria um cariter sistémico, visando a dar destaque & auto-avaliagiio de programas educacionais. O modelo tem suas potencialidades a expiorar, fazendo-se necessério 0 conhecimento de sua teoria e prética (Provus, 1973), ‘ou um contato com obras de sintese ¢ aplicagdo (Provus, In: Taylor e Cowley, 1972; Provus, 1969). [4] 0 fato de existir um atimero elevado de modelos de avaliagio, como pode ser positivado na obra de Madais et al. (1993), nfio significa que sejam os mesmos, necessariamente, apliciveis a0 contexto educacional. Podem despertar_um certo entusiasimo inicial, mas, depois, 2 realidade revela dificuldades miiltiplas que traduzem a sua inaplicabilidade ao contexto das cincias humanas. A experiéncia vivida por Popham e Carlson (In: Madaus (Ed.}, 1993) para participarem da avaliagio do Hawaii 3-on-2 Program, dirigido por uma empresa de grande reputagio, Northwest Regional Education Laboratory (NWREL), segundo a metodologia do Adversary Model, que segue, nas sas linhas gerais, procedimentos semelhantes a0 que ccorrem nos tribunais norte-americanos (equipe de defesa, equipe de acusagio e corpo de jurados - drbitras), mostrou-se a mesma ineficiente, sujeita a freqdentes distorgdes © custos mais clevados do que a de outros modelos, para decepedo de Popham e Carlson, conforme se referem no artigo de relato da mencionada cxperiéncia, quo conclui com a afirmagiio: The Adversary Evaluation Model brings with it not only a few real (and many imaginary) dividends; it brings also far too many deficits (p. 212). A escolha de um modelo deve ser criteriosa, sujeita a uma andlise isenta ¢ critica, sem impulsos emocionais. [5] __ As formas usadas para avaliar, como deixou claro Hisner (In: Madaus (Ed.), 1993), influenciam o sistema escolar, sua filosofia ¢ a sua prdtica, A perspectiva histérica, pelo menos no contexto norte-americano, « partir do Infcio do século XX, mostra que a educagdo passou a acreditar que um dia a avaliagio teria suas “leis”, que regeriam os fendmenos educacionais ¢ fariam pela educagdo aquilo que as idéias de Einstein ¢ outros fizeram pela fisica. Eisner (1993), ao analisar o contexto norte-americano, mostra-se critic écido da avaliago educacional nos moldes praticados, destacando que o problema atual estaria ligado as suas origens, com os trabalhos de E. L. Thomdike, que geraram a crenga na possibilidade de uma cigncia da educagio com suas leis da aprendizagem, que substituiriam a intuiggo © a habiiidade artistica (artistry) por conhecimentos ¢ métodos. 89,90 grande objetivo da pesquisa educacional estaria em identificar os melhores métodos cc ensinar as virias reas curriculares. Segundo a visto de Eisner (1993) tudo isso coincide com 0 movimento favordvel & eficiéncia da educagio e 2 introdugio de procedimentos gerenciais cientfficos nas escolas, visando & effciencia (sucesso) e 0 efetivo na educagio (produgéo de bons resultados nas escolas). Fisner antecipa, assim, a questo da qualidade em educagio, objeto de debate nos dias fluentes, e, uo mesmo te:npo, preocupa-s= com a educagZo como atividade nomotética (estabelecimento de leis) © atividade ideogréfica (estude descritivo da individualidade), rejeitando o nomismo positivista ¢ a idéia de que as ciéncias naturais exatas seriam o ideal Para a compreensio da realidade. Bisney, figado &s artes ao problema da criatividade, ainda que reconhega que as ci8ncias e tecnologias trouxeram alguma contribui¢fo para a educagio, no seu provocative ensaio (In: Madaus et al., 1993), aponta que as mesiaas tiveram influéncias negativas, atribmindo as ciéncias ¢ As tecnologias quatro conseqiéncias deletérias, na sua visio: 15) como a pesquisa se baseia em pressupostos cientfficos e visa a identificar lois ou generalizagées semelhantes a leis (Iaw-like), sua tend2ncia seria a de tratar qualidades de situagdes particulares. como instrumentalidades, como conseqiiéncia haveria uma supersimolificago do particular através de um processo de redugdo que traduziria a complexidade de uma caracterizagio por um nico conjunto de escores, transformando qualidade em quantidade: um mimero, que é incapaz de expressar 0 simbolisma da criagio artistica, na visto de Eisner, 28) a orientagiio tecnolégica tende a enfocar o desempenho numa situaciio futura ¢, no processo, a enfraquecer o significado do presente. Dal, certamente, a preccupagio com a formulagio de objetivos comportamentais, a serem alcangados ao término (no futuro); 0 presente 6 sacrificado, valorizando-se © futuro e contribuindo, assim, para que alunos ¢ professores sejam atormentados por recompensas exirfnsccas, premics, altos escores e, 10 ‘caso dos professores, compensagiio financeira em fungiio do alto nimeto de sucessos (objetivos coneretizados). Eisner diz que se 0 futuro se torna muito importante (all-important), deve ser alcangado a qualquer custo, e o presente é sacrificado no altar do amanhit; 3°) a abordagem cientifica € teenol6gica da educagio, segundo Hisner (In: ‘Magaus (Ed.), 1993), leva & tentativa de objetivar 0 conhesimento; ou seja, 2 qualidade deve ser empiricamente manifesta, e posstvel de quantificagio, com vistas A garantia da fidedignidade © & seguranga da precisiio. A educagiio esiaria, portant, influenciada pela behaviorismo radical. Assim, no dizer de Bisner, citando um de sets alunos, para saber 0 que alguma pessoa sente, saber 0 que significa comportamento, deve ir além do comportamento; 4°) quando se procura estabelecer eis que governem o controle do comportamento humano, diz Bisner, ainda no mesmo ensaio (In: Madaus(Ed.), 1993), no causa surpresa o fato de que também se procure a efetivasiio de um conjunto de objetivos de forma quantitativa, que, no pensar de Eisner, leva, inevitavelmente, 20 uso de testes (padronizados). O teste padronizado 6 0 padriio, acertua Bisner, € 0 mesmo para todos, os objetivos siio padronizados, assim como siio padronizados os julgementos. Os testes, escreve Eisner, de facto, tornam-se objetivos. Fisner afirma que, diante dessa situagdo, os insirumentos nfo permitem avaliar a personalizagio do ensino © da aprendizagem. Eisner 6 critico das atuais formas de avaliagio, orientada por objetivos, ‘que influenciariam, negativamemte, 0 caréter do ensino, 0 conteddo dos curriculos, e os objetivos que as escolas procurariam atingir; por outro lado, acha que os procedimentos atvais de avaliagio, ainda que cientificos na sua epistemologia e tecnolégicos na sua aplicagao, além de terem conseqléacias limitadas, no so aplicam aos objetivos que as ARTES podem concretizar. A preocupardo de Hisner &, especificamente, com os problemas relacionados & arte @ A criaglo ertistica, devemos ressaltar, daf sua posigZo aanticomportamental na linha tyleriana, A posigio de Eisner ¢ coerente com as suas idéias, pois diz claramente que ensinar exige artistry (ensinar para ele & ‘uma arte) € que a educaydo é um processo que difere de um contexto para ‘outro. Eisner, na sua erftica A avaliaglo, baseia-se em dois conceitos: competéncia educacional (educational connoiseurship) ¢ criticismo educacional. O ensino para Eisner tem um cardter ideogrifico ¢ que a vida na sala de cula nio pode scr explicada ¢ nem controlada por Icis comportamentais. O professor/avaliador deve ser um connoisseur capaz. de distinguir qualidades, ciscriminar diferenges, comparar e contrastar, perceber © significado do que foi vivenciado. A partir dessa percepedo, avaliar. Quanto 0 criticismo, Hisner parte da tese de John Dewey de arte como uma experiéncia, em que o criticismo tem como fim a reeducago da percepgtio, © a fungiio do erftico 6 auxiliar a ver a obra de arte —na literatura, na miisica, nas artes visuais, no drama ¢ no filme, Educational erfticism pura Eisner serin uma nova forma de observar 0 fenémeno que constitui a vida educucional na sala de aula, apresentando seus aspectos descritivo © interpretativo, a fim de compreender o significado, o valor ¢ as alternativas das formas de ago em um contexto social. Ao final Eisner (In: Madaus (Ed.), 1993) diz algo que merece reflexio, ¢ reproduzimos suas prOprias palavras: “The time is ripe for broadening the base from which inquiry in education can go forward. It is time for a more we need, in my opinion, to widen our 91{61 92. Hi um grands némero de modelos de avaliagio © a melhor forma de compari-los é examinando sens pressupostos te6ricas, para conhecimento ce sua Iégica ¢ suas possibilidades, Hé virias taxonomias de modelos, como, por exemplo, as de Worthen e Sanders (1973), Popham (1975) e Stake (1967); entrotanto, para fins da presente nota, limitar-nos-emos & de House (1978; 1993), e ficaremos adstritos apenas aos modelos de Tyler, Scriven, Stufflebeam e Stake, objeto de anélise discussfio no presente trabalho, (Os modelos variam nia medida em que os pressupostos em que se baseiam séo divergentes e muitos modelos so variagGes modificedas de outros modelos. Veremos quatro modelos, entre os definidos por House (In: Madaus etal. (Ed.), 1993). 1, Objetivos comportamentais — os objetivos sfo expressos em termos de desempenhos especificos do estudante ¢ sio medidos por testes roferenciados a normas ou a critério. A abordagem foi proposta inicialmente por Tyler. O -objetivo do modelo € a produtividade; accountability, 2, Tomada de deciso — a avaliagio ¢ estruturada levando em consideragio a decisio a ser tomada, A motodologia tends a usar questionérios entrevistas (survey). A grande figura na drea é Stufflebeam, com © modelo CIPP. Efici8ncia ¢ controle da qualidade sito seus objetivos. 3. Tdependente de Objetive (Goal-Free) — A idéia bisica de Scriven foi a de minimizar os efeitos de vieses em avaliagio. O avaliador nic se orienta ‘a partir dos objetivos do elaborador do programa; cabe-lhe, a0 contrério, através da avaliagii, determinar esses objetivos. A utilidade social & 0 objetivo do modelo. 4, Interagiio (Transation) — A abordagem parte dos préprios processos educacionais: — a sala de aula, a escola, 0 programa, na percepgéo de Stake. Utiliza-se de métodos informais de avaliagic e uso do estudos de caso como principal figura nessa area. Podemos dizer que © modelo visa & compreensiio ¢ a identificagio da diversidade. House (In: Madaus, et al. (Fa), 1993) chama a atengo para 0 fato de que 0s atuais modelos de avaliago derivam de filosofia do liberalismo ¢ que o liberalismo 6 muitas vezes radicalmente empiricista, e que os modelos de avaliagZo tém um flavor empiricista. House analisa a epistemologia liberal objetivists © mostra que os modelos tm uma orientagio gerencial (management) © suas maiores preocupap0es concentram-se na accountability, na efici8ncia e no controle de qualidade. A andlise de House parte da obra dos empiricistas ingleses (Locke (1632-1704), Berkeley (1685- 1753) e Hume (1711-1776), detendo-se, depois, nas idéias de J. Staart Mill (1806-73) © na sua obra A System of Logic (1893). Apoiando-se om diferentes estudos, House mostra que Francis Galton (1822-1911), contemporines de Stuart Mill, emprestou sua geniulidade & divulgagiio daobra do grande Idgico, ¢ criou as bases ca Psicometria com seus estudos sobre as diferengas individuais, estudos que, por sua vez, tiveram grande influéncia sobre Cattell, que vai iniroduzir os testes mentais nos Estados Unidos, © contribuem para o despontar da figura de E. L. Thomdike, principiando, assim, uma longa histéria, em meados do século XVIT e que chega axé nés, no século XX, atravessanco grandes controvérsias ¢ reagSes, as quais deram margem ao surgimento de uma epistemologia subjetivisia e uma metodologia naturalista, preocupada cm comunicar-se com puiblicos que nao sao tenicos (professores e 0 piiblico em geral), usando uma linguagem commm, baseando- se numa légica informal, e apoiando-se em entrevistus © observagdes para a coleta de informagies. A histéria dos modelos ajuda a compreender a prépria evolugio da avaliagio, A distfncia entre uma questo tipica de um modelo baseado em andlise de sistema, cujo pisblico & predominantemente preocupado ‘com aspectos econémicos —- Quais os programas mais eficientes? © a indagagéo proposta por um avaliador envolvido com conhecimento de individualidades — Qual a percopeio de diferentes pessoas sobre 0 programa? mostra que né um longo caminho a percorrer, ¢ somente a reflexio critica ajudars a compreender. O ensaio de House é, sem diivida, excelente subsidio. Um modelo de avaliagto, apesar de bem estruturado, precisa ser modificado, para atendimento de especificidades de certas situagies. A experitncia de Madaus (In; Madaus (Ed.), 1993), na avaliago do programa de Testes de Competéncia Minima, nesse sentido, é bem elucidativa. O modelo original foi o Adversary Model, gue scguc procedimentos da pritica jurfdica norte-americana. A principal modificagdo sugerida foi a eliminagdo do juri ou painel, que teria por incumbéncia tomar decisdes ou fazer recomendagSes sobre 0 objeto avaliado, ficando eliminado o veredito a favor ou contra os grupos envolvidos na avaliagiio, no haveria “perdedores” nem “ganhaciores”. Os grupos passariam a esclarecer os aspectos ligados a cficigncia ou ineficitncin do programa. Quiros aspectos ligados & realizagao de “tapes”, constituigio de grupos de debates, depoimentos ¢ seu tempo de duragio, aspectos gerenciais do processo de avaliago, forma de apresentagao do produto final, entre outros, deveriam sofrer modificagSes para que 0 modelo adotado fosse efetivamente eficiente na tomada de decisdo sobre o programa ‘em questo. Um modelo, por mais cuidadoso que seja a sua estruturagéo, nem sempre é uplicavel a qualquer situagio avaliativa 3