Transformar a avaliação através do Pisa: o Projeto Gappisa

Esperanza Mejías Macías

Carles Monereo Font

Dados Internacionais de Catalogação na Publicação (CIP)

Catalogação na Fonte

077

Ortigão, Maria Isabel Ramalho

Políticas de Avaliação, currículo e qualidade: diálogos sobre o Pisa – Volume 3 / Maria Isabel
Ramalho Ortigão (org.) Alice Casimirto Lopes, Elizabeth Macedo (coord.) et al. – Curitiba: CRV, 2018.
268p. (Série Temas em Currículo, Docência e Avaliação)

Bibliografia
ISBN 978-85-444-2369.1
DOI 10.24824/978854442369.1

1. Educação 2. Currículo 3. Políticas de avaliação 4. Pisa I. Lopes, Alice Casimiro II. Macedo,
Elizabeth. Coord. Et al. III Título IV. Série.

CDU 37 CDD 377

Como citar o capítulo:

MACÍAS, E. M; FONT, C. M. ORTIGÃO, M. I. R. (Org.). Transformar a avaliação
através do Pisa: o Projeto Gappisa. In: Políticas de avaliação, currículo e qualidade:
diálogos sobre o Pisa. v. 3. Curitiba: CRV, 2018. p. 69-90. (Série: Temas em Currículo,
Docência e Avaliação).
 Transformar a avaliação através do Pisa: o Projeto Gappisa1

Esperanza Mejías Macías2

Carles Monereo Font3

Introdução
Neste capítulo partimos do consenso educacional atual sobre a necessidade de
ensinar e avaliar competências, requisito imprescindível para a construção de uma
cidadania reflexiva e crítica. Mudanças têm sido propostas em especial porque
profissionais da educação estão convencidos da necessidade de levar a educação em
direção a um novo paradigma psicoeducacional, centrado na ideia de que todos os
estudantes, ao finalizar a etapa de escolarização obrigatória, tenham desenvolvido as oito
competências básicas propostas pela OCDE. Uma das transformações fundamentais
dentro desse processo faz referência necessariamente à avaliação.

Todos sabemos que a avaliação tem influência inegável sobre os processos de

ensino e aprendizagem. O fato de determinar o que queremos avaliar e com qual propósito
o fazemos condiciona desde a programação de atividades até as estratégias de
aprendizagem dos alunos. As concepções sobre avaliação podem classificar-se segundo
um cunho pedagógico ou outro mais social (REMESAL, 2011); quando dizemos
pedagógico, referimo-nos a avaliar para aprender – tanto docentes como estudantes –
quando dizemos social, referimo-nos a dar conta das realizações alcançadas. Ambas as
concepções trazidas por Remesal (2011) são necessárias para dar conta da qualidade
educacional. Acreditamos que avaliar para reconhecer evidências e interpretá-las para
melhorar o ensino e para que os alunos possam melhorar sua aprendizagem é tão
importante quanto o reconhecimento de evidências para certificar quais foram as
aprendizagens e justificar, em nível institucional, a qualidade das práticas realizadas.

Normalmente as práticas docentes dirigem-se, ou deveriam ser dirigidas, numa

vertente mais pedagógica; parece-nos que as formações que os docentes demandam
atualmente voltam-se à noção de “avaliar para aprender” (SANMARTÍ, 2010).

1
Tradução Anna Carolina Pimentel F. de Souza. Revisão Carlos Augusto Aguilar Junior e Maria Isabel
Ramalho Ortigão.
2
Professora associada da Universidade Autónoma de Barcelona
3
Professor da Universidade Autónoma de Barcelona.
Entretanto, os centros educacionais não ignoram, nem deveriam ignorar, a função
certificadora e de prestação de contas da avaliação. Avaliações nessa perspectiva, em
geral, são externas à escola e objetivam dar conta da qualidade do ensino. Projetos
centrados em avaliar os resultados educacionais por meio de provas padronizadas e
focados em estabelecer comparações entre centros e sistemas educacionais afetam e
modificam as crenças docentes sobre avaliação. Às vezes, inclusive, podem exercer
pressão sobre as estratégias de avaliações implementadas no dia a dia em sala.

Esse é o caso do Programme for International Student Assessment (Pisa),

desenvolvido pela Organização para a Cooperação e Desenvolvimento Econômico
(OCDE), que apresenta repercussões educacionais importantes para muitos centros
educacionais. Embora o objetivo do Pisa não seja avaliar as aprendizagens de maneira
formativa, sua proposta de comparar sistemas educacionais provoca fortes debates na
comunidade educacional. Entendemos que seus pressupostos pedagógicos podem
motivar muitos docentes a transformar sua avaliação. De fato, como veremos neste
capítulo, muitas das características que são o núcleo da avaliação de competências estão
em consonância com as bases psicoeducacionais das provas do Pisa.

Destas considerações iniciais nasce a experiência que vamos compartilhar neste

capítulo: o projeto formativo sobre a avaliação, que chamamos de Projeto Gappisa. Essa
formação possui como atividade central a concepção e a validação de instrumentos de
avaliação por competências, formativos e inclusivos, mediante a modificação das provas
de avaliação que os docentes já utilizam. O instrumento principal chama-se Guia Gappisa
e nasce da análise das características das provas do Pisa.

Nas páginas seguintes apresentaremos o Projeto Gappisa e sua efetividade para

conseguir que os docentes formulem provas baseadas na avaliação por competências,
característica principal das provas do Pisa. Os objetivos específicos são: analisar como o
Guia Gappisa responde aos princípios gerais do Pisa para avaliar as competências dos
estudantes do Ensino Fundamental II e mostrar como o uso do Guia Gappisa aprimora a
produção do instrumento de avaliação “prova”, com base na avaliação por competências.

O Projeto Gappisa

Nesta seção, explicaremos em profundidade a proposta formativa que

denominamos Projeto Gappisa. Iremos nos aprofundar nos propósitos e na estrutura da
formação para, em seguida, realizar a análise dos pressupostos e instrumentos
pedagógicos e compará-los com as provas do Pisa. Essas bases nos permitirão apresentar,
na seção seguinte, alguns exemplos reais elaborados pelos docentes, com base nas
categorias comuns com os instrumentos de avaliação no estilo prova, a partir da
perspectiva do Pisa.

Origem e sentido do projeto

Quando dizemos Projeto Gappisa, fazemos referência a um programa de formação

continuada para docentes da educação obrigatória (infantil, primária e secundária). A
formação está centrada em oferecer uma base teórica e prática sobre avaliação autêntica
das aprendizagens, com o propósito final de que os docentes possam modificar seus
instrumentos de avaliação do tipo prova tradicional, baseados na avaliação de conteúdos,
e formular provas de avaliação autênticas, centradas em situações-problema reais e
complexas. A maneira de fazê-lo implica tanto atividades de reflexão teóricas quanto
atividades reais em que os docentes criam, melhoram e aplicam os próprios instrumentos
formulados. Essa estrutura é comum a todas as formações realizadas e reveste o projeto
de um caráter iminentemente prático e contextualizado na realidade docente de cada
escola ou centro educacional.

O surgimento dessa formação remonta ao curso de 2003, em que um instituto de

educação secundária obrigatória da região de El Garraf, na Catalunha, apresentou uma
demanda de assessoramento à equipe de pesquisa Sinte4, especializada em estratégias de
ensino e aprendizagem. A formação consistia em ajudar os professores a obter melhores
pontuações nas provas do Pisa. Para tal fim, além da programação de sessões de reflexão
teórica sobre avaliação, os investigadores formularam um instrumento específico que
servisse para a reflexão das questões que normalmente eram utilizadas em instrumentos
avaliativos no formato de provas do tipo Pisa.

O instrumento formulado resultou num guia para a análise de provas, construído

com base em um processo de extrapolação de características e critérios utilizados na
construção dos itens do Pisa. Com o Guia para a Análise das Provas a partir da Perspectiva
Pisa (Guia Gappisa), os professores podiam fazer perguntas específicas sobre se as provas

4
Para mais informações sobre a equipe de pesquisa Sinte da Universidade Autônoma de Barcelona,
consultar o link: https://www.sinte.me/.
cumpriam ou não os critérios necessários para avaliar competências de forma realista e a
partir disso introduzir mudanças nessa direção.

O processo formativo sobre avaliação a partir desse guia durou dois semestres
escolares, durante os quais participaram oito professores. Sobre essa primeira
experiência, realizaram-se várias investigações para dar conta dos resultados positivos da
formação e, especialmente, do Guia Gappisa como instrumento (DURAN; MONEREO,
2008; MONEREO; LEMUS, 2009; MONEREO, 2009). As melhoras significativas
encontradas nas mudanças das provas de avaliação impulsionaram a implementação da
formação com o uso do Guia Gappisa, estabelecendo-se como eixo central dela.
Atualmente, a formação mantém o propósito de oferecer recursos e habilidades aos
professores para que estes melhorem seus instrumentos avaliativos, realizando mudanças
a partir da realidade de cada escola e em direção às bases compartilhadas com as provas
Pisa. A seguir, passamos a descrever a estrutura do Projeto e os instrumentos principais
com maior profundidade.

Estrutura e instrumentos principais

O Projeto Gappisa implementa-se majoritariamente como formação

semipresencial na qual se combinam atividades formativas de reflexão conjunta,
normalmente de caráter presencial, e atividades formativas individuais com o
acompanhamento de um assessor especializado. O projeto possui uma plataforma virtual5
onde se expõem as atividades junto com os recursos e os materiais necessários para
realizá-las.

A estrutura da formação organiza-se em quatro fases (Figura 1): um primeiro

momento no qual os professores participam de jornadas ou sessões de formação teórico-
práticas sobre a avaliação autêntica; uma segunda fase na qual os participantes analisam
suas provas e reelaboram-nas utilizando o Guia Gappisa; uma terceira fase em que os
professores aplicam a prova formulada numa situação real; e a quarta e última fase, em
que analisam e refletem sobre os resultados dessa aplicação e da formação.

A duração do curso é anual, de forma que as diferentes atividades formativas se

distribuam ao longo dos três semestres escolares.

5
A plataforma de aprendizagem encontra-se em: http://sintedi.wixsite.com/proyectogappisa.
 Figura 1: Esquema das fases do projeto formativo Gappisa

Os instrumentos formativos principais são o Guia Gappisa e a Rubrica Gappisa.

O Guia Gappisa, no qual nos aprofundaremos nas seções seguintes, estrutura-se em dez
características que definem uma avaliação autêntica. Essas características estão
formuladas em formato de pergunta para incitar a reflexão do docente. O Guia Gappisa
serve como instrumento teórico na reflexão acerca das características de uma avaliação
autêntica e como instrumento prático que auxilia o docente a analisar e a refletir sobre
sua prova original. Dessa maneira, com base no guia, determinam-se as mudanças a serem
introduzidas na prova. Além disso, o guia vai associado a um documento explicativo de
cada uma das dez características com indicações sobre por que realizar a mudança, para
qual direção e como realizá-la6.

A Rubrica Gappisa é um instrumento desenhado para avaliar as provas elaboradas

pelos docentes e, ao mesmo tempo, determinar quais melhorias poderiam ser realizadas.
Esse instrumento foi utilizado na revisão de provas que os assessores especialistas
realizavam para fornecer uma retroalimentação aos participantes sobre seus produtos. Ele
parte das características que formam o guia; para cada uma delas, estabelecem-se quatro
níveis de melhoria, detalhando as mudanças que podem ser introduzidas. Assim, a rubrica
determina a pontuação de cada característica e do total da prova, segundo o nível de
conquista alcançada. A Rubrica Gappisa, assim como o Guia, têm função formativa, posto

6
Dispusemos também uma versão online desse documento, em formato de aplicativo de
autoaprendizagem: https://sintedinetwork.wixsite.com/gappisa
que os docentes, com a ajuda desse instrumento, podem detectar em que nível estão e
quais ações gerais podem realizar para alcançar o nível seguinte.

Por último, uma das características principais do projeto é a formação por meio
de multiplicadores, utilizada em situações nas quais a formação ocorreu em instituições
pertencentes a redes escolares. Nesse caso, não participava todo o corpo docente, mas sim
um número determinado de docentes (professores multiplicadores) de várias escolas, que
formavam parte de uma rede de escolas com modelo pedagógico comum. Nesse caso,
formávamos um responsável em cada centro, para o qual dávamos apoio com ferramentas
próprias de um assessor, para que coordenasse e acompanhasse os docentes de seu centro.
Entre suas funções estava transformar o grupo de participantes numa comissão
permanente sobre avaliação que se dedicasse a promover a participação de novos
professores.

Importância das bases psicoeducacionais das provas do Pisa

Comentamos anteriormente que a demanda inicial para a realização da formação

baseava-se na melhoria dos resultados das provas de avaliação do Pisa. Assim, o Guia
Gappisa foi construído a partir das bases psicopedagógicas nas quais se apoiam as provas
do Pisa. Para essa correlação de características, não partimos daquilo que se avalia em
cada competência nas provas do Pisa (conteúdo), mas sim da forma e dos recursos para
fazê-lo (a prova em si). Sabendo que não são dois aspectos independentes, já que
determinados conteúdos requerem formato específico; fixamo-nos naquelas
características que são comuns à avaliação de qualquer competência.

Num primeiro momento partimos da concepção sobre competência enunciada

pela Comissão Europeia em seu marco de referência (2007), descrita como “uma
combinação de conhecimentos, capacidades e atitudes adequadas ao contexto”. Nessa
definição aparentemente simples, infere-se uma atuação competente como o processo
durante o qual é necessário dar resposta a atividades de diferentes tipologias, aplicando
estratégias de forma personalizada e de acordo com a situação.

Partimos desse marco de referência e entendemos por competência o conjunto de

conhecimentos e estratégias que permitem a uma pessoa, na qualidade de cidadão,
enfrentar problemas relevantes em seu dia a dia e nos diferentes sistemas dos quais
participa de forma crítica e reflexiva. Essa concepção traz consigo a necessidade de
participar em atividades com características determinadas, sendo a autenticidade, a
complexidade cognitiva e a variedade de tarefas e recursos seus aspectos chave.

Com o propósito de compreender a aplicação dessas características em atividades

de avaliação, analisamos as provas do Pisa para cada uma das últimas competências
centrais avaliadas – Pisa 2009 com foco na competência Leitura, Pisa 2012 com foco na
competência Matemática e Pisa 2015, com foco na competência Ciências (Quadro 1).

Quadro 1: Características das provas Pisa, segundo ano e competência principal

Pisa 2012
Pisa 2009 Pisa 2015
Característica Competência
Competência Leitura Competência Ciências
Matemática
Inicia-se com texto ou
Inicia-se com uma Inicia-se com uma
problemática inicial,
Estímulo prévio situação-problema real situação-problema
com ou sem imagem,
ou um texto. real.
que contextualiza.
Situações dos âmbitos Situações dos âmbitos
Contextos pessoais,
Autenticidade e pessoal, público, pessoal, público,
locais, nacionais e
relevância educacional e educacional e
globais.
trabalhista. científico.
Processos de crescente Processos de crescente Três níveis de demanda
Complexidade
complexidade, cinco complexidade, quatro cognitiva de crescente
cognitiva
ações. ações. complexidade.
Texto e imagem (na
opção de suporte
Tipologia de itens Texto e imagem
Texto e imagem. computacional,
segundo a pergunta (algumas interativas).
algumas são
interativas).
Fechada e aberta, Fechada e aberta,
escrita (frase em escrita (frase em
Tipologia de itens Principalmente
parágrafos de quatro) parágrafos de quatro)
segundo resposta fechada.
ou desenhada (gráfico ou desenhada (gráfico
ou diagrama). ou diagrama).
Papel; suporte
Meios tecnológicos
Formato da prova Papel. computacional
(computadores).
opcional.

Como podemos observar no Quadro 1, as características principais que definem

as provas do Pisa são: estímulo no início de cada item, temáticas autênticas e
significativas com relação a vários contextos, crescente complexidade cognitiva,
diversidade na tipologia de itens referentes tanto em relação aos dados da pergunta quanto
às possibilidades de resposta e formato da prova (meios analógicos ou digitais).

Em relação às diversas competências, não se observam grandes diferenças e, se

existem, como no caso do formato da prova e tipologia de alguns itens, devem-se à
constante atualização pela qual passa o Programa. De fato, nesta análise não aparecem
outras competências (competências paralelas) que se incluem em cada edição e são
consideradas pelo Programa como áreas de inovação. São elas: leitura eletrônica,
resolução de problemas e resolução colaborativa de problemas. Esses novos domínios
introduzem duas novas características exclusivas: o uso estratégico das tecnologias de
informação e comunicação (TIC) como instrumento e não só como formato e a
aprendizagem colaborativa; ambos os aspectos são considerados pelo Programa como
chave para uma atuação por competências no século XXI.

O Guia Gappisa

Como descrevemos anteriormente, o instrumento da formação é chamado Guia

para a Análise de Provas a partir da perspectiva Pisa (Guia Gappisa). As primeiras
características desse guia (situação-problema contextualizado, atividades autênticas e
complexidade cognitiva) partem da descrição anterior das características das provas do
Pisa, nas quais se encontra seu correlato (estímulo inicial, autenticidade e relevância e
complexidade cognitiva, respectivamente). É importante, antes de aprofundar a descrição
do guia, estar atento a essa estreita relação.

Entretanto, o Guia Gappisa vai um pouco além dessa relação inicial da primeira
análise do Pisa. Primeiramente, cabe assinalar que o Guia sofreu algumas modificações
ao longo dos anos com o objetivo de atualizar suas bases. Essas mudanças surgiram da
revisão das novas características das provas do Pisa (por exemplo, o uso das TIC na
resolução de problemas) e dos próprios processos de mudança pelos quais passavam os
professores durante a formulação das provas (como construir problemas autênticos,
partindo primeiro de informação real e contextualizada).

Assim, sem se desprender de sua consonância com os pressupostos

psicoeducacionais das provas do Pisa, podemos inscrever as características do
instrumento Gappisa dentro da chamada avaliação autêntica. Quando falamos de
avaliação autêntica, partimos de uma definição em que se destaca principalmente a
necessidade de realismo e a relevância na resolução de situações complexas usando
ativamente o material teórico e a diversidade de estratégias dos aprendizes (DARLING-
HAMMOND; SNYDER, 2000; BROWN, 2015; GULIKERS; BASTIAENS;
KIRSCHNER, 2010); a importância da correspondência entre situações reais e atividades
de resolução do problema complexo (HERRINGTON; HERRINGTON, 2006); e a
necessidade de demonstrar o processo e de receber retroalimentação enquanto se realiza
a avaliação (ASHFORD-ROWEA; HERRINGTON; BROWN, 2014).
 Aprofundando-se nas práticas autênticas implementadas nesses estudos,
encontramos as três categorias básicas que claramente definem a avaliação autêntica e
que, por sua vez, coincidem com algumas das características das provas do Pisa. Primeiro,
observamos que um problema autêntico é sempre complexo e que, para enfrentá-lo, se
requer ir além do conhecimento e aplicá-lo em situações reais; portanto, falamos de
tarefas de avaliação de competências. Segundo, a autenticidade remete-nos também à
ideia de aprender fazendo, de melhorar pela descoberta de possibilidades de atuação e de
erros cometidos durante o processo, que são revistos e corrigidos. Assim, consideramos
que as atividades devem ser também práticas de avaliação formadoras. Terceiro, ambas
as características se relacionam com a ideia de que cada processo de resolução de
situações-problema reais é único porque a pessoa que o enfrenta usa seus próprios
recursos, estratégias, maneiras de pesquisar, de comunicar e de valorar seu sucesso. Dessa
forma, entendemos a necessidade de que haja, na avaliação, propostas inclusivas.
Concluímos, então, que a avaliação autêntica é definida por seu caráter de
competências, seu caráter inclusivo e seu caráter formador. Baseado nessas linhas
teóricas, atualmente o Guia Gappisa está composto por dez características que,
desenvolvidas em maior ou menor grau, determinam a autenticidade do instrumento de
avaliação no formato de prova, construído pelo professor. Essas características agrupam-
se em relação às categorias mencionadas da seguinte forma:
• Categoria competência: situação-problema inicial, atividades autênticas,
atividades de diferentes complexidades cognitivas e condições autênticas de
resolução da prova.
• Categoria poder formador: avaliação do processo, pontuações e critérios
compartilhados e comunicação dos resultados.
• Categoria inclusão: formato heterogêneo dos enunciados, formato heterogêneo
das respostas e atenção à diversidade.

É essencial destacar que, ainda que realizemos essa separação por categorias, a
linha é difusa, em primeiro lugar, porque há uma relação de interdependência entre todas
as características, de maneira que, ao se modificar uma delas, reverte-se positivamente o
restante, facilitando a mudança; em segundo plano, a quantidade de características a
transformar deve ir associada com a programação da aula (conteúdos, atividades de
ensino...) e com as possibilidades reais do centro (recursos, tempo disponível, cultura...),
de forma que na prova nem sempre seja necessário introduzir mudanças relacionadas a
todas as características.

Comparação entre Gappisa e Pisa

Destacamos anteriormente que as características principais são: competência,
poder formativo e inclusão. Essas categorias estão relacionadas tanto com as
características das provas do Pisa quanto com as que definem o Guia Gappisa,
especialmente quando analisamos seu caráter de avaliação de competências. Quando
nasce o Guia Gappisa, com base na extrapolação das bases psicoeducacionais das provas
do Pisa, evidentemente as noções gerais são equivalentes, embora análises mais
detalhadas evidenciem algumas diferenças, como pode ser verificado no Quadro 2.

Quadro 2: Comparação entre as características do Guia Gappisa e das provas do Pisa

Características das Características das
Categorias centrais
provas do Gappisa provas do Pisa
Situação problema inicial
Competência Estímulo prévio
contextualizada
Atividades autênticas Competência Autenticidade e relevância
Complexidade cognitiva Competência Complexidade Cognitiva
Formato heterogêneo dos Tipologia de itens segundo
Inclusão
enunciados a pergunta
Formato heterogêneo das Tipologia de itens segundo
Inclusão
respostas a resposta
Condições de resolução
Competência Formato da prova
autênticas
Avaliação do processo Poder formativo
Critérios de avaliação
Poder formativo
compartilhados
Comunicação formativa
Poder formativo
dos resultados
Atenção à diversidade Inclusão

A categoria competência, à qual nos referimos no Guia Gappisa, principalmente

com as características de autenticidade (realismo, relevância e socialização) e
complexidade cognitiva (mobilização crescente de recursos cognitivos), é a que apresenta
maior influência no desenho de provas do tipo Pisa. No Pisa, todos os problemas fazem
referência a contextos autênticos, abordam situações de caráter realista e significativo
para os estudantes e sua resolução se concretiza por meio de atividades com diferentes
níveis de dificuldade. Essas bases pedagógicas estão descritas nos relatórios finais de cada
edição analisada; são verificadas também na análise dos itens liberados.
A categoria inclusão, por sua vez, também encontra correlação entre o guia e as
provas do Pisa quando nos fixamos na diversidade dos itens, considerando os formatos
de pergunta e de resposta. Entretanto, de maneira geral, as provas do Pisa, ao serem
padronizadas, não estão formuladas para atender à diversidade de estudantes e suas
necessidades. Qualquer avaliação em sala que tenha como objetivo avaliar para melhorar
o ensino e a aprendizagem e não só para prestar contas ou qualificar/certificar, tem por
obrigação atender à diversidade. Esse é o caso do Guia Gappisa, cujo pilar destacado é
dar oportunidade a todos os estudantes para que possam expressar o que aprenderam,
partindo da premissa de que, se os contextos nos quais participam os futuros cidadãos são
diversos e estão cheios de recursos a seu alcance, assim devem ser também as atividades
que sejam preparadas para esses contextos.
Por último, a categoria que não encontra correlação direta com as provas do Pisa
é a que faz referência à avaliação formadora, que é a aprendizagem por meio da prova.
Essa categoria, tal e como se reflete no Guia Gappisa, inclui aspectos como conhecer os
critérios de correção para poder melhorar, guias para refletir sobre o processo e poder
modificá-lo, exposição de recursos para aprender ou, inclusive, a análise de informação
ou fontes de conhecimento. Essas características não são aplicáveis às provas do Pisa pelo
mesmo motivo que apontamos anteriormente: por ser uma prova padronizada que requer
uma estrutura suficientemente fechada de modo a possibilitar comparações entre os
resultados.
As diferenças entre o Guia Gappisa e as provas do Pisa justificam-se claramente
quando recordamos os objetivos de cada um: enquanto as provas formuladas com o Guia
Gappisa são pensadas para serem aplicadas a um grupo específico de estudantes da escola
do docente participante, as provas do Pisa devem poder ser aplicadas a uma amostra
significativa da população dos Ensinos Fundamental – séries finais – e Médio de um país
participante. Em síntese, o objetivo do Pisa é analisar o sistema educacional de cada país
e compará-los uns com outros, e não avaliar e acompanhar a melhoria da aprendizagem
dos estudantes.
Esse fato não exclui que ambas as propostas, por um lado, compartilham a
necessidade de ter como ponto de partida um modelo educacional centrado na promoção
de cidadãos competentes e, por outro lado, são utilizadas para certificar a aquisição das
competências básicas e determinar o nível de realizações e empregar esses resultados para
melhorar o ensino em níveis micro e macroeducacional, respectivamente.

Análise de provas formuladas a partir do Guia Gappisa

Nesta seção vamos expor alguns exemplos de qualidade elaborados em diferentes
edições do Projeto Gappisa. Ainda que, como comentamos anteriormente, haja inter-
relação entre as características de cada categoria e nem todas estejam sempre presentes,
mostraremos exemplos em que se cumprem especialmente as características de uma
categoria concreta. A análise, entretanto, deve ser feita observando a globalidade da prova
e sempre em comparação com a prova original para poder apreciar as mudanças que se
realizam.

Exemplo ilustrado da categoria de competência

Nesta prova de 2º ano da Educação Secundária7 da área de Matemática,
especificamente da unidade de Geometria, vemos uma transformação considerável. A
prova original é um exame em que se pedia para realizar dois exercícios e dois problemas
descontextualizados; além disso, não contava com estímulos prévios nem tinha conexão
entre as diferentes atividades (ver Figura 1).

7
A Educação Básica na Espanha é composta por doze anos, distribuídos em três níveis: três anos de
Educação Infantil, seis anos de Primário e três anos de Secundário, indo dos três anos de idade até os 14
anos. O Ensino Médio superior, também obrigatório, é o que chamam de bachillerato, é composto por
três anos e abarca a faixa etária dos 14 aos 17 anos. Ver em:
https://www.gob.mx/cms/uploads/attachment/file/198738/Modelo_Educativo_para_la_Educacio_n_Oblig
atoria.pdf. Pág. 205. Nota da tradução.
Figura 1: Versão traduzida da prova original de Matemática (2º ESO), antes da formação

Depois do uso do Guia Gappisa e as orientações recebidas durante a formação e a

retroalimentação dos assessores, o docente elaborou a prova apresentada na Figura 2. É
uma prova que se destaca principalmente por seu caráter de avaliar por competências,
uma vez que o instrumento permite aos estudantes a aplicação dos conhecimentos e das
estratégias adquiridos numa situação autêntica intitulada “A prefeitura necessita de nós”,
com a qual os estudantes podem se colocar em um contexto do mundo do trabalho.
Também se realizam exercícios, mas estes encontram sentido dentro da proposta inicial
contextualizada, considerando que se relacionam com essa proposta inicial de forma
explícita; cada tarefa é uma possível ação para dar resposta ao problema inicial.
Figura 2: Versão traduzida da prova de competência de Matemática (2º ESO), depois da formação

A prova começa por uma situação inicial bem descrita (a prefeitura te pede
assessoramento como arquiteto) à qual seguem atividades reais e relevantes (debate entre
diversas opiniões sobre como resolver, elaboração de um possível percurso...). Tais
tarefas vão crescendo de nível de complexidade, de modo que os estudantes comecem por
analisar os dados para interpretá-los e comunicá-los (elaborar um relatório). Além disso,
uma das tarefas é indicada para ser resolvida em grupo, tal qual se faria num contexto
profissional de trabalho em equipe.

Em semelhança às provas utilizadas no Pisa, muitas delas se iniciam com um

estímulo contextualizado (ainda que não tão descritivo) e continuam com atividades que
fazem referência ao mesmo contexto ou situação motivadora. Também como aspecto
inovador da última edição, contempla-se a resolução colaborativa de problemas.

Exemplo ilustrativo da categoria de poder formativo

Na prova apresentada a seguir podemos destacar sobretudo seu caráter formativo

por meio das pautas e dos indicadores que facilitam a resolução da prova sem dar a
resposta, ou seja, promovendo o acompanhamento o processo de solução com o uso de
instrumentos que ajudam a aprender o que analisar e como expor os resultados. É uma
prova de 3º ano da Educação Secundária da área de Língua e Literatura da unidade
didática que versa sobre a obra literária de Miguel de Cervantes O engenhoso fidalgo

Don Quixote de la Mancha. A prova original que o docente utilizava era pouco
competencial, só avaliava conteúdos e não oferecia nenhum recurso nem indicadores que
pudessem facilitar a reflexão e a aprendizagem sobre o processo (Figura 3).

Figura 3: Versão traduzida da prova original de língua e literatura (3º ESO), antes da
formação

Após a formação, a prova foi aprimorada pelo docente e passou a propor tarefas
que avaliam competências (pesquisar e redigir uma notícia) e de realização colaborativa
(Figura 4). Essa prova se destaca especialmente por oferecer recurso para conseguir
informações (endereços na web), técnicas para analisá-las (tabela para recolher dados e
pauta de conteúdo) e indicadores de qualidade (rubrica de processos de cada uma das
atividades).
 Figura 4: Versão traduzida de fragmentos da prova de competências de Língua e
Literatura (3º ESO), depois da formação

Cabe destacar a conexão entre as atividades avaliativas por competências

propostas nessa prova e os recursos para guiar seus processos de resolução. Este exemplo
ensina que, quanto mais competencial for a proposta, mais estratégias serão requeridas
dos estudantes para resolvê-la; portanto, os estudantes participam de diversas
oportunidades de aprendizagem. É importante, então, que também se pergunte aos
estudantes quanto ao uso que fizeram dos instrumentos propostos e avaliar se foram ou
não estrategistas no processo de resolução das questões.

Exemplo ilustrativo da categoria de inclusão

A prova a seguir é de avaliação é do 4º ano da Educação Secundária, da área de
História, da unidade didática que trata da Segunda Guerra Mundial. A versão original
proposta pelo docente (Figura 5) é uma prova do tipo memorística, em que se pede a
resolução de exercícios por meio dos comandos “definir”, “apresentar dados” e “refletir
sobre alguma questão”. Trata-se de uma prova que, definitivamente, não permite avaliar
competências e que, com sua estrutura rígida e formato único (textual e de exercícios
fechados), também não permite atender aos diferentes perfis de aprendizagem que haja
em aula.
 Figura 5: Versão traduzida da prova de competência de História (4º ESO), antes da
formação

Após o processo de formação, a prova elaborada pelo professor (Figura 6) propõe

diversidade no tipo de tarefas (elaborar um discurso, escrever um roteiro, dramatizar uma
obra de teatro), o que possibilita que os estudantes expressem o que sabem de diferentes
formas. Como as provas anteriores, contém também algumas atividades de caráter de
competência (situação contextualizada sobre um historiador que trabalha em museu,
tarefas como escrever uma obra de teatro) e alguns critérios de avaliação que orientam a
resolução da prova.
Figura 6: Versão traduzida da prova de competência de História (4º ESO), após a formação

Cabe destacar que as modificações para incluir aspectos que atendam à

diversidade devem ser precedidas de uma análise dos perfis de aprendizagem dos
estudantes, considerando características como: concepções que têm sobre aprendizagem
e avaliação, estratégias que utilizam para aprender e de que forma eles gostam de fazê-lo
e as emoções que são geradas e atribuídas a suas conquistas e fracassos. Uma análise
dessa natureza pode impulsionar mudanças significativas nas práticas de professores em
relação à elaboração da prova. Por exemplo, os docentes poderiam redigir as perguntas,
ou as propostas, em forma de áudio ou vídeo para os estudantes que têm preferência de
input mais visual ou formular algumas tarefas cooperativas para aqueles estudantes que
preferem trabalhar em equipe ou que necessitam um apoio mais específico devido a
alguma necessidade educacional específica.

Como vimos nesta seção pela análise de produções reais, o Guia Gappisa e as
atividades do projeto são instrumentos eficazes para acompanhar os professores na
formulação de provas por competências que sejam formadoras e inclusivas. A partir
daqui, é interessante analisar se essas mudanças são significativas e se afetam uma
amostra importante dos participantes, assunto que trataremos na próxima seção.

Estudo dos resultados sobre o uso do Guia Gappisa

O Projeto Gappisa foi implementado com um grande número de docentes

participantes pela primeira vez no ano 2012, quando foi aplicado na primeira rede de
centros educacionais privados, envolvendo nove escolas e 107 docentes. A mesma rede
de escolas seguiu participando do projeto até 2014; paralelamente, implementou-se
também em escolas do Chile e iniciou-se em outra rede de escolas públicas espanholas.
Durante esse ano, realizou-se a formação em 61 centros, com a participação de 503
docentes entre a Espanha e o Chile. Depois disso, o projeto continuou vigente em diversas
escolas espanholas.

Durante essas edições, os projetos foram se aprimorando e atualizando o modelo

teórico com a revisão constante das diferentes edições do Programa Pisa, como
comentamos anteriormente. Também pudemos investigar a validade do Guia Gappisa
como instrumento formativo e a eficácia da formação em si como promotora de mudanças
significativas na formulação de avaliações por competências no formato prova que
fossem também formadoras e inclusivas. Com a sequência das formações, percebemos
que melhoras substanciais foram constatadas nas produções dos professores, assim como
mudanças nas suas concepções docentes. Na próxima seção apresentaremos uma das
análises realizadas que confirmam esse resultado positivo.

Melhoras significativas nas provas de avaliação

Como falamos, as melhorias nas provas de avaliação foram positivas na medida

em que, ao finalizar a formação, os instrumentos construídos eram baseados em avaliação
por competências, com caráter formador e inclusivo. Nesta seção iremos descrever em
que grau se deram essas melhorias e quais características mudaram mais.

Para efeito de uma correta análise estatística, apresentamos unicamente os

resultados da amostra que fazia parte de duas edições consecutivas de implementação do
Projeto Gappisa na mesma rede de escolas privadas. Contamos com 206 participantes
pertencentes a dezessete centros educacionais. Recompilamos as pontuações em cada
uma das versões das provas, mantendo as três categorias avaliadas pelo Gappisa (nível de
competência, nível de potencial formador e nível de inclusão). Os dados coletados foram
tratados por meio do software SPSS (versão 19), aplicando concretamente as provas de
Correlação de Pearson, Anova e a prova de amostras independentes (Teste de Leven e
Teste T).

Os dados analisados foram: primeiro, a pontuação final obtida pelos professores

em cada uma das provas que realizaram, contando as três versões (original, reformulada
pelo princípio da autenticidade – autentificada – e final); segundo, a pontuação em cada
uma das 10 características que formam o Guia Gappisa em cada uma de suas versões; e,
terceiro, a pontuação total em cada uma das variáveis de competência, poder formador e
inclusão (obtidas pelo somatório dos valores atribuídos às características que se
correspondem com a variável).

A seguir, resumimos os resultados com referência a: 1) os níveis alcançados nas

diferentes versões da prova; 2) as características do Guia Gappisa que sofreram mais
modificações; e 3) as categorias que mais melhoraram.

Em primeiro lugar, em relação a diferentes versões das provas (prova original –

pontuação final O; prova autenticada – pontuação final A; e prova final – pontuação final
F). Como se pode observar na Tabela 1, a pontuação média mostra uma clara melhoria
nas avaliações, com mais de três pontos de diferença entre a original e a final.

Tabela 1: Dados comparativos entre as distintas versões das provas realizadas

Estatísticas descritivas
Versões da prova Desvio
N Mínimo Máximo Média Variância
padrão
Pontuação final O 175 0 6 1,09 0,803 0,645
Pontuação final A 196 0 6 2,81 1,115 1,242
Pontuação final F 153 0 7 4,52 1,603 2,569

Em segundo lugar, passamos a observar as características que compõem o Guia

Gappisa por meio do cálculo da diferença entre a pontuação obtida na versão original e a
alcançada na prova final. As mudanças que tiveram mais sucesso se referem à situação
inicial autêntica, às atividades reais e à complexidade cognitiva. Os instrumentos finais
de avaliação incluíam uma primeira seção em que se apresentava um relato similar a
algum problema em um contexto real e se incluíam dados e materiais de consulta reais
(catálogo de preços, programa de horários, artigo em seu formato digital original, medição
in situ de estruturas etc.). De maneira generalizada, depois desse relato, apresentava-se
uma série de tarefas também realistas e cada vez mais complexas, quase sempre
interdependentes, o que em seu conjunto possibilitava o desenvolvimento da competência
relacionada à matéria avaliada. A avaliação do processo e a inclusão de condições de
resolução realistas, aspectos também essenciais numa avaliação autêntica, não obtiveram
melhoria elevada.

Em terceiro lugar, a análise da pontuação obtida em cada uma das variáveis –

competência, poder formador e inclusão – mostra-nos que há um aumento significativo
em todas as variáveis quando comparamos as pontuações das versões das provas (Gráfico
1). A variável competência supera as demais, apesar de partir de um nível semelhante de
pontuação no teste original, como pode ser evidenciado pelo Gráfico 1. Ou seja, como já
discutimos, a categoria competência foi a mais influenciada pelo processo formativo.

Em síntese, os resultados estatísticos são significativos nas relações entre as

variáveis referentes às provas de avaliação (versões, características e categorias). Depois
de analisar as provas de avaliação elaboradas pelos participantes, podemos afirmar que
os resultados da formação são positivos, dado que as provas são, agora, mais autênticas,
como já apontaram estudos anteriores (ÁLVAREZ-BERNARDEZ; MONEREO, 2016;
MONEREO et al., 2009; MONEREO; MORCILLO, 2011).
 Gráfico 1: Nível alcançado em cada uma das provas, segundo as categorias de
competência, poder formativo e inclusão

Por fim, queremos enfatizar que as melhorias especialmente significativas que

ocorreram nas provas por meio do Guia Gappisa são as que se relacionam com as
principais características das provas do Pisa referentes à avaliação de competências. Esse
fato mostra que as bases psicopedagógicas das provas do Pisa são um bom início para
transformar a avaliação, já que partem de critérios aceitos pela comunidade educacional,
aspectos relativos a um ensino por competências que todo professor deveria integrar a seu
projeto educacional.

Conclusão

Como vimos, o Guia Gappisa, baseado nas bases psicoeducacionais das provas do
Pisa, constitui-se em um dispositivo apropriado para ajudar professores na formulação de
provas baseadas em competências que apresentam caráter mais formativo e inclusivo.
Ainda que no futuro seja preciso revisar as categorias que menos impactaram os
professores, em especial a diversidade, destacamos muito positivamente a melhora
naquelas características que coincidem com os aspectos que constituem as provas do Pisa,
com referência a uma avaliação por competências.

A partir desse marco, é fundamental que as provas e as atividades avaliativas (e,

por que não, de ensino) permitam verificar os conhecimentos aprendidos e as estratégias
utilizadas para a resolução de questões, situando os estudantes num contexto real e
significativo, ao mesmo tempo que apresentam diferentes níveis de complexidade.
Devemos interpretar esse aspecto como o primeiro passo necessário para conseguir que
as provas e os instrumentos de avaliação possam, além de representar uma oportunidade
de aprendizagem, caracterizar uma experiência de que todos os estudantes participem,
respeitados seus diferentes perfis de aprendizagem.

Em relação ao impacto do projeto, sabemos que os processos de mudança

influenciaram tanto aspectos contextuais como individuais. O Programa Pisa tem essa
premissa muito clara e, para poder interpretar os dados de forma correta, nele é recolhida
informação do contexto, via questionários e entrevistas com os agentes envolvidos
(famílias, corpo docente, direção e estudantes). No Projeto Gappisa também recolhemos
dados de coordenadores e de professores, os quais tiveram que responder a um
questionário final sobre como foi a aplicação da prova, expondo os resultados e a opinião
dos alunos a respeito.

Nosso objetivo não foi analisar os resultados das provas, mas sim que a
transformação da avaliação não seja uma atividade pontual e se estenda a toda a equipe
docente, instaurando-se como mais uma tarefa a compor a prática pedagógica dos
professores. Mudar os instrumentos de avaliação não é suficiente e, para realizar uma
mudança mais substancial, devemos analisar como esses primeiros passos afetam a
própria identidade docente.

É necessário, em futuros estudos, aprofundar e analisar como essa participação

muda sua posição conceitual, estratégica e atitudinal no momento de avaliar. E, nessa
mudança, tanto as práticas que experimentam quanto os discursos dos quais se apropriam
e participam têm muita influência; nesse sentido, faz-se necessário seguir estabelecendo
um diálogo com o Programa Pisa, tomando-o como modelo de inspiração.

Referências
ÁLVAREZ-BERNARDEZ, P.; MONEREO, C. Formación del profesorado de ELE y
evaluación. Construcción de una guía para autentificar pruebas de español lengua
extranjera. Porta Linguarum, v. 25, p. 163-177, 2016.

ASHFORD-ROWE, Kevin; HERRINGTON, J.; BROWN, Christine. Establishing the

critical elements that determine authentic assessment. Assessment & Evaluation in
Higher Education, v. 39:2, p. 205-222, 2014. Disponível em:
doi:10.1080/02602938.2013.819566.
BROWN, S. (2015). Authentic assessment: using assessment to help students learn.
Relieve, v. 21(2), p. 1-10, 2015. Disponível em: doi:
http://dx.doi.org/10.7203/relieve.21.2.7674.

COMISIÓN EUROPEA. Competencias clave para el aprendizaje permanente. Un

marco de referencia europeo. 2007. En prensa.

DARLING-HAMMOND, L.; SNYDER, J. Authentic assessment of teaching in context.

Teaching and Teacher Education, v. 16(5), p. 523–545, 2000.

DURAN, D.; MONEREO, C. Una guia per l’anàlisi de proves d’avaluació des de la
perspectiva Pisa. Revista de Didàctica de la llengua i la literatura, v. 44, p. 101-116,
2008.

GULIKERS, J. T. M.; BASTIAENS, T. J.; KIRSCHNER, P. A. A five-dimensional

framework authentic assessment. Educational Technology Research and
Development, v. 52(3), p. 67-86, 2010.

HERRINGTON, J.; HERRINGTON, A. Authentic conditions for authentic assessment:

aligning task and assessment. Research and Development in Higher Education, v. 29,
p. 146-151, 2006.

MONEREO, C. (Coord.). Pisa como excusa. Repensar la evaluación para cambiar la

enseñanza. Barcelona: Graó, 2009.

MONEREO, C.; LEMUS, R. Dime cómo evalúas y te diré cómo aprenden (a aprender)
tus alumnos. Innovación Educativa, n. 190, p. 56-59, 2009.

MONEREO, C.; MORCILLO, C. Las evaluaciones externas como andamiaje de las

prácticas de evaluación: un estudio de caso en el área de tecnología. Cultura y
Educación, v. 23(2), p. 183-204, 2011.

MONEREO, C.; CASTELLÓ, M.; DURÁN, D.; GÓMEZ, I. Las bases psicoeducativas
del proyecto Pisa como guía para el cambio en las concepciones y prácticas del
profesorado de secundaria. Infancia y Aprendizaje, v. 32(3), p. 421-447, 2009.

REMESAL, A. Primary and secondary teachers’ conceptions of assessment: a

qualitative study. Teaching and Teacher Education, v. 27(2), p. 472–482, 2011.
Disponível em: doi:10.1016/j.tate.2010.09.017.
SANMARTÍ, N. Avaluar per apendre. Generalitat de Catalunya, 2010. En prensa.