CARACTERIZACIN SEMIOTICA DE TEORIAS DE EVALUACIN DE CORTE

CONDUCTISTA Y NEOCONDUCTISTA
RESUMEN
INTRODUCCIN
LA SEMITICA COMO METODO DE ANLISIS DE PROPUESTAS TERICAS EN
EVALUACIN
LA SEMITICA COMO METODO DE ANLISIS DE LA REALIDAD SOCIAL
LA EVALUACIN COMO ACCIN SOCIAL
LA TEORA: FORMA DE ADAPTACIN Y TRANSFORMACIN DE LA REALIDAD

Propuestas dirigidas a la eficacia, eficiencia y el valor del programa

I.

Proceso para determinar la eficacia y eficiencia del programa

1. Enfoque orientado a los objetivos
2. Pruebas objetivas
3. Evaluacin del entrenamiento
4. Estimacin del valor aadido
5. Modelo de Casos Exitosos
6. Evaluacin basada en la teora del programa
7. Pruebas de desempeo
8. Evaluaciones experimentales y cuasiexperimentales
9. Anlisis de costo/beneficio
10. Modelo de las Discrepancias

GRUPO I: La evaluacin

como proceso para determinar la eficacia y

eficiencia del programa. (1. Enfoque orientado a los objetivos 2. Modelos

experimentales y cuasiexperimentales, 3.Evaluacin mediante pruebas
objetivas 4. Evaluacin basada en teora de programas)

Visin global
Este conjunto de propuestas de evaluacin agrupa los primeros intentos
sistemticos para orientar la prctica evaluativa en el campo de la educacin, lo
cual le da una relevancia considerable cuando se analiza la evolucin y contextos
por donde ha transitado la evaluacin de la accin educativa. Los elementos
claves en todos estos enfoques son la orientacin hacia los objetivos del programa
(interrogantes de investigacin) y el nfasis en el mtodo (altamente estructurado)
como garanta de validez y confiabilidad.
En los orientados hacia los objetivos, las propuestas estn dirigidas a
responder preguntas especficas, las cuales podan provenir de los objetivos
operacionales

conductuales

de

un

programa,

de

los

requisitos

de

responsabilidad establecidos por la agencia financiadora del programa o de

indicadores que sealaran evidencias de casos exitosos inusuales. Entre las
propuestas ms representativas de este grupo est la evaluacin orientada hacia
el logro de los objetivos del programa (Tyler), estudios para determinar la
responsabilidad (Lessinger) y el mtodo de casos exitosos (Brinkerhoff)
Las propuestas basadas en el mtodo son ms numerosas, quizs debido a
la influencia del mtodo experimental de las ciencias naturales, considerado como
el arquetipo del mtodo cientfico en ese entonces. Entre ellas estn los Modelos
Experimentales y Cuasi Experimentales (Campbell y Stanley), Evaluacin
mediante

pruebas

objetivas

(Lindquist),

Evaluacin

de

programas

de

entrenamiento o formacin (Kirkpatrick), Pruebas de desempeo (Flexner),

Estimacin del Valor Aadido (Sanders y Horn) y la Evaluacin basada en teora
(Glaser y Strauss, Chen y Rossi).
Estas propuestas se caracterizan por aplicar un mtodo en particular, el
cual predomina sobre el objeto evaluado (evaluando), es decir, el objeto de
evaluacin se debe ajustar al mtodo (el mtodo funge como el lecho de
Procusto). Los modelos ms utilizados de este grupo de propuestas en la
evaluacin de programas educativos estn representados por 1. El modelo
orientado a los objetivos, 2. Enfoque experimental, 3. La evaluacin de

entrenamiento de Kirkpatrick, 4. Las pruebas de desempeo de Flexner, y 5. La

evaluacin basada en la teora del programa de Chen.
A CONTINUACIN SE PASA A.
El modelo de Tyler es considerado el primer mtodo sistemtico de
evaluacin educativa (de hecho se dice que l uso por primera vez el concepto de
evaluacin educativa) y es aplicable en la evaluacin de acciones programadas
(planes, programas, proyectos y dems experiencias y actividades de aprendizaje)
con objetivos claros y bien definidos, los cuales pueden abarcar tambin las
necesidades estimadas de los beneficiarios potenciales, efectos secundarios o no
previstos, as como la evaluacin del proceso (desarrollada despus por Scriven
evaluacin formativa y por Stufflebeam evaluacin del proceso), al introducir el
trmino retroalimentacin, (hecho que suele considerarse como incompatible con
esta propuesta y le ha dado a sta una injusta estima, pues en su versin original,
su proponente advirti esta posibilidad de acuerdo con las circunstancias,
(Stufflebeam y Shinkfield, 1987, pp. 91-94)
Este mtodo de evaluacin ha tenido mucha influencia en la evaluacin
educativa de nuestros das, tal vez debido a su evidente sentido comn y a que
permite el uso de objetivos operacionales y conductuales, tanto en pruebas con
referencia a una norma y a criterios como la evaluacin de desempeo. Las
debilidades que presenta, en la prctica, se hacen manifiestas en la informacin
terminal que proporciona, la cual no es ni pertinente ni oportuna para introducir
mejoras en el desarrollo del programa; es demasiado estrecha para considerarla
como base suficiente al momento de estimar el valor (necesidad) y mrito
(calidad/eficacia) del programa; el estudio no busca determinar los efectos
colaterales/inesperados positivos o negativos y, adems, puede dar crdito a
objetivos de poco valor o sin ningn valor.
El modelo experimental o cuasiexperimental. Campbell y Stanley (AO)
ofrecen el mtodo experimental como la mejor opcin de evaluar una innovacin
social y educativa. Lo cual fue errneamente interpretado y se consider dicho
modelo como el nico para estimar el valor de cualquier innovacin, pues no
prestaron atencin a la recomendacin adicional relacionada con el diseo

cuasiexperimental, el cual poda ser usado de manera aceptable, aunque no ideal,

cuando el uso del experimental no era factible.
En trminos generales, el diseo experimental y la versin cuasi han
contribuido, cuando han sido aplicados como es debido, a la evaluacin de
programas educativos, de acuerdo con los ltimos usos que le han dado Nave,
Miech y Mosteller en ao 2000 (citado en Stufflebeam y Shinkfield, 2007, p. 174).
Lo que ha sucedido, en la mayora de los casos, es la falta de atencin a las
variadas exigencias o requisitos que estos diseos conllevan. Entre ellos se
pueden mencionar la existencia de un programa estable el cual no amerite
modificaciones durante la evaluacin, la habilidad para mantener separados y
lejos de cualquier influencia externa, tanto al programa como a los grupos de
control, la habilidad para obtener las medidas necesarias del criterio de todas o al
menos de las muestras representativas de los

miembros del programa y de los

grupos de comparacin. Para garantizar la factibilidad de los experimentos y

cuasiexperimentos, Smith y Wholey (1998) han trabajado con una metodologa
para estimar su evaluabilidad.
Entre las ventajas o fortalezas de este modelo estn su focalizacin en los
resultados y no, simplemente, intenciones o juicios. Constituye una opcin slida
cuando se trata de determinar una relacin causal entre una innovacin o
propuesta y una variable, lo que es sumamente importante cuando se trata del
estudio de la eficacia precisa de un programa educativo, lo que le ha dado xito en
otras reas como la agricultura y medicina. Sin embargo, ellos presentan ciertas
desventajas al ser aplicados en el campo educativo. Se considera no tico o
incluso ilegal privar a los miembros del grupo-control de los beneficios que
proporcionan los fondos especiales para mejorar un servicio educativo. Por otro
lado, la mayora de padres y representantes no estn de acuerdo con que sus
hijos sean utilizados como conejillos de Indias.
Asimismo, es difcil para las instituciones educativas asignar de manera
aleatoria los estudiantes y mantener constante el tratamiento durante todo el
periodo

escolar. Adems, estos modelos proporcionan una informacin muy

reducida y al final de la aplicacin del programa, lo que, en la mayora de los

casos, no es til y necesaria para el desarrollo y mejoras del programa.
La evaluacin del desempeo propuesta por Flexner (1910), y
desarrollada posteriormente en la dcada de los 90 por Baker, ONeil y Linn
(1993), Swanson, Norman y Linn (1995) y Koretz y Barron (1998), con la finalidad
de superar las limitaciones de Las pruebas de seleccin mltiple, consiste en que
mediante esta estrategia el estudiante debe demostrar sus logros al producir
respuestas autnticas a tareas de evaluacin que reflejen situaciones de la vida
real.
Entre las ventajas o fortalezas de este enfoque est la reduccin o
minimizacin de posibilidad de adivinar o deducir por lgica las respuesta
apropiada, el exigir al estudiante que produzca respuestas a las actividades de
evaluacin

tambin

refuerza

las

habilidades

de

escritura,

computacin,

investigacin, as como otras de la vida cotidiana. Las desventajas que presenta

este enfoque estn representadas por la gran cantidad de tiempo que se requiere
para su administracin, altos costos de calificacin, la dificultad en alcanzar
calificaciones confiables, el estrecho margen de habilidades y destrezas que
pueden ser viablemente evaluadas, y la falta de normas para la comparacin de
resultados, especficamente cuando la cobertura alcanza mbitos que superan los
institucionales (escuela, facultad, universidad)
El modelo de evaluacin basada en una teora de programa iniciada por
Glaser y Strauss (1967), desarrollada posteriormente por Bickman, Chen y Rogers
(citado en Stufflebeam y Shinkfield, 2007, p.187), es un enfoque centrado en las
teoras que tiene la gente sobre lo que es

necesario para que un programa

funcione de manera efectiva, pues la gente puede pensar o imaginarse cmo se

aprende y/o se modifica el comportamiento, lo cual lleva a pensar en las
condiciones o procesos generadores de esos resultados deseados.
Por otro lado, los desarrollos realizados por Chen en las dcadas de los 80
y 90 (Chen, 1989 y Chen 1990) parten de los modelos cuantitativos en los cuales
se busca la identificacin de las variables que contribuyen al logro de los
resultados esperados del programa. El componente terico de este modelo est

conformado por las teoras de las ciencias sociales y las creencias de los
involucrados sobre lo que se necesita para que un programa tenga xito.
Una manera de enfocar la evaluacin basada en teora es a travs del uso
de anlisis estadsticos sofisticados tales como anlisis de recorrido (path
analysis) y el modelo de ecuacin estructural para determinar las contribuciones
significativas de las variables derivadas tericamente, a los resultados. De
acuerdo con Chen, si los evaluadores comenzaran con un mtodo (el
experimental, por ejemplo), entonces ste los conducira hacia directivas
especficas de cmo llevar a cabo una evaluacin; sin embargo, si partan de los
supuestos de cmo funciona el programa, entonces ellos podran considerar
diferentes opciones metodolgicas, (Stufflebeam y Shinkfield., 2007, p.63).
Al respecto, este terico recomienda la utilizacin tanto de mtodos
cuantitativos como cualitativos, aunque para la evaluacin de resultados apoya el
uso de diseos experimentales aleatorios con la finalidad de eliminar o al menos
controlar las amenazas a la validez de los resultados. Al distanciarse del enfoque
metodolgico a la evaluacin, esta propuesta proporciona un puente o enlace con
otros enfoques evaluativos.
Para Lipsey (2007), otro terico que ha trabajado con este enfoque, es
necesario que los evaluadores de programas diseen estrategias para determinar
la teora subyacente de los programas, identifiquen las variables intermedias que
influyen en los resultados de un programa, y desarrollen modelos que reflejen ms
las condiciones del mundo real. El procedimiento principal usado normalmente en
este enfoque es un modelo de la lgica del programa, el cual puede ser
representado a travs de un flujograma de cmo se piensa que los insumos o
elementos de entrada producen los resultados determinados.
Tambin puede ser una teora fundamentada como la propuesta por Glaser
y Strauss (1967). De esta forma, la mayora de las evaluaciones de base terica
comienzan por desarrollar una teora que pueda ser usada de manera apropiada
para guiar la evaluacin de un programa en particular. Estos esfuerzos de
desarrollo de teora y su conexin con la evaluacin de programas tienen
problemas y son potencialmente contraproducentes.

Conceptos claves: Objetivos, interrogantes, experimento/cuasi experimento,

pruebas objetivas, desempeo, conducta observable, entrenamiento, resultados,
xito del programa, teora del programa, eficacia, eficiencia.
Sistematizacin/Formalizacin/Semiformalizacin
Estas propuestas o tecnologas evaluativas pueden formalizarse al considerar la
evaluacin e como una funcin lgica que proyecta elementos del conjunto O
de los objetivos en elementos del conjunto R de resultados. De manera que:
e (O)= R

(Representacin funcional)

Los postulados o premisas centrales (relaciones entre los conceptos claves

del grupo de propuestas) son los siguientes:
1 Todo programa al ser aplicado tiene unos resultados esperados e
inesperados positivos (impacto positivo) e inesperados negativos (impacto
negativo)
2 Los objetivos de un programa deben ser formulados operacionalmente.
3 La prctica evaluativa debe orientarse a la bsqueda del logro de los
objetivos formulados del programa
4 El xito o eficacia de un programa est determinado por el alcance de los
objetivos formulados
5 Hay evaluaciones que utilizan la teora del programa como gua de
aplicacin
6 El modelo

experimental/cuasiexperimental

asegura

evaluaciones de

resultados/impacto ms confiables
Implicaciones pragmticas
i

Las propuestas evaluativas que buscan estimar la eficacia y

eficiencia de programas son ms adecuadas para la evaluacin
de productos que de procesos. En el mbito educativo ellas son
convenientes para las evaluacin diagnstica (ex antes) de la
aplicacin del programa para su posterior recomendacin o no.

ii

Este tipo de evaluacin tiene una aplicabilidad limitada en el

campo educativo debido a la complejidad del proceso educativo,

iii
iv

manifiesta a travs de la causalidad mltiple que la caracteriza.

UNA
ULA
SEGUIDAMENTE SE PASA A.
Evaluacin pragmtica

Contextualizacin histrico-social. Para analizar las condiciones sociohistricas en las cuales emergieron estas propuestas es necesario mencionar su
orientacin fundamental hacia los objetivos y al mtodo. Al estar dirigidas a los
objetivos y al mtodo, estas propuestas estn fundamentadas en una ontologa
empirista y una epistemologa inductivista lo que

las asocia a la perspectiva

conductista del aprendizaje donde los objetivos que sirven de gua en estas
propuestas son de naturaleza conductista, pues buscan determinar la eficacia y
eficiencia de los programas educativos mediante la consecucin de objetivos
observacionales y medibles.
Estos supuestos filosficos, tanto de orden ontolgico como epistemolgico se
remontan a las perspectivas empiristas e inductivistas en el siglo XVII a travs de
los escritos de Bacon (1561-1626), en particular en su ensayo Novum Organum,
donde present los principios del mtodo cientfico (Turner, 2001), en las obras de
Hobbes (1585-1679), Locke (1632-1704) con su teora sensualista o sensorial, y
en el siglo XVIII en la concepcin de la realidad y el conocimiento por parte de
Hume (1711-1776). Sin embargo, estas ideas ya estaban presentes en la filosofa
griega, tanto en los presocrticos (sofistas), como en los postsocrticos
(Aristteles: Metafsica) y ms tarde en la interpretacin y desarrollo de la filosofa
aristotlica por parte de Toms de Aquino (1224-1274)
Luego, estas ideas se ven retomadas y reforzadas en el siglo XIX con Comte
(1798-1857) en Francia, y Spencer (1820-1903) en Inglaterra, con el llamado
Positivismo, segn el cual las ciencias sociales deben seguir el mtodo utilizado
por las ciencias de la naturaleza, para las cuales el mtodo cientfico estaba

basado en la experiencia, observacin (y dems percepciones sensoriales) y los

experimentos. Estos ltimos filsofos y socilogos vean el mtodo cientfico de las
ciencias naturales como el medio para descubrir las leyes o principios que rigen el
comportamiento humano.
Otro acontecimiento que sirvi de base terica a las propuestas en cuestin lo
constituye el enfoque hacia eficiencia y estandarizacin en la industrias
manufactureras por parte de Frederick Taylor en 1899, quien haba encontrado
que la estandarizacin contribuye con la eficiencia y el aseguramiento de la
calidad en los productos manufacturados.
Esta relacin entre la eficiencia y la estandarizacin fue trasladada al campo de la
educacin por parte de Edward Thorndike (Teora del Conexionismo) y otros
siclogos quienes liderizaron el uso de los tests estandarizados para garantizar la
efectividad de la educacin, la eficiencia del desempeo estudiantil y, por tanto, en
la actividad que da luces del logro de dicho desempeo, la evaluacin,
(Stufflebeam y Shinkfield, 2007, p.34). De esta manera, los educadores y muchas
personas importantes de la sociedad vieron en los resultados de los tests
estandarizados y objetivos, la fuente de informacin confiable para estimar los
logros de escuelas, programas, profesores y estudiantes.
Consistencia programtica. Este hilo conductor desde la perspectiva histrica
entre las ideas primigenias de estas propuestas

y su presencia en

las

perspectivas de anlisis y accin que utilizaron Tyler, Suchman, Bloom, Lindquist,

Cronbach, Metfessel, y Campbell y Stanley, para mencionar los representantes
ms importantes de estos modelos, sirve de indicador de la fuerte consistencia
programtica de los elementos conceptuales que subyacen en dichos modelos.
Rentabilidad pragmtica. En lo relacionado con la rentabilidad pragmtica de
estas propuestas evaluativas se puede decir que ellas sirvieron de orientacin
importante para la prctica evaluativa en la segunda mitad del siglo XX e inicios de
del XXI, pues el enfoque orientado a objetivos ha sido aplicado para evaluar
programas que presentan objetivos claros y slidos y ha tenido una manifiesta
prevalencia en la evaluacin, no solo de programas, si no de centros, desempeo
docente y estudiantil, debido a su evidente sentido comn, uso de tecnologas de

objetivos operacionales y conductistas, lo que le ha dado una amplia aceptacin

en los docentes, administradores y evaluadores de aspectos, dimensiones y
componentes del sistema educativo.
Este enfoque ha llevado al surgimiento de valiosos y variados trabajos
taxonmicos de objetivos educativos: Bloom, Gagn-Merrill, Williams, Guilford,
Mager, Krathwohl, Gerlach y Sullivan y Block (Choppin y Postlethwaite, 2014),
aunque su aplicacin se ve limitada a los niveles primarios de los diferentes
dominios o dimensiones de estas clasificaciones jerrquicas.
En la dimensin experimental de estos enfoques, su aplicacin ha sido menor que
la dimensin orientada a objetivos, todo ello debido a las limitaciones que
presentan las propuestas experimentales y cuasiexperimentales al momento de
evaluar programas educativos, a causa de la presencia de seres humanos
representados

por

estudiantes,

docentes,

personal

administrativo

de

mantenimiento, los cuales manifiestan un comportamiento que debe ser explicado

ms por relaciones concomitantes (intereses, necesidades naturales y creadas,
prioridades: rasgos

tpicos de la realidad social) que por relaciones causales

presentes en los sistemas y procesos de la realidad natural.

Resumen de la evaluacin pragmtica
Con la idea de realizar una breve sntesis de este tipo de evaluacin, se tom
como puntos de referencia los elementos pragmticos siguientes: 1. Lo
relacionado con el contexto socio-histrico, 2. La consistencia programtica, 3. La
rentabilidad pragmtica.
Para hablar del contexto socio-histrico, se utilizaron los siguientes aspectos: La
fuente filosfica de cada grupo de propuestas, la relacin onto-epistmica y la
relacin temporal entre las cuatro.
En cuanto a la base filosfica (contexto socio-histrico) de las propuestas, solo
dos de ellas (Propuestas dirigidas a estimar valores, significados y otras
construcciones relacionadas con los programas educativos y Propuestas
evaluativas dirigidas a empoderar individuos y comunidades en situaciones de

injusticia social) comparte en parte la base filosfica del pensamiento de Kant,

aunque luego tomaron rumbos diferentes. La primera hacia una postura empricoidealista, caracterizada por estudios etnogrficos, diseos de convivencia,
induccin

reflexiva,

evaluacin

respondiente,

libre

de

metas,

artstica,

constructivista, mientras que la segunda se dirigi hacia una orientacin

racionalista-idealista cuyos rasgos tpicos son interpretaciones libres, lenguajes
amplios, argumentacin reflexiva, propios de los modelos de evaluacin para el
empoderamiento, evaluacin participativa transformadora y evaluacin feminista.
Se puede notar a partir de esta sntesis de la fuerte presencia filosfica del
fundador del idealismo alemn en ambas propuestas frente a la opcin del
realismo. Los otros dos grupos de propuestas, en trminos de su fuente filosfica,
no tienen nada en comn con las propuestas de base idealista, pero si comparten
el componente ontolgico del realismo.
En lo ateniente a la relacin temporal, se puede ver, a partir de sus contexto
socio-histrico y de su aparicin en la palestra acadmica, que las propuestas de
orientacin realista, en particular las orientadas hacia el logro de objetivos y
basadas en el mtodo cientfico (Propuestas dirigidas a la eficacia, eficiencia y el
valor del programa), constituyeron las primeras opciones para orientar la prctica
evaluativa.
Luego surgieron, como respuestas a las debilidades y limitaciones de las
primeras, las que hacen nfasis en el uso de los resultados, participacin de los
involucrados y la toma de decisiones, las que consideran que estimar los valores,
significados y dems construcciones mentales de los involucrados, debe ser la
finalidad de toda evaluacin, y, finalmente, las que conciben que la practica
evaluativa, como prctica humana, debe tener como meta la emancipacin social
y del individuo.
Esta relacin secuencial concuerda con la clasificacin diacrnica que
proponen Shadish, Cook y Leviton (1991): Primera etapa (estudios evaluativos
que introducen la ciencia y los experimentos como medio para atender problemas
sociales; segunda etapa (estudios enfocados en el uso de la informacin con

propsitos de mejor del evaluando; Tercera etapa (propuestas dirigidas a la

integracin del enfoque cientficos y el pragmtico.
En lo relacionado con la consistencia programtica, o sea, su fidelidad a las
fuentes filosficas originantes, de los cuatro grupos de propuestas para guiar la
prctica evaluativa, la nica que no mantuvo una consistencia programtica total
es la aquella que busca estimar valores, significados y otras construcciones
relacionadas con los programas educativos, al optar, por una lado hacia un
historicismo con una lnea externalista que fue retomado por la Escuela de
Frncfort y dara origen a la llamada Teora Crtica de la sociedad, por el otro, un
historicismo internalista, el cual desemboc en la llamada sociofenomenologa de
Alfred Schtz, quien fue el primero en aplicar la fenomenologa en el estudio de la
realidad social, al emigrar a los EEUU en los aos 30 del siglo pasado.
Aunque la diferencia es en el par dicotmico internalismo-externalismo
(evaluacin interterica), es necesario sealarlo en esta sntesis pragmtica.
La rentabilidad pragmtica o, en otras palabras, su impacto en la evaluacin
educativa, en particular en la evaluacin de programas, centros y desempeo
docente y estudiantil de las propuestas en marras, es el siguiente:
El grupo de propuestas orientadas al logro de objetivos y basadas en el
mtodo experimental es una de las que ms impacto ha tenido en los diferentes
evaluandos educativos (programas, centros y desempeo), en particular en la
evaluacin del aprendizaje como proceso indicador de alta confiabilidad al
momento evaluar instituciones y programas, as como tambin para la toma de
decisiones relacionadas con la evaluacin del proceso de rendimiento estudiantil.
Recurdese aqu la voluminosa aparicin de trabajos sobre el diseo y
utilizacin de evaluaciones basada en objetivos (desempeo estudiantil) y la
utilizacin de pruebas para determinar las eficacia y calidad de mtodos de
enseanza a travs de

estudios experimentales (grupos de control y

experimental, asignacin aleatoria de estudiantes,

dependiente, entre otros rasgos tpicos).

variables independiente y

Las propuestas que hacen nfasis en la toma de decisiones y uso de los

resultados, en particular, en la toma decisiones, ha sido utilizado para estimar el
valor y mrito de programas educativos.
Las otras dos propuestas de evaluacin, que comparten la caracterstica de
alcanzar la participacin (aunque con propsitos diferentes) de los involucrados,
se han utilizado ms en la evaluacin de las comunidades interna y externa
(docente y participacin comunitaria de padres, representantes y dems actores)
de instituciones escolares.
Evaluacin semntica
Los criterios semnticos utilizados para realizar esta evaluacin son: Abarque,
alcance o completitud de la aplicacin de la teora, alto nivel de generalizacin de
la propuesta terica, consistencia interna y externa, independencia interna, falta de
atencin a algn sub-campo terico, relacin dbil o ausente de la teora con los
hechos y otras teoras, y circularidad definitoria
La evaluacin semntica es concebida con la idea de detectar las debilidades
centrales de estas propuestas en cuanto al alcance de aplicacin. Ellas tienen que
ver con la consistencia e independencia internas, as como la completitud.
La primera deficiencia est en la incompletitud que presenta al formular sus
objetivos pues todos aquellos logros del programa que no fueron incluidos en los
objetivos establecidos no son considerados como impacto de la aplicacin. Esto
es an peor cuando existe la posibilidad, con elevados niveles de probabilidad a
veces, de que esos resultados sean positivos y negativos. Pues al no identificar
los primeros, se est desaprovechando la oportunidad de repetirlos y mejorarlos;
en cuanto a los segundos, su no identificacin conlleva a la repeticin y
consecuentes perjuicios para los destinatarios de la intervencin o programa.
Por otro lado, este modelo no da cuenta de cmo se consiguieron los objetivos
logrados ni por qu no se consiguieron los no logrados. Para Izquierdo (2008, p.
7) este aspecto constituye el factor caja negra segn la cual la evaluacin se
centra en las consecuencias del programa y no en los procesos de aplicacin.

Un segundo aspecto que debe ser reseado, est en la misma naturaleza de los
objetivos. Ellos deben ser formulados de manera operacional u observable. Esta
formulacin deja por fuera a una amplia gama de alcances que no tienen esas
caractersticas de observabilidad u operacionalidad. Todo lo que tiene que ver con
los procesos internos, invisibles a esta lente fisicalista, no es tomado en cuenta.
Una tercera debilidad de estas propuestas es su carcter terminalista en su
aplicacin, pues si la evaluacin busca determinar si los objetivos establecidos
fueron alcanzados, esto se realiza al final de la aplicacin del programa, cuando
ya no hay tiempo para hacer los ajustes necesarios y as mejorar la accin
programada.
La cuarta falencia de estas propuestas evaluativas radica en su orientacin
causalista (modelo experimental). Ellas buscan explicar las posibles relaciones
entre los factores de xito del programa a partir de las relaciones causales entre
dichos factores y el xito alcanzado por el programa, cuando la naturaleza de los
actores humanos (involucrados, interesados, beneficiarios y evaluadores) que
intervienen en la evaluacin educativa es ms compleja y en ella intervienen
elementos

tales

como

intereses,

significados,

intencionalidades,

valores,

racionalidades y prioridades, los cuales no pueden reducirse a una relacin

mecnicista de causa-efecto.
Un quinto elemento a sealar aqu como deficiencia, corresponde al aspecto tico
y de legalidad al privar a los miembros de los grupos-control, en el caso del
modelo experimental, de los beneficios que proporcionan los fondos especiales
para mejorar un servicio educativo.
Finalmente, para las instituciones educativas es difcil asignar de manera aleatoria
los estudiantes y mantener constante el tratamiento durante todo el perodo
escolar. Asimismo, los padres y representantes, en la mayora de los casos, no
estaran dispuestos a que sus hijos y representados sean utilizados como
conejillos de Indias.
Las desventajas que presenta este enfoque estn representadas por la gran
cantidad de tiempo que se requiere para su administracin, altos costos de
calificacin, la dificultad en alcanzar calificaciones confiables, el estrecho margen

de habilidades y destrezas que pueden ser viablemente evaluadas, y la falta de

normas para la comparacin de resultados, especficamente cuando la cobertura
alcanza mbitos que superan los institucionales (escuela, facultad, universidad)
Sntesis de la evaluacin semntica
En trminos generales y atendiendo al anlisis de cada uno de los grupos de
propuestas, se puede sealar que en cuanto al criterio de completitud o alcance,
en particular en la falta de atencin a algn sub-campo de aplicacin, de las
propuestas orientadas hacia los objetivos y con fuerte base en el mtodo (Grupo I)
deja muchos espacios de atencin, especficamente a los impactos (positivos y
negativos) no previstos, a los hechos no operacionalizables u observables, a los
hechos que ocurren durante el proceso (debido a su orientacin hacia el producto)
y, finalmente, a los hechos que no responden a la racionalidad de causalidad
lineal.
Con relacin a las propuestas del Grupo II (dirigidas a garantizar el uso de los
resultados y la toma de decisiones), las deficiencias semnticas estn
representadas por el hecho de que la excesiva colaboracin de los involucrados
puede obstaculizar el alcance de los objetivos de la evaluacin; por otro lado, el
fuerte nfasis en la dimensin formativa en detrimento de la sumativa es crtico en
estas propuestas, ya que su orientacin central es hacia el uso de los resultados
de la evaluacin y a la toma de decisiones para el perfeccionamiento del
evaluando. Adems de estas debilidades, estn la dificultad que se presenta en
identificar los involucrados claves (usuarios potenciales) y, en segundo lugar, la
rotacin o prdida de ellos implica una renegociacin y una prdida de tiempo
dems recursos.
Las deficiencias del Grupo III (Propuestas enfocadas en estimar los valores,
significados y dems construcciones de los involucrados) estn representadas por
la dificultad en la determinacin del inicio y finalizacin de

las etapas de

planificacin, ejecucin y metaevaluacin del proceso evaluativo debido al

principio ontolgico gua de este grupo, el cual establece que no existe una
realidad independiente del sujeto, sino que existen mltiples realidades
dependientes del sujeto cognoscente. Este mismo principio tiene implicaciones de

tipo temporal al hacer difcil la entrega oportuna de resultados en contextos que

demandan rapidez y puntualidad.
Las propuestas de Grupo IV presenta como debilidad el riesgo de desviar su
atencin de los aspectos mejorables del objeto evaluado, debido a su orientacin
central de identificar y sacar a la luz situaciones de injusticia social de los
involucrados y a la capacitacin y empoderamiento de stos.
Evaluacin sintctica
La evaluacin sintctica est dirigida a considerar las caractersticas lingsticas
que pueden presentar las propuestas tericas al momento de ser formuladas.
Entre los criterios sintcticos considerados para esta dimensin evaluativa estn:
a nivel macro, el cuerpo ms global y abarcante del discurso en el cual aparece
formulada la propuesta conceptual. En este sentido, lo que se busca es la
caracterizacin del lenguaje de la propuesta en sus dimensiones ms incluyentes.
A nivel meso, se caracteriza el uso de posibles sublenguajes o subcdigos, tales
como el verbal, el icnico y el grfico-diagramtico, as como las relaciones y
conexiones entre los elementos constituyentes de las partes ms gruesas del
discurso, tales como captulos, secciones y prrafos. A nivel micro se analiza el
uso de estructuras sintcticas locales, tales como modos verbales, relaciones
entre frases, formas pronominales, formas lgicas (pregunta, admiracin,
afirmacin), orden sintctico y conexiones entre frases que revelen diferencias
entre estructuras normativas, explicativas, valorativas o emocionales, todo lo cual
remite a correspondientes estructuras de pensamiento, orden lgico y formas
conceptuales.
En el plano de la adecuacin entre la formulacin lingstica de trminos
conceptuales bsicos y la orientacin epistemolgica de este grupo de propuestas
no se encontraron casos que pudieran sealar deficiencias lingsticas, pues todas
las propuestas utilizan en la formulacin de sus trminos bsico un lenguaje
cnsono con su postura epistemolgica.
Para

las cuatro propuestas incluidas en este grupo, podemos caracterizar la

dimensin macro-discursiva como un conjunto de ensayos acadmicos. Es de

destacar una alta relacin de interdependencia macro-discursiva entre los

elementos de este conjunto. La base discursiva es objetivista, con fuertes
tendencias a la precisin, a la importancia de los procesos observacionales,
incluso medicionales.
Los datos informacionales adquieren el valor de patrones de regularidad sobre la
base de una vasta cantidad de casos de la experiencia, todo lo cual es bastante
consistente con el enfoque epistemolgico de base.
Tanto el enfoque orientado a los objetivos de Tyler como el orientado a la
responsabilidad y al pago por resultados, as como el mtodo de casos exitosos y
la evaluacin mediante pruebas por objetivos, en esos cuatro casos el macrodiscurso consiste en un conjunto de ensayos acadmicos interconectados entre s,
pero, adems, fuertemente orientados a una visin objetivista de la realidad y a
una concepcin cuantitativa o medicional, que pueda ser demostrada y
considerada como evidencia. Sin embargo, no son slo las obras de Tyler ni de
sus seguidores contemporneos, sino adems las obras y referencias que
constantemente siguen apareciendo aun hoy da las que siguen fielmente estas
mismas pautas macro-discursivas comentadas arriba (basta, por ejemplo, escribir
Ralph Tyler en Google y se obtendr una lista copiosa de reseas, ampliaciones,
comentarios y, en fin, ensayos que pertenecen a aquel conjunto macro-discursivo
mencionado antes).
En cuanto al uso de sublenguajes o subcdigos, conviene destacar que el mesodiscurso de los cuatro grupos aqu incluidos es eminentemente verbal-escrito. Muy
ocasionalmente se da tambin el sublenguaje grfico-diagramtico, especialmente
para definir las componentes de cada uno de estas cuatro propuestas. No se da el
caso de figuras retricas grandilocuentes con una relacin de inclusin entre las
diferentes partes que componen los textos utilizados para expresar las ideas
centrales de la propuesta. Esto resulta absolutamente coherente con los rasgos
macro-discursivos antes reseados.
Tambin en este nivel intermedio de estructuras sintcticas ocurren las tendencias
a la precisin, la univocidad, la simplicidad lingstica y, por encima de todo, la

economa discursiva (mxima potencia expresiva con mnima inversin de

recursos de lenguaje).
En lo relativo al uso estructuras sintcticas especficas, es decir, pasando al plano
micro-discursivo, el de las estructuras focales ms particulares, se encontr,
bsicamente, el predominio del modo verbal llamado imperativo, que en los
enfoques ms recientes de la Teora del Discurso ha sido conceptualizado como
funcin prescriptiva o funcin normativa del discurso. Esto significa que las
estructuras sintcticas ms especficas no llevan al lector sensibilizarse
emotivamente (funcin emotiva) ni tampoco a explicarse las razones por las
cuales los hechos ocurren del modo en que ocurren (funcin explicativa) ni
tampoco a preferir determinadas situaciones por encima de otras del modo en que
ocurren los hechos (funcin valorativa). Slo existe la funcin normativa, basada
en el predominio del modo imperativo de los verbos, aquella que nos indica qu
debemos hacer o cmo debemos actuar si deseamos conseguir determinados
objetivos.
Otro rasgo sintctico destacable en el plano micro-discursivo es el tipo de enlaces
entre frases, el cual podra correlacionarse con el tpico enlace secuencial, al
modo de s1, s2, s3, sn . Es decir, primero esto, luego aquello, despus lo otro,
enseguida esto otro, etc. Nos lleva a la misma funcin prescriptiva o normativa
antes mencionada y resulta consistente con el predominio del modo verbal
imperativo. No es un discurso orientado a explicar ni a sensibilizar ni a valorar,
sino a actuar eficientemente en trminos de determinados logros.
Todo lo examinado hasta aqu resulta perfectamente consistente con el
Enfoque Epistemolgico empirista-realista arriba reseado.
1. ATIENDEN

ESTADOS

MENTALES

DE

INCONCIENCIA,

NO

REFLEXIBILIDAD Y NO RACIONALIDAD, DE AUTOMATISMOS DE BASE

BIOLGICO-ORGNICA.
2. REQUIEREN

AUTORIDADES

SISTEMAS

DE

REGLAS

SUPRAINDIVIDUALES QUE FIJEN LOS SISTEMAS DE EXPECTATIVAS Y

METAS

3. PRESUPONEN TOTAL PASIVIDAD DEL APRENDIENTE ANTE SUS

TRAYECTORIAS, POSIBILIDADES Y OPCIONES DE APRENDIZAJE
4. ANULAN LAS DECISIONES DEL INDIVIDUO Y SUS POSIBILIDADES DE
AUTONOMA, LIBRE ELECCIN, DIVERGENCIA Y PENSAMIENTO
CRTICO
5. EXITOSA EN LA PROMOCIN DE HABILIDADES MOTORAS, FOMENTO
DE

CONDUCTAS

COLECTIVAS

(POLTICA

PUBLICIDAD),

ADIESTRAMIENTO DE PERSONAS CON DISCAPACIDAD Y ANIMALES

Resumen sintctico
De los cuatro grupos analizados hay algunas caractersticas sintcticas
absolutamente comunes:
- Las estructuras macro-discursivas vienen dadas por grandes conjuntos de
ensayos acadmicos publicados en revistas especializadas y libros.
- Cada estructura macro-discursiva revela transparentemente su propio enfoque
epistemolgico al cual se apega.
- Las estructuras meso-discursivas privilegian el sub-lenguaje verbal escrito por
encima de los dems sub-lenguajes. Slo el segundo de los cuatro grupos exhibe
una mayor expresin del sub-lenguaje grfico-diagramtico, pero sin llegar a
constituir algo sustantivo.
- Las estructuras micro-discursivas, aquellas que intervienen a niveles locales de
frase y prrafo estn construidas sobre la base de una sintaxis prescriptiva o de
una funcin normativa. Las frases y cadenas de frases representan situaciones en
sucesin: primero p, luego q, despus r, finalmente z. Escasean las estructuras
de sintaxis explicativa del tipo si p, entonces q, dado p, luego q, p porque q,
etc.
- De lo anterior se infiere que no son sistemas conceptuales tericos, es decir, no
son teoras de evaluacin, ya que no puede haber teora si no hay una base
explicativa. Entonces, se infiere que resultan ms bien sistemas conceptuales
prescriptivos o normativos. Evidentemente, todos se derivan de algn sistema

terico que se infiere del anlisis sintctico, pero no son en s mismos sistemas
tericos.
Hasta aqu los rasgos sintcticos comunes a los cuatro grupos. Pasando a las
diferencias, hay una clara divisin entre los dos pares de grupos: por un lado, el
primero y el segundo y, por otro, el tercero y el cuarto.
Los dos primeros grupos muestran preferencia por una sintaxis sencilla, breve,
precisa, econmica y directa, sin rodeos ni construcciones metafricas. Los
restantes dos grupos, en cambio, privilegian una sintaxis de alto contenido retrico
y de amplia inversin de recursos lingsticos (abundancia de adjetivos, adverbios,
circunloquios y reiteraciones). Prefieren sacrificar la precisin y la economa
lingstica por la elegancia del discurso y por la potencia de la palabra. Esto indica
que su discurso no est dirigido exclusivamente a la esfera cognitiva del usuario,
sino ms bien a la esfera afectivo-emocional y al rea de las actitudes y valores.
Tal diferencia revela, una vez ms, el anclaje que, desde el punto de vista
sintctico, mantiene cada uno de esos cuatro sistemas conceptuales con respecto
a su propio trasfondo epistemolgico.
REFERENCIAS