Dise no de experimentos

Claudio Bustos
18 de abril de 2014
1. Conceptos basicos en dise no de experimentos
Montgomery (2001) se nala que un experimento es una serie de pruebas en
que de manera intencional se modican las variables de entrada de un sistema,
para observar e identicar las razones del cambio que pueden ser observados en
una o mas variables de salida.
Las variables de entrada, que causan el fenomeno, se suelen denominar fac-
tores, en tanto que las variables de salida, que son efectos de estas causas, son
denominadas las respuestas.
La investigacion experimental se puede realizar por variados propositos, entre
los cuales se encuentra (Montgomery, 2001)
Determinar que factor es mas inuyente en la respuesta. Ej: Que factor
de la escuela (calidad docente, n umero de alumnos por sala, inversi no en
equipamientos, etc.) inuye mas en el rendimiento academico
Determinar que valores deben adoptar los factores para que la respuesta
se encuentre en un valor determinado. Ej: Que tipo de crianza es el mas
apropiado para lograr niveles adecuados de autoestima en los ni nos
Determinar los valores de los factores que provocan un mnimo de varia-
bilidad en la respuesta. Ej.: Que condiciones laborales se deben cumplir
para que todos los trabajadores produzcan de forma similar
Determinar que valores de los factores controlables son necesarios para que
el efecto de factores no controlados sea mnimo. Ej: Que tipo de relacion
terapeuta-paciente es la mas apropiada para obtener buenos resultados,
independiente del sexo o tipo de terapia implementada.
1.1. Factores
Existen distintos de factores, siendo la distincion basica entre el o los factores
controlados, que son aquellos que toma en consideracion el investigador, y los no
controlados, que quedan fuera de la investigacion . Entre los factores controlados,
debemos distinguir entre:
1
Factores experimentales. Son los de interes primario del investigador, ma-
nipulables por este.
Factores molestos. Tienen efectos en la respuesta, pero no nos interesa
estudiarlos. Se pueden dividir en
Factor de clasicacion: variable conocida categorial (no numerica),
que no es modicable directamente por el investigador. Se pueden
generar activamente grupos de acuerdo a este factor, si interesa ver
la interaccion con el tratamiento. Por ejemplo: sexo, grupo etario.
Covariable: variable conocida numerica, no manipulable directamente
por el investigador, cuyo efecto en la respuesta se analiza estadsti-
camente. Ejemplo: edad, rendimiento previo.
Debo hacer notar que en la literatura (vg, Severo, 2010), se habla de fac-
tores controlables y no controlables, correspondientes a los que potencialmente
son controlables o no por el investigador. En mi caso, considero que el control
sobre las variables no es algo intrnseco a ellas, sino que depende de los procedi-
mientos, tanto logsticos como estadsticos, destinados a conocer su efecto en la
respuesta. Esto es, una variable puede ser controlada en un experimento, como
no controlada en otro.
Para observar el efecto de un factor en la respuesta, debemos realizar va-
riaciones sistematicas en este. Cada uno de los valores distintos que jaremos
para el factor se denomina un nivel del factor. Por ejemplo, si queremos estu-
diar el efecto del ruido en la capacidad de recordar palabras, los dos niveles que
podramos ocupar son (a) ausencia de ruido, (b) presencia de ruido. Si queremos
estudiar el efecto de un factor, debemos realizar epxeriencias con a lo menos dos
niveles; si solo nos interesa controlarlo, podemos dejar constante a un solo nivel.
Es muy com un que en un experimento se trabaje con mas de un factor,
siendo entonces aplicados dos o mas niveles de factores de forma simultanea.
Cada una de estas combinaciones especcas se denomina un tratamiento; en el
caso de tener un solo factor, el n umero de tratamientos es igual al n umero de
niveles.
Por lo general, el n umero de tratamientos es igual al producto cartesiano
de los distintos niveles en todos los factores, pero puede darse el caso que se
eliminen ciertas combinaciones teoricas por el bajo interes que provocan o por
su imposibilidad practica.
Como ejemplo de la necesidad de eliminar tratamientos, si queremos estudiar
el efecto de una droga experimental, es necesario estudiar ademas el efecto
placebo, producto del mero hecho de saber que se esta tomando un medicamento.
As, tenemos dos factores, cada uno con dos niveles.
Factor cantidad de droga presente en la pastilla. Presenta dos niveles:
0 gr. y 500 gr., por ejemplo.
Factor ingesta de medicamento. Presenta dos niveles: ingiere la pastilla,
no la ingiere.
2
El n umero de tratamientos teoricos es cuatro: (a) 0 gr.-ingiere la pastilla,
(b)0 gr.- no ingiere pastilla, (c)500 gr. ingiere pastilla, (d) 500 gr.- no ingiere
pastilla. Sin embargo, podemos observar que el tratamiento (d) es imposible de
aplicar, ya que no podemos suministrarle el medicamento sin que ingiera una
pastilla (por lo menos de forma voluntaria), as que solamente podemos aplicar
los tres primeros tratamientos.
1.2. Unidad experimental
La unidad mnima sobre la cual se puede aplicar un tratamiento diferen-
ciado es lo que se denomina unidad experimental. En psicologa, las unidades
experimentales pueden ser las personas, pero tambien se pueden considerar co-
mo unidades grupos especcos u organizaciones. Severo(2010), se nala que las
unidades experimentales deben ser lo mas homogeneas posibles, para que las
variaciones entre las unidades sean mnimas en relacion al efecto de los trata-
mientos; si no es as, no podremos distinguir con claridad cual las diferencias
entre tratamientos.
1.3. Control de las fuentes de variacion
Severo(2010) se nala que para lograr diferencias los efectos de los tratamien-
tos, se debe poder separar estos de otros factores ajenos al tratamiento - factores
de clasicacion, covariables - , como el error propio del experimento, es decir, de
las variaciones en las respuestas propias de factores no controlados. Es necesario
que el efecto de un tratamiento sea medido de la forma mas precisa posible, y
que dentro de lo posible se sepa que no variara mas alla de ciertos margenes.
Los metodos a traves de los cuales se puede controlar las fuentes de variacion
son de tipo experimental o estadstico (Severo, 2010)
Experimentales
Uso del mayor n umero posible de unidades experimentales, que sean
lo mas homogenea posibles. Permite estimar con mas precision el
efecto de cada tratamiento.
Realizar experimentos separados de acuerdo a factores de clasicacion
de importancia. Permite comprobar la existencia de interacciones en-
tre el tratamiento y el factor de clasicacion. Por ejemplo: puede ser
que el efecto del ruido(factor experimental) sea distinto en hombres
que en mujeres (sexo como factor de clasicacion)
Mantener constante las condiciones de experimentacion.
Estadsticos. Severo (2010), se nala que son aquellos metodos que permiten
obtener ventajas de las caractersticas de la unidades experimentales y
permiten reducir la necesidad de control experimental, que es costoso
Creacion de bloques. Un bloque es un conjunto de unidades expe-
rimentales homogeneos en terminos de los factores de clasicacion,
3
sobre los cuales se aplican todos los tratamientos. De esta manera,
es posible eliminar todos los efectos de variables molestas propias del
bloque en el error experimental.
En psicologa, el tipo de bloqueo mas com un es utilizar a la perso-
na como bloque, sobre la cual se aplican todos los tratamientos. Es
importante recordar que solo se puede aplicar este metodo si el efec-
to sumativo de los distintos tratamientos es mnimo o es posible de
eliminar.
Uso de variables concomitantes o covariables: si existe una variable
numerica para la cual se sepa su valor y se sabe tiene inuencia sobre
la respuesta, se puede eliminar estadsticamente su efecto a traves
del analisis de covarianza, reduciendo as el error experimental.
1.4. Aleatorizacion
Severo (2010) se nala que la aleatorizacion es el procedimiento fundamental
que permite que los resultados del experimento sean validos, es decir, que las
estimaciones de los efectos sean teoricamente estables. A grandes rasgos, consiste
en que todas las unidades experimentales tienen la misma probabilidad de recibir
cualquier tratamiento.
Las consecuencias de la aleatorizacion son:
Permite asegurar que los errores experimentales son independientes entre
s, lo que asegura que no se subestime ni sobrestime la variacion debida al
tratamiento
Evita sesgos en la estimacion del error experimental y en los efectos del
tratamiento.
Evita los sesgos personales, inconscientes y conscientes, del investigador.
Se debe recordar que lo que se pide a la aleatorizacion es que la unidad
experimental reciba exactamente el mismo tratamiento que cualquier otra, lo
que implica que el contexto de aplicacion sea constante, como que las variables
de estado de la unidad experimental sean las mismas. Esto se traduce en, dentro
de lo posible, en cuidar de aleatorizar la situacion completa y desarrollar el
procedimiento experimental completo para cada unidad.
En el caso de la investigacion en psicologa, un caso particular se produce
cuando asumo como bloque a la persona. Si no se considera el orden de aplicacion
de los tratamientos como factor, debemos asignar de forma aleatoria el orden en
que se aplican los tratamientos, as como tambien debemos tener cuidado de eli-
minar dentro de lo posible los efectos residuales de la aplicacion del tratamiento
previo. Por ejemplo, si el estudio trata sobre el efecto de la m usica en el estado
de arousal, puede ser conveniente dejar pasar un da entre una aplicacion y otra
para lograr que las personas vuelvan a un estado basal homogeneo. En el caso
general del uso de bloques (grupos de personas o instituciones homogeneos),
basta con asignar los tratamientos al azar.
4
2. Analisis estadstico de experimentos
El dise no estadstico de experimentos tiene los siguientes objetivos
1. Calcular los efectos (medios) de cada uno de los niveles de mis factores
2. Calcular el grado de variabilidad dentro de mi experimento
3. Determinar si el efecto de uno o mas de mis factores es signicativo es-
tadsticamente, es decir, si las diferencias observadas entre las unidades
experimentales fuesen producto solo del error experimental.
2.1. Dise no completamiento aleatorizado de un factor: ANOVA
de una va
En el dise no completamiento aleatorizado (DCA), cada unidad experimental
tiene la misma probabilidad de ser asignado a un experimento. En nuestro caso,
trabajaremos con dise nos balanceados, es decir, que el n umero de elementos
asignado a cada tratamiento es el mismo. Para el analisis de este tipo de datos
se ocupa el llamado analisis ANOVA de una va.
Para representar el dise no del experimento, utilizaremos la notacion de los
modelos lineales. Un modelo lineal, en terminos simples, es la representacion de
una variable como una suma de funciones de las variables predictivas. Es decir,
la respuesta, que llamaremos Y , es igual a la suma ponderada de las variables
predictivas en su forma original o modicada, que podemos llamar X.
Por ejemplo, si se nalamos que el peso actual de un vehculo es igual a la
suma de lo que pesa su chasis mas las personas, podramos representarlo en
terminos de un modelo lineal como
peso
auto
= peso
chasis
+ peso
ocupantes
La nota nal de una asignatura, en el caso que exista nota de presentacion
y de examen, sera la suma ponderada
final = p
presentacion
presentacion + p
examen
examen
Donde p
presentacion
equivale a la ponderacion de la nota de presentacion y
p
examen
la ponderacion de la nota de examen
En el caso de un dise no completamente aleatorizado de un factor con k
niveles, con n personas por nivel, la representacion tpica de la respuesta es la
siguente
Y
ij
= +
i
+
ij
(1)
Si nuestra unidad experimenta es la persona, podemos leer esto de la siguien-
te manera: el valor de la respuesta para la persona n umero j que participo en
el tratamiento i (Y
ij
), es igual a un promedio general (), al cual se le suma
el efecto diferencial de su participacion en el tratamiento i(
i
), mas un error
5
experimental, correspondiente al efecto que tiene el experimento en la persona,
producto de los factores que no he controlado (
ij
)
Como ejemplo para los analisis subsiguientes, supongamos que queremos
estudiar el efecto del cafe expreso en el n umero de bostezos en una hora, de
personas que han dormido dos horas la noche anterior. El factor experimental
sera la cantidad de cafe tomado, que tendra dos niveles, cero tazas (0ml) y dos
tazas de 100ml (200ml). Se tomo una muestra de 10 personas, 5 de las cuales
fueron asignados al tratamiento 1 (0 tazas) y 5 al tratamiento 2(2 tazas), siendo
por tanto un dise no balanceado y aleatorizado. Los resultados obtenidos fueron
los siguientes
0ml 200ml
10 3
6 4
7 2
5 4
6 0
2.2. Estimacion de los efectos medios y errores experi-
mentales
A partir de la formula en (1), podemos ver la respuesta se divide en tres
componentes. A priori, se considera que el error experimental
ij
tiene media 0,
por lo que resta calcular el valor para y los
i
representa la media (esperanza) poblacional de la respuesta, independiente
del tratamiento. Es un valor teorico / hipotetico y desconocido, ya que corres-
ponde a la respuesta promedio en innitas aplicaciones de mi experimento. Sin
embargo, con la informacion disponible puedo estimar este valor.
El estimador de corresponde a la media aritmetica de todos los valores
obtenidos
=

Y

k
i=1

n
j=1
Y
ij
nk
Con los datos de nuestro experimento, el resultado sera
=
10 + 6 + 7 + 5 + 6 + 3 + 4 + 2 + 4 + 0
10
= 4,7
Si se jan, la va con un gorrito. Esto signica que estamos estimando el
valor de , que es un valor teorico, de todas las personas que podran participar
en nuestro experimento, a partir de los datos de nuestra muestra.
En segundo lugar, debemos reconocer el efecto producto de los tratamientos,
es decir, estimar
1
(efecto con respecto a la media del tratamiento 1) y
2
(efecto
con respecto a la media del tratamiento 2). Al igual que en el caso de , son
valores desconocidos e hipoteticos, que pueden ser estimados.
6
Para estimar los
i
, basta con calcular la media por grupo y restarle el
promedio general.

i
=

Y
i

n
j=1
Y
ij
n


Y

Para nuestro efecto, los estimadores de los efectos seran

1
=
10 + 6 + 7 + 5 + 6
5
4,7 = 2,1

2
=
3 + 4 + 2 + 4 + 0
5
4,7 = 2,1
De la forma en la cual hemos denido los efectos del tratamiento, como
diferencias con respecto al promedio, se cumple que su suma es 0, lo que es
claro al comprobar que 2,1 2,1 = 0. Estos datos se pueden interpretar como
El valor de
1
= 2,1 indica que la gente que tomo 0 tazas de cafe tuvo 2.1
bostezos mas que el promedio general del experimento.
El valor de
2
= 2,1 indica que la gente que tomo 2 tazas de cafe tuvo
2.1 bostezos menos que el promedio general del experimento.
Si obtenemos la diferencia entre el promedio de un grupo y otro, de 4,2,
podemos decir que las personas que no tomaron cafe tuvieron 4,2 bostezos mas
en promedio que las personas que tomaron dos tazas.
Finalmente, podemos calcular el error estimado para cada caso, considerando
que sabemos y
i
, despejando en (1)

ij
= Y
ij
( +
i
)
= Y
ij
(

+

Y
i

)
= Y
ij


Y
i
De esta manera, los errores experimentales para nuestro ejemplo son

11
= 10 6,8 = 3,2

12
= 6 6,8 = 0,8

13
= 7 6,8 = 0,2

14
= 5 6,8 = 1,8

15
= 6 6,8 = 0,8

21
= 3 2,6 = 0,4

22
= 4 2,6 = 1,4

23
= 2 2,6 = 0,6

24
= 4 2,6 = 1,4

25
= 0 2,6 = 2,6
7
2.3. Analisis de la variabilidad
Si bien el analisis de los efectos de los tratamientos es muy relevante, es muy
difcil tomar conclusiones si no tomamos en cuenta la variabilidad de los datos.
En nuestro caso, podemos ver que el n umero de bostezos en las personas que
no tomaron cafe estan en el rango 6 y 10, en tanto que en aquellos que tomaron
cafe estan entre 0 y 4. Es claro que ambos rangos no se solapan, lo que indica
una clara diferencia entre grupos. Pero, que pasa si hubiera un solapamiento?
Como establecemos un criterio que considere toda la informacion disponible?
Para realizar este analisis, introduciremos a la tecnica conocida como ANOVA
(Analisis de varianza). Si bien su analisis completo se debe realizar con cono-
cimientos de probabilidad y estadstica, es posible realizar una primera aproxi-
macion relativamente sencilla. El analisis consiste, a grandes rasgos, en separar
cuanto de la variabilidad de los datos, se debe al tratamiento y cuanto a error
experimental
En primer lugar, debemos gracar los datos, presentando cada valor como
un punto, en tanto que la media y los efectos de los niveles
i
se representan
como lneas que cruzan los datos pertinentes, tal como se ve en la Figura 1
Se puede ver, rapidamente, que hay dos datos que se alejan mucho mas que
lo normal para el resto de los casos; especcamente, correspondera al caso 1 en
el grupo de 0ml y al caso 10 en el grupo de 200ml. Si se tuviese mas informacion
disponible, habra que vericar si los datos fueson ingresados correctamente o
si se presento alguna situaci on particular para esos sujetos que pudiese explicar
su respuesta fuera de parametros.
Figura 1: Representacion graca de resultados del experimento
8
As como representamos el efecto de nuestros tratamientos mediante los
i
,
que corresponden al valor teorico correspondiente a la respuesta media (espe-
ranza) de los distintos grupos asignados a un nivel, el grado de variabilidad se
estudia usando la varianza.
La varianza corresponde al parametro que da cuenta del grado de dispersion
de los datos con respecto a su media. En este caso, podemos calcular dos va-
rianzas. La primera, corresponde a la dispersion de los datos individuales con
respecto a la media de su grupo, es decir, la varianza del error experimental. La
segunda, corresponde a la dispersion del promedio de los grupos con respecto al
promedio general
1
.
La varianza del error experimental V (
ij
) =
2

es teorica y desconocida.
Puede ser estimada mediante

k
i=1

n
j=1
(Y
ij
Y
i
)
2
k(n 1)
=

k
i=1

n
j=1

2
ij
kn k
Para nuestro ejemplo, sera

=
10,24 + 0,64 + 0,04 + 3,24 + 0,64 + 0,16 + 1,96 + 0,36 + 1,96 + 6,76
8
=
26
8
= 3,25
Este dato puede ser interpretado de la siguiente manera: un 95 % de los casos
debera encontrarse a 2

de la media de su grupo. En nuestro caso, siendo

2

3,6, podramos decir que para el grupo 1 esperamos que un 95 % de

los casos se encuentre entre 6,8 3,6 = (3,2, 10,4) y en el caso del grupo 2, el
95 % de los casos se encontrara entre 2,6 3,6 = (1, 6,2).
En la Figura 2 se muestran los margenes de error esperados para nuestro
experimento. Como se puede apreciar, todos los datos se encuentran dentro de
los margenes, pero resulta claro que estos sobreestiman la variabilidad tpica
de los datos. Aqu, podemos suponer que la varianza esta siendo inuda por
los dos casos extremos; si se observa la suma de los cuadrados, se puede ver
que el primer caso aporta 10,24 y el ultimo 6,76, muy por encima del siguiente
error cuadrado 3,24. Este es un indicador concreto del exceso de variabilidad
que provocan estos casos.
Con respecto a la varianza de la media de los tratamientos con respecto a
la medida general (s
2

), esta suma el error experimental con el efecto propio del

1
Si el experimentador selecciona los valores de los niveles,estos efectos son jos y la varianza
entre tratamientos se atribuye al diferencial de valores entre los efectos jos y la varianza del
error experimental . En el caso de ser niveles seleccionados al azar, corresponderan a efectos
aleatorios, y se considera que la varianza entre tratamientos se puede descomponer entre la
varianza entre los niveles de los efectos y la varianza del error experimental.
9
Figura 2: Representacion graca de resultados del experimento, con margenes
de error experimental
tratamiento. Considerando la expresion
s
2

k
i=1
(Y
i
Y

)
2
k 1
=

k
i=1

2
i
k 1
Teoricamente, se puede probar que la esperanza de este valor corresponde a
E(s
2

) =

k
i=1

2
i
k 1
+

2

n
(2)
Es decir, parte de la variabilidad en el tratamiento se debe al valor de los
i
,
y parte al error experimental. Inmediatamente, podemos ver que si aumentamos
el n umero de personas por tratamiento, un mayor porcentaje de la variabilidad
en los experimentos se podr a atribuir a los
i
.
Para nuestro ejemplo, el valor de s
2

es igual a
s
2

=
4,41 + 4,41
1
= 8,82
2.4. Prueba estadstica del efecto del experimento
Hemos visto que la variabilidad en las medias de tratamiento se debe tanto
a los
i
, como a la variabilidad propia del error experimental. Esto nos permite
realizar una prueba estadstica del efecto de nuestros tratamientos.
10
En terminos matematicos, me interesa probar que alguno de mis
i
es dis-
tinto a 0, es decir, que alguno de mis tratamientos, en la poblacion, tiene un
efecto en la respuesta. En terminos epistemologicos, se sabe que una hipotesis
general no puede ser probada, pero s refutada. Por tanto, me conviene plan-
tear la hipotesis inversa (que ning un nivel tiene efecto) y tratar de refutarla. En
terminos formales:
H
0
:
i
= 0, para i = 1, 2, ..., k
H
1
:
i
= 0, para alg un i
Esta prueba trata de mostrar que por lo menos un nivel de mi factor causa
un efecto en mi respuesta, no importa cual o cuales. Puede darse el caso que,
por ejemplo, de 10 niveles s olo 1 haga diferencia en la respuesta, por lo que un
analisis posterior debe discriminar exactamente cual nivel resulta de interes.
Volviendo a la prueba, si todos los
i
fuesen 0, como se nala la hipotesis
H
0
, poniendo a 0 los
i
en (2) y resolviendo, la esperanza de la varianza entre
tratamientos sera igual a
E(s
2

) =

k
i=1
0
k 1
+

2

n
=

2

n
Considerando que la esperanza de

es igual a
2
, podemos decir que para
n grandes :
E(
ns
2

) 1
A este cuociente le denominaremos F, y la ventaja que tiene es que cuenta
con propiedades conocidas. En particular, se sabe que se distribuye como una
F de Snedecor, de la forma
F F(k 1, k(n 1))
En terminos sencillos, signica que cuando se cumpla la H
0
, si yo hiciese
muchos experimentos mi valor F adoptara en promedio un valor cercano a
1 (exactamente
k(n1)
k(n1)2
) y puedo calcular una cota de conanza al nivel de
conanza que yo desee, para estimar cuan grande debe ser F antes de rechazar
H
0
. Si se revisa la tabla de F, se puede ver que para nuestro experimiento el
valor maximo de F que puedo aceptar antes de rechazar H
0
es 5,32.
El valor de F obtenido en nuestro experimento es de
F =
5 8,82
3,25
= 13,57
Que claramente esta por sobre el valor de corte de 5,32, por lo que puedo
rechazar H
0
y aceptar H
1
. Es decir, la ingestion de cafe produce un efecto
estadsticamente signicativo en el n umero de bostezos de los alumnos.
11
2.5. Tablas de ANOVA
Tradicionalmente, toda la informacion recolectada anteriormente se presenta
en la llamadas Tablas de ANOVA. Adoptan la estructura
Fuente GL Suma Cuadrados Cuadrado Medio F valor-p
Factor experimental k 1 (k 1)ns
2

ns
2

ns
2

P(F
H0
) > F
Error experimental k(n 1) k(n 1)

Los valores de la suma de cuadrado en bruto nos entregan informacion im-

portante, porque reejan la proporcion de la varianza total de los datos expli-
cados por cada factor. Sin embargo, para propositos de la hipotesis estadstica
es importante que nos jemos en los cuadrados medios, que corresponden a los
componentes de la division que nos sirven para calcular F.
En el caso de nuestro experimento, la salida del lenguaje R es
Df Sum Sq Mean Sq F value Pr(>F)
g 1 44.1 44.10 13.57 0.00619 **
Residuals 8 26.0 3.25
---
Signif. codes: 0 *** 0.001 ** 0.01 * 0.05 . 0.1 1
El valor-p indica que tan probable es que, dado que H
0
es verdadero, se
encuentra un valor igual o m as extremo que el nuestro. Tal como hemos se nalado,
el valor mnimo para rechazar H
0
es 5.32, por lo que 13,57 claramente es un
valor muy extremo, lo que se indica por el bajo valor p que reporta el software
(p = 0,00619)
Referencias
Montgomery, D. (2001). Design and analysis of experiments (J. W. . Sons, Ed.).
New York.
Severo, P. (2010). Estadstica experimental (Concytec, Ed.). Lima.
12