Escolar Documentos
Profissional Documentos
Cultura Documentos
Las revisiones sistemticas y, en especial, los meta-anlisis son un tipo de investigacin cient-
fica que tiene como propsito integrar de forma objetiva y sistemtica los resultados de los es-
tudios empricos sobre un determinado problema de investigacin, con objeto de determinar el
estado del arte en ese campo de estudio. Para alcanzar este objetivo, la realizacin de un me-
ta-anlisis requiere desarrollar una serie de etapas similares a las de cualquier investigacin em-
prica: (1) formulacin del problema, (2) definicin de los criterios de inclusin y bsqueda de
los estudios, (3) codificacin de las caractersticas de los estudios que puedan moderarlos resul-
tados; (4) clculo del tamao del efecto; (5) tcnicas de anlisis estadstico e interpretacin y (6)
publicacin del meta-anlisis. Dada la relevancia que est adquiriendo esta metodologa, el pro-
psito de este artculo es acercar las revisiones sistemticas y los meta-anlisis a los profesiona-
les de cualquier disciplina emprica. Con este propsito, en este artculo se describen las fases
en que se lleva a cabo un meta-anlisis y se ilustran con un ejemplo real del mbito de las cien-
cias de la educacin.
Palabras clave: revisin sistemtica, meta-anlisis, sntesis de la investigacin, tamao del efec-
to, calidad de la investigacin.
How to carry out a systematic review and a meta-analysis. Systematic reviews and, in particu-
lar, meta-analyses are a kind of scientific research aimed to objectively and systematically inte-
grate the results of a set of empirical studies about a given research problem, with the purpose
of determining the state of the art in that research field. To accomplish that objective, carrying
out a meta-analysis requires to develop a series of phases very similar to those of any empirical
research: (1) formulating the problem, (2) defining the inclusion criteria and searching for the
studies; (3) coding the study characteristics that can moderate the results, (4) calculating an ef-
fect size index, (5) defining the statistical analysis techniques and interpreting their results, and
(6) publishing the meta-analysis. Due to the relevance that this methodology is reaching, the pur-
pose of this article was to approximate systematic reviews and meta-analyses to professionals in
every empirical discipline. With this vein, in this article the phases of a meta-analysis are des-
cribed and they are also illustrated with a real example from the education sciences.
Keywords: systematic review, meta-analysis, research synthesis, effect size, research quality.
rico. No obstante, dado que la unidad de con la duracin de los mismos, as como con
anlisis en un meta-anlisis es el estudio caractersticas tales como la disponibilidad
emprico, mientras que en los estudios em- de instrucciones escritas, de prctica super-
pricos la unidad de anlisis suelen ser los visada o de realizar consultas al profesor? y
participantes seleccionados a partir de una o (c) estn los resultados de los programas
varias poblaciones, las fases de un meta- relacionados con otras caractersticas de los
anlisis presentan ciertas peculiaridades que estudios, tales como el curso, el rea de co-
es preciso clarificar. En trminos generales, nocimiento estudiada, el modo de evalua-
podemos plantear la realizacin de un meta- cin de la eficacia o la fuente de publicacin
anlisis siguiendo estas seis etapas: del estudio?.
pueden cumplir con los criterios de selec- se revisaron las referencias de los estudios
cin. Se recomienda en esta fase combinar empricos que se fueron seleccionando.
procedimientos formales e informales de
bsqueda de estudios. De entre las fuentes Codificacin de los estudios
formales, no puede faltar la consulta de ba- Una vez seleccionados los estudios que
ses bibliogrficas electrnicas, como ERIC, cumplen con los criterios establecidos en el
PsycInfo, MedLine, CINAHL, etc., depen- meta-anlisis, el paso siguiente es elaborar
diendo del mbito de estudio del meta-an- un Manual de Codificacin en el que se ha-
lisis. Otras fuentes formales se basan en la gan explcitos los criterios mediante los cua-
consulta directa de revistas especialmente les se van a codificar las caractersticas de
sensibles al problema investigado, as como los estudios. La razn de examinar dichas
la revisin de las referencias de los estudios caractersticas no es otra que comprobar qu
que se vayan localizando. Con objeto de pa- caractersticas de los estudios pueden estar
liar los posibles efectos nocivos del fenme- moderando o afectando a los resultados. La
no del sesgo de publicacin, se recomienda codificacin de las caractersticas de los es-
complementar el uso de fuentes formales tudios es, pues, una tarea imprescindible si
con fuentes informales de bsqueda, tales queremos explicar por qu los estudios so-
como contactar con expertos de reconocido bre un mismo tema alcanzan resultados dife-
prestigio en el campo para solicitarles estu- rentes, e incluso en ocasiones contradicto-
dios no publicados, acceder a los colegios rios (Lipsey y Wilson, 2001).
invisibles o consultar libros de actas de Con este propsito se elabora un Proto-
congresos, tesis doctorales y otras estrate- colo de Registro de las variables moderadoras
gias que permitan acceder, en la medida de de los estudios y se aplica a todos ellos. Aten-
lo posible, a la literatura fugitiva (Roths- diendo a su procedencia conceptual, es habi-
tein y Hopewell, 2009). Con objeto de ana- tual distinguir entre caractersticas metodol-
lizar la fiabilidad del proceso de seleccin gicas, sustantivas y extrnsecas. Las caracte-
de los estudios, al menos dos codificadores rsticas metodolgicas son aqullas que tie-
deben realizar dicho proceso de forma inde- nen que ver con la metodologa y el diseo
pendiente y comprobar el grado de acuerdo. del estudio como, por ejemplo, el tipo de di-
En el meta-anlisis de Erion (2006) se seo (experimental vs. cuasi-experimental) el
definieron los siguientes criterios de inclu- tipo de grupo de control (placebo vs. control
sin de los estudios: (a) el estudio tena que puro), la inclusin o no de medidas pretest, la
incluir dos grupos de estudiantes, uno de mortalidad experimental, el tamao muestral
ellos actuando como grupo de control; (b) el o el uso de evaluadores enmascarados, o cie-
programa de intervencin tena que implicar gos, al tratamiento recibido por el sujeto que
tareas de tutorizacin realizadas por los pa- est siendo evaluado. En el meta-anlisis de
dres, u otros miembros de la familia, en el Erion (2006) una caracterstica metodolgica
hogar; (c) los participantes tenan que en- registrada fue si el instrumento de evaluacin
contrarse en edad escolar; (d) las variables del resultado del alumno estaba o no debida-
dependientes tenan que referirse a habilida- mente baremado o referenciado.
des escolares bsicas (e.g., lectura, pronun- De especial inters en esta fase es la va-
ciacin, matemticas y expresin escrita); loracin de la calidad metodolgica de los
(e) deba aportar los datos estadsticos perti- estudios empricos, ya que sta puede estar
nentes para poder calcular el tamao del estadsticamente relacionada con los resulta-
efecto, y (f) tena que estar escrito en ingls. dos de los estudios. Bsicamente, existen dos
Respecto de los procedimiento de bsqueda enfoques para la medicin de la calidad, el
de estudios, el meta-anlisis de Erion (2006) que se centra en el anlisis de componentes
realiz bsquedas electrnicas en las bases individuales de calidad y el que aplica esca-
ERIC, PsycInfo y Dissertation Abstracts las de calidad (Littell, Corcoran y Pillai,
Online entre los aos 1970 y 2004. Adems, 2008). La medicin de la calidad a partir de
CMO REALIZAR UNA REVISIN SISTEMTICA Y UN META-ANLISIS 57
Clculo del tamao del efecto ca (e.g., aprueba vs. suspende, mejora vs. no
Al mismo tiempo que se codifican las mejora).
caractersticas de los estudios, se hace preci- Al igual que el proceso de codificacin
so calcular un ndice estadstico que sea ca- de las caractersticas de los estudios, el cl-
paz de reflejar la magnitud del efecto obte- culo de los tamaos del efecto en los estu-
nido en cada estudio. Ese ndice estadstico dios debe someterse a un anlisis de su fia-
tiene que ser tal que pueda calcularse de for- bilidad, mediante la realizacin de dichos
ma homognea en todos los estudios, de for- clculos por, al menos, dos codificadores de
ma que sea capaz de poner en la misma m- forma independiente, con objeto de compro-
trica los resultados de los estudios. Esta ho- bar el acuerdo alcanzado entre ellos.
mogeneizacin de la unidad de medida de En el meta-anlisis de Erion (2006), al
los resultados es necesaria porque los estu- incluir estudios con dos grupos de estudian-
dios analizan sus resultados de formas muy tes, uno que reciba el programa de tutoriza-
diversas, tales como a travs de medias y cin parental y el otro que actuaba como
desviaciones tpicas, proporciones de xito grupo de control, y medir los resultados de
(o de fracaso), mediante la aplicacin de forma continua mediante pruebas de rendi-
pruebas estadsticas diferentes, tales como miento escolar, se utiliz como ndice del ta-
pruebas t de diferencias entre medias, prue- mao del efecto la diferencia media tipifica-
bas F de ANOVA, pruebas Chi-cuadrado de da, un ndice de la familia d, que se obtiene
Pearson, etc. mediante:
La mejor forma de unificar la unidad
mtrica del resultado de los estudios es me-
diante el clculo de un ndice del tamao del
efecto. El tamao del efecto es un ndice es-
tadstico que mide el grado en que existe el siendo nT y las medias de los grupos tratados
fenmeno que se est investigando en cada y de control una vez finalizado el programa,
estudio y no se deja afectar por el tamao S es la desviacin tpica conjunta de los dos
muestral, como ocurre con las pruebas de grupos, que se obtiene mediante:
significacin estadstica (Cohen, 1988). Se
han propuesto en la literatura diferentes fa-
milias de ndices del tamao del efecto cuya
adecuada aplicacin depende del objetivo
del estudio, del diseo empleado y de la na- Siendo nT y nC los tamaos muestrales
turaleza de las variables medidas (Borens- de los dos grupos, y c(m) es un factor de co-
tein et al., 2009; Hedges y Olkin, 1985; Sn- rreccin para muestras pequeas, que se cal-
chez-Meca, 2008). Los ndices del tamao cula mediante:
del efecto ms frecuentemente utilizados en
los meta-anlisis son: (a) la familia d, espe-
cialmente indicada para estudios que aplican
diseos con dos grupos y el resultado se mi- Siendo N = nT + nC. En el meta-anlisis
de de forma continua, y que consiste en cal- de Erion (2006), valores d positivos refleja-
cular la diferencia entre las medias de los ron un mejor rendimiento en el grupo que
dos grupos y, opcionalmente, dividirla por la recibi el programa de tutorizacin parental,
desviacin tpica conjunta de ambos grupos; mientras que los valores negativos indicaron
(b) la familia r, especialmente indicada para lo contrario.
estudios correlacionales, que se basa en la
obtencin de un coeficiente de correlacin, Anlisis estadstico e interpretacin
y (c) la familia de ndices de riesgo, que es- Una vez codificadas las caractersticas
t indicada para estudios con dos grupos en de los estudios y calculados los tamaos del
los que la variable de respuesta es dicotmi- efecto, toda esta informacin se informatiza
CMO REALIZAR UNA REVISIN SISTEMTICA Y UN META-ANLISIS 59
creando una base de datos en la que las filas comn a todos los estudios. La decisin de
son los estudios y las comunas son las varia- qu modelo estadstico asumir debera
bles potencialmente moderadoras de los re- guiarse en funcin de qu grado de hetero-
sultados de los estudios, as como el tamao geneidad espera encontrar el meta-analista
del efecto obtenido en cada estudio. Un pa- entre los tamaos del efecto o, si no es capaz
so previo en el anlisis estadstico consiste de hacer una prediccin a este respecto, pue-
en describir las caractersticas de los estu- de tomar la decisin en funcin del resulta-
dios que se han codificado, con objeto de do de alguna prueba de heterogeneidad. Una
obtener una imagen prototpica de los estu- descripcin ms detallada de estos dos mo-
dios. Una vez hecho esto, el anlisis estads- delos puede consultarse en Konstantopoulos
tico tpico de un meta-anlisis pasa por tres y Hedges (2009), Raudenbush (2009), en
fases (Lipsey y Wilson, 2001; Marn-Mart- Snchez-Meca et al. (2006) o en Snchez-
nez, Snchez-Meca y Lpez-Lpez, 2009): Meca y Marn-Martnez (2010).
(1) clculo del tamao del efecto medio con Para ilustrar los resultados de un meta-
su intervalo de confianza y valoracin de su anlisis, siguiendo con el de Erion (2006), el
significacin estadstica; (2) anlisis de la tamao del efecto medio obtenido para el
heterogeneidad de los tamaos del efecto, y conjunto total de 32 estudios fue una dife-
(c) si los tamaos del efecto son heterogne- rencia media tipificada d+ = 0,54 (lmites
os, bsqueda de variables moderadoras de confidenciales: 0,43 y 0,65) asumiendo un
tal variabilidad. modelo de efectos fijos y d+ = 0,71 (lmites
En este punto es importante hacer notar confidenciales: 0,48 y 0,92), asumiendo un
que los estudios individuales de un meta- modelo de efectos aleatorios. Ambos efectos
anlisis habrn utilizado tamaos muestrales medios fueron estadsticamente significati-
diferentes, lo cual afecta a la precisin de las vos, al no contener sus respectivos interva-
estimaciones del tamao del efecto obteni- los de confianza el efecto nulo (d = 0). Ade-
das. Cuanto mayor es el tamao muestral de ms, siguiendo la gua orientativa de Cohen
un estudio, tanto mayor es su precisin. Los (1988), segn la cual ndices d en torno a
anlisis estadsticos que se realizan en un 0,2, 0,5 y 0,8 se pueden interpretar como re-
meta-anlisis ponderan el tamao del efecto flejando una magnitud del efecto baja, me-
obtenido en cada estudio en funcin de su dia y alta, respectivamente, podemos consi-
precisin, de forma que el factor de ponde- derar que el efecto medio de los programas
racin de cada estudio es la inversa de su va- de tutorizacin parental sobre el rendimien-
rianza. Pero para llevar a cabo estos anlisis to escolar es de magnitud media-alta y, por
el meta-analista tiene primero que plantear tanto, representa una significacin educativa
el modelo estadstico desde el cual va a pon- relevante.
derar los tamaos del efecto. Son dos los Un tipo de representacin grfica muy
modelos estadsticos tpicos en meta-anli- til en meta-anlisis es el forest plot, que
sis: los modelos de efectos fijos y de efectos presenta para cada estudio individual su ta-
aleatorios (Snchez-Meca, Marn-Martnez mao del efecto junto con los lmites confi-
y Huedo, 2006). denciales, tanto de forma numrica como
Bajo el modelo de efectos fijos se asume grfica, y en la parte inferior del mismo fi-
que todos los estudios estn estimando a un gura el tamao del efecto medio. Como
mismo tamao del efecto poblacional, de ejemplo, en la Figura 1 se presenta el forest
forma que la nica variabilidad entre los ta- plot con los resultados del meta-anlisis de
maos del efecto se deber al error de mues- Erion (2006). Su inspeccin permite obtener
treo. Desde el modelo de efectos aleatorios una visin global de los resultados y el gra-
se asume que cada estudio estima a su pro- do de heterogeneidad existente entre los ta-
pio tamao del efecto poblacional, enten- maos del efecto individuales.
diendo que existe una distribucin de tama- Pero el modo ms apropiado de alcanzar
os del efecto poblacionales y no uno slo el segundo objetivo analtico de un meta-
60 JULIO SNCHEZ-MECA
Figura 1. Forest plot del meta-anlisis de Erion (2006) sobre la eficacia de la tutorizacin parental. d: di-
ferencia media tipificada de cada estudio. ET: error tpico de cada ndice d. di y ds: lmites confidencia-
les inferior y superior al 95% en torno al ndice d.
anlisis, el de comprobar si los tamaos del resultados una alta heterogeneidad entre los
efecto son heterogneos, consiste en aplicar tamaos del efecto de los estudios.
la prueba de heterogeneidad, Q, que si al- Si existe heterogeneidad entre los tama-
canza la significacin estadstica significa os del efecto, entonces se hace preciso exa-
que los tamaos del efecto son heterogneos minar el influjo de caractersticas de los es-
entre si y, en consecuencia, el tamao del tudios previamente codificadas, que actan
efecto medio no los representa bien. El re- como variables predictoras, sobre los tama-
sultado del estadstico Q se suele comple- os del efecto, que actan en el anlisis co-
mentar con el ndice I2, un estadstico que mo la variable dependiente. As, mediante
cuantifica, en porcentaje, la cantidad de he- tcnicas de ANOVA y de anlisis de regre-
terogeneidad existente entre los estudios, de sin, ambas ponderadas, es posible analizar
forma que ndices I2 en torno al 25%, 50% y el influjo de variables moderadoras. Como
75% se pueden interpretar como reflejando ejemplo, la Tabla 1 presenta los resultados
heterogeneidad baja, media y alta, respecti- del ANOVA calculado con los datos del me-
vamente (Borenstein et al., 2009). En el me- ta-anlisis de Erion (2006) para comprobar
ta-anlisis de Erion (2006), la prueba Q de si la duracin del programa de tutorizacin
heterogeneidad fue Q(31) = 117,17, p < (clasificado como corta, 1-9 semanas, me-
0,001, estadsticamente significativa, y el dia, 10-29 semanas, y larga, 30 ms sema-
ndice I2 = 73,5%, reflejando pues, ambos nas) afect a los tamaos del efecto. Como
CMO REALIZAR UNA REVISIN SISTEMTICA Y UN META-ANLISIS 61
Tabla 1. Resultados del ANOVA ponderado aplicado sobre los tamaos del efecto tomando la duracin
del programa como variable independiente.
Duracin I. C. al 95%
del programa k d+ di ds
k: nmero de estudios. d+: tamao del efecto medio de cada categora de la variable independiente. di y ds: lmites con-
fidenciales inferior y superior del I.C. al 95% en torno al tamao del efecto medio de cada categora. QB: prueba esta-
dstica de contraste de diferencias entre los tamaos del efecto medios de las categoras. QW: prueba de homogeneidad
intra-categora. p: nivel crtico de probabilidad.
se puede observar en dicha tabla, conforme estudio, una definicin de los constructos
aument la duracin del programa de tutori- implicados en el planteamiento del proble-
zacin el tamao del efecto medio se incre- ma, as como los objetivos concretos perse-
ment de 0,41 para los programas cortos guidos y, en su caso, las hiptesis. La sec-
hasta 1,09 para los programas largos. Ade- cin Mtodo debe contener todos los datos y
ms, la diferencia entre los tres tamaos del decisiones tomadas en el proceso de revi-
efecto medios fue estadsticamente signifi- sin para que el meta-anlisis pueda ser re-
cativa, segn el resultado de la prueba QB de plicado por otros investigadores. As, no
comparacin inter-categoras: QB(2) = 6,15, puede faltar una descripcin de los criterios
p = 0,046. Adems, el ANOVA aporta el es- de inclusin y exclusin de los estudios, las
tadstico QW, que permite comprobar si estrategias de bsqueda de los estudios utili-
existe homogeneidad dentro de cada catego- zadas, el proceso de codificacin de las ca-
ra. En este caso, dicha prueba tambin al- ractersticas de los estudios y una descrip-
canz la significacin estadstica: QW(29) = cin del ndice del tamao del efecto junto
111,02, p < 0,001, por lo que debemos con- con las tcnicas de anlisis estadstico apli-
cluir que deben existir otras variables mode- cadas. De la precisin y meticulosidad con
radoras relevantes, aparte de la duracin del que se reporte esta seccin del informe de-
programa, capaces de explicar parte de la pender el grado en que el lector podr ha-
heterogeneidad de los tamaos del efecto. cer una lectura crtica del meta-anlisis y va-
lorar sus posibles deficiencias. En la seccin
Publicacin de Resultados se presentan los tamaos del
La ltima etapa en la realizacin de un efecto, el efecto medio y los datos estadsti-
meta-anlisis, como la de cualquier otra in- cos pertinentes para valorar su significacin
vestigacin, es su publicacin. Al tratarse de y, en su caso, los anlisis realizados para
una investigacin emprica, las secciones comprobar el influjo de variables moderado-
que debe incluir el informe escrito del meta- ras de los resultados. Por ltimo, en la sec-
anlisis son las tpicas de un estudio empri- cin de Discusin y Conclusiones los resul-
co: introduccin, mtodo, resultados y dis- tados del meta-anlisis se ponen en relacin
cusin y conclusiones (Botella y Gambara, con los objetivos e hiptesis, as como con
2006; Clarke, 2009; Snchez-Meca y Bote- las evidencias previas. Tambin se debe in-
lla, 2010). cluir una descripcin de las implicaciones
La Introduccin del informe debe in- clnicas, educativas o sociales de los resulta-
cluir una panormica del problema objeto de dos, cules pueden ser las limitaciones del
62 JULIO SNCHEZ-MECA
estudio meta-analtico y apuntar lneas futu- tienen que tomar continuamente para opti-
ras de investigacin en ese campo. Puede mizar su prctica profesional. Es por ello
consultarse en Snchez-Meca y Botella que las revisiones sistemticas y los meta-
(2010) una gua orientativa sobre cmo de- anlisis se han imbricado profundamente en
be escribirse un meta-anlisis. el enfoque de la Prctica Basada en la Evi-
dencia como una herramienta metodolgica
Reflexiones finales imprescindible para desvelar cules son las
mejores evidencias, o pruebas cientficas,
No cabe duda que las revisiones siste- acerca de cualquier problema o pregunta
mticas y los meta-anlisis estn ejerciendo social, educativa, clnica, etc. Al mismo
un importante papel en la acumulacin del tiempo, la evaluacin de la calidad metodo-
conocimiento cientfico y, en consecuencia, lgica de los estudios primarios, y de la in-
se han convertido en un potente instrumen- vestigacin en general, es una cuestin fun-
to para ayudar en la toma de decisiones que damental que trasciende al meta-anlisis y
los profesionales de cualquier mbito profe- se imbrica en las propias races del mtodo
sional de las ciencias sociales y de la salud cientfico.
Referencias
Borenstein, M., Hedges, L.V., Higgins, J.P.T. y Hunt, M. (1997). How science takes stock: The
Rothstein, H.R. (2009). Introduction to meta- story of meta-analysis. Nueva York: Russell
analysis. Chichester, UK: Wiley. Sage Foundation.
Botella, J. y Gambara, H. (2002). Qu es el meta- Hyde, J.S. y Linn, M.C. (1986). The psychology
anlisis. Madrid: Biblioteca Nueva. of gender: Advances through meta-analysis.
Botella, J. y Gambara, H. (2006). Doing and repor- Baltimore, MD: Johns Hopkins University
ting a meta-analysis. International Journal of Press.
Clinical and Health Psychology, 6, 425-440. Konstantopoulos, S. y Hedges, L.V. (2009).
Chalmers, I., Hedges, L.V. y Cooper, H. (2002). A Analyzing effect sizes: Fixed-effects models.
brief history of research synthesis. Evalua- En H. Cooper, L.V. Hedges y J.C. Valentine
tion and the Health Professions, 25, 12-37. (Eds.), The handbook of research synthesis
Clarke, M. (2009). Reporting format. En H. Coo- and meta-analysis 2 ed. (pp. 279-293). Nue-
per, L.V. Hedges y J.C. Valentine (Eds.), The va York: Russell Sage Foundation.
handbook of research synthesis and meta- Last, J.M. (2001). A dictionary of epidemiology.
analysis 2 ed. (pp. 279-293). Nueva York: Oxford, UK: Oxford University Press.
Russell Sage Foundation. Lipsey, M.W. y Wilson, D.B. (2001). Practical
Cooper, H. (2010). Research synthesis and meta- meta-analysis. Thousand Oaks, CA: Sage.
analysis: A step-by-step approach (3 ed.). Littell, J. H., Corcoran, J. y Pillai, V. (2008).
Thousand Oaks, CA: Sage. Systematic reviews and meta-analysis. Ox-
Cooper, H., Hedges, L.V. y Valentine, J.C. ford, UK: Oxford University Press.
(Eds.)(2009). The handbook of research Marn-Martnez, F., Snchez-Meca, J. y Lpez-
synthesis and meta-analysis (2 ed.). Nueva Lpez, J.A. (2009). El meta-anlisis en el
York: Russell Sage Foundation. mbito de las Ciencias de la Salud: Una me-
Erion, J. (2006). Parent tutoring: A meta-analysis. todologa imprescindible para la eficiente
Education and Treatment of Children, 29, 79- acumulacin del conocimiento. Fisioterapia,
106. 31, 107-114.
Glass, G.V. (1976). Primary, secondary, and meta- Martn, J.L.R., Tobas, A. y Seoane, T. (Coords.)
analysis of research. Educational Researcher, (2006). Revisiones sistemticas en las cien-
10, 3-8. cias de la vida. Toledo: FISCAM.
Hedges, L.V. y Olkin, I. (1985). Statistical me- Orwin, R.G. y Vevea, J.L. (2009). Evaluating co-
thods for meta-analysis. Orlando, FL: Acade- ding decisions. En H. Cooper, L.V. Hedges y
mic Press. J.C. Valentine (Eds.), The handbook of rese-
Higgins, J.P.T. y Green, S. (Eds.)(2008). Cochra- arch synthesis and meta-analysis 2 ed. (pp.
ne handbook for systematic reviews of inter- 177-203). Nueva York: Russell Sage Foun-
ventions. Chichester, UK: Wiley-Blackwell. dation.
CMO REALIZAR UNA REVISIN SISTEMTICA Y UN META-ANLISIS 63