194

Méthodes
qualitatives en
recherche en santé
et en psychiatrie

Editorial - Comité de rédaction (Editorial – Comité de redacción)

Recherche qualitative. Quelle définition ? M Villamaux (Investigación cualitativa ¿Qué
definición)
Étapes d'une recherche qualitative (Etapas de una investigaióncualitativa) No disponible
Méthodes, techniques et épistémologies de l'analyse qualitative. X Briffault (Métodos,
técnicas y epistemologías de la investigaciñon cualitativa)
Subjectivité du chercheur et qualitatif en recherche. MThurin (Subjetividad del
investigador y lo cualitativo en investigación)
Quels outils pour l'analyse de données qualitatives?. X Briffault (¿Qué herramientas para
el análisis de datos cualitativos?
Recherche qualitative et EBM. JM Thurin (Investigación cualitativa y EBM)
Études qualitatives en psychanalyse. B Lapeyronnie (Estudios cualitativos en
Psicoanálsis) No disponible
Évaluation de la recherche qualitative. M Falk-Vairant (Evaluación de la investigación
cualitativa).
Traducción: Telma Piacente

Editorial - Pour la recherche

Comité de redacción

En el nº 33 de Pour la Recherche de junio de 2002, destinado al tema de la

investigación cualitativa, anunciamos la presentación de otro número sobre esta
cuestión. Es el que ahora ofrecemos.

En el primer número se presentó una aproximación global, un desciframiento del

concepto y algunas de sus aplicaciones. Actualmente, después de una lectura de
numeosos artículos sobre la cuestión, intentaremos presentar los instrumentos y
los ejemplos en una perspectiva de incitación a la investigación, objetivo principal
de esta Revista.

Si bien resulta útil distinguir los enfoques cuantitativo y cualitativo, es insensato

oponerlos. Por ejemplo, tomemos un instrumento de evaluación como el The
Psychotherapy Process Q-set (PQS) in Therapeutic Action, de Jones, que
 195

comprende 3 tipos de ítems: 1) elementos descriptivos de la actitud y el

comportamiento o experiencia del paciente, 2) elementos que reflejan las
acciones y las actitudes del terapeuta, 3) elementos que intentan delimitar la
naturaleza de la interacción de la díada, el clima o la atrmósfera de la sesión.
Estas cuestiones se le presentan a un observador que escucha las sesiones
enteras registradas. Los autores presentan a este instrumento como de utilidad
para la investigación cuantitativa. Pero, si observamos algunas cuestiones,
notaremos algunas dificultades

1) El paciente verbaliza sentimientos negativos (es decir manifiestas, crítica,

hostilidad) hacia su analista (vs. aprueba o admite las observaciones) o
2. El terapeuta presta atención al comportamiento no verbal del paciente, es decir,
a la posición del cuerpo y al gestual; o también,
3. Los propios conflictos emocionales del terapeuta se introducen en la relación
terapeútica.
¿Aquí se atiende solamente a lo cuantitativo? Se cuantifica lo cualitativo para
decirlo rápidamente.

Y por supuesto, no obtenemos el mismo tipo de resultados que si pretendamos

comprender las intervenciones del experto (planteamiento cualitativo).

Este número propone reflexionar sobre una definición pragmática de la

“investigación cualitativa”, dirigiéndose rápidamente a las principales etapas
Luego presenta los métodos, técnicas y epistemologías del análisis cualitativo así
como de las herramientas para el análisis de los datos. Un cuadro presenta los
numerosos estudios ya efectuados en el ámbito específico del psicoanálisis y sus
principales resultados. En recuadros se ofrecen algunos ejemplos de
investigadores clínicos que pusieron el concepto a prueba. En el número anterior
destinado a la Investigación, abordábamos el concepto difícil de EBM. Un artículo
aborda la cuestión de sus relaciones con la investigación cualitativa.

No pretendemos en este número, como no lo hicimos en el precedente, hacer un

recorrido de la cuestión, pero tenemos el sentimiento de avanzar. Este tipo de
investigación se organiza y con la introducción de tecnologías (informáticos,
televisivos) y el refinamiento de las recopilaciones de datos, se abrieron las
posibilidades para una verdadera investigación cualitativa que debería aportar
mucho a los clínicos y a sus pacientes.

Investigación cualitativa. ¿Qué definición?

Michaël Villamaux

“Conociendo hasta que punto los métodos de investigación forman una parte
extremadamente diversificada y variable de la historia de las ciencias, delimitar y
 196

caracterizar globalmente lo que solemos llamar “investigación cualitativa” resulta

en sí misma una tarea paradójica y condenada al fracaso desde su inicio”.

Constatación radical, que realiza Alvaro P. Pires en 1997, en una obra colectiva
sobre aquello que está en juego en los niveles epistemológicos y metodológicos
de la investigación cualitativa. Menos de diez años más tarde, su opinión parece
siempre pertinente. Pocos autores se arriesgan a una definición precisa.

Christine Brown y Keith Loyd (2001) comienzan así su introducción: “Los métodos
de investigación cualitativa se utilizan para recoger y analizar datos que no
pueden ser representados por números”.

La alusión es clásica, a falta de una definición precisa, en el mejor de los casos la

diferencia se establece respecto del territorio de cada una: las cifras corresponden
a los métodos cuantitativos, las letras a los métodos cualitativos. Y eso termina la
disputa. Como justamente recuerdan con mucha razón Brown y Lloyd, no está
lejos el tiempo en que la investigación cualitativa era todo lo que no era la
investigación cuantitativa, sin más precisión, ni de consideración. A lo sumo la
investigación cualitativa podía considerarse como una ayuda puntual.

En 2000, Ursula Hess, Sacha Senécal y Robert J. Vallerand escribían, en una

importante obra sobre los métodos de investigación en psicología: “Para que la
operacionalización de las variables sea válida, es indispensable un conocimiento
profundo del fenómeno del estudio. La primera etapa exploratoria, cuando se
aborda un nuevo tema, en consecuencia generalmente consiste en la descripción
del fenómeno en estudio. Una vez obtenida la descripción, puede servir de base
para los estudios experimentales subsiguientes. Varios de los métodos o técnicas
desarrolladas en un marco cualitativo son especialmente útiles con el fin de
obtener tales descripciones”

Si se avanza más lejos en el texto, se encuentra lo siguiente: “Sin embargo, es

necesario comprender que a pesar del hecho de que los métodos cualitativos
resulten muy útiles como parte integral del repertorio de un investigador, no
permiten establecer el vínculos de causalidad ni verificar predicciones. Son más
bien útiles con el fin de crear una base de conocimiento que puede conducir a
pistas iniciales para un programa de búsqueda de tipo cuantitativo”.

El debate podría ser legítimo, si tuviera por único objetivo encontrar el método
más adecuado para responder a la cuestión que se plantea, a la hipótesis que se
quiere probar.

La reflexión llevada sobre la validez de los métodos utilizados, sus dificultades

prácticas…, serían comprensibles en este marco. Las investigaciones cualitativas
versus cuantitativos podrían completarse, añadirse, siempre con el fin de
comprender mejor el objeto estudiado.

Para reanudar un ejemplo citado por Alvaro P. Pires (1997), no se encontraría

contradictorio que un naturalista, con el propósito de comprender mejor una
especie de ave rapaz, a la vez pueda capturar al animal con el fin de medir su
 197

tamaño y filmar su comportamiento en vuelo para comprender mejor cómo caza.

Desafortunadamente, la situación es bastante diferente en las ciencias humanas y
en la psiquiatría. El objeto de estudio de estas disciplinas, a saber el tema
humano, desencadena las pasiones en mayor medida. Más allá de los aspectos
técnicos de la investigación, y eso tanto para la sociología, la psicología como
para la psiquiatría…, las consideraciones filosóficas sobre la naturaleza del objeto
alimentan el debate sobre los argumentos epistemológicos acerca del lugar del
observador en la investigación. Debate que oculta mal otro problema recurrente
en estas disciplinas: su supuesto estatuto científico comparado con el de las
ciencias duras (la física, por ejemplo), fragilidad que impulsa a menudo a algunos
investigadores a redoblar de esfuerzos para lavar más blanco que blanco.

De este modo, la naturaleza de la investigación, cualitativa versus cuantitativa,

sería sobre todo una toma de partido adoptada en función de una corriente de
pensamiento o de una epistemología particular. Esquemáticamente, una
investigación cualitativa haría más referencia a un marco constructivista o
subjectivista, mientras que una investigación cuantitativa sería más próxima a una
opción positivista, realista o aún objectivista.

¿Entonces qué hacer?

A nuestro modo de ver, la construcción de una investigación recurre
necesariamente a consideraciones epistemológicas y teóricas tanto en función de
la cuestión que se plantea como también del objeto estudiado. Las elecciones
metodológicas se derivan pero no la caracterizan. “Ciertamente, algunas
perspectivas epistemológicas valorizan especialmente unos u otros tipos de
datos, circunstancia que llevó a los investigadores a asociar, erróneamente, la
explotación de estos datos con la axiomática epistemológica en cuestión: las
cifras se asimilaron al realismo y las letras, al constructivisme (Pires, 1997)”, pero
nada hace pensar que estas aproximaciones sean necesarias. Al contrario, a
veces estamos tentados en pensar que la oposición cualitativo versus cuantitativo
oculta sobre todo peleas más ideológicas y políticas más que metodológicas.

En ausencia de una definición precisa del término, podemos concentrarnos sobre

su uso: ¿qué métodos habitualmente se califican de cualitativos? Brown y Lloyd
(2001) los agrupan en tres categorías: la observación, la entrevista y el estudio de
documentos escritos.

La observación es más o menos estructurada. El investigador define a priori, qué

es aquello que desea observar en función de los objetivos de la investigación y los
instrumentos que desea utilizar: cámara, papel/lápiz, magnetófono, etc. Su
implicación in situ puede ser variable, se habla a veces de observación
participante cuando el investigador es a la vez protagonista y observador de la
situación estudiada.

Como ocurre con la observación, la entrevista puede ser más o menos

estructurada. Por ejemplo, el investigador puede proponer un tema general y a
continuación activar la opinión de su interlocutor, o en situaciones que lo
requieren, puede administrar un hétero cuestionario. La entrevista se desarrolla
habitualmente cara a cara, no obstante, y de manera progresivamente más
 198

frecuente, puede realizarse telefónicamente. A menudo se la registra,

posteriormente se la retranscribe y analiza. Tradicionalmente es individual, pero
puede estar organizada en grupo (el nombre tradicional de esta práctica es: grupo
focal- focus group). Finalmente, el estudio de documentos escritos, como su
nombre lo indica, consiste principalmente en el análisis de textos como por
ejemplo, las notas médicas, las correspondencias, los diarios íntimos, la prensa,
aunque además podría adaptarse al análisis de imágenes. Este tipo de trabajo a
menudo se consideró como ideal, dado que se trata de una recopilación de
información a posteriori sin intervención previa del investigador.

En resumen
La investigación cualitativa produce grandes cantidades de datos textuales en
forma de transcripciones y notas de observación de terreno.

La preparación sistemática y rigurosa, y el análisis de estos datos requieren

tiempo y demandan mucho trabajo.

Frecuentemente el análisis de los datos se realiza junto a su recopilación para

permitir que las cuestiones puedan redefinirse y desarrollar nuevas vías de
investigación (enquête).

Los datos textuales típicamente se exploran de manera inductiva utilizando el

análisis de contenido para generar categorías y explicaciones; los programas
informáticos pueden ayudar al análisis pero no deberían considerarse como atajos
de un análisis sistemático y riguroso.

Un análisis de alta calidad de datos cualitativos depende de la habilidad, la visión

y la integridad del investigador; ese análisis no debería dejarse en manos de un
principiante.

1. Pope, C., Ziebland, S., & Mays N. (2000). L'analyse des données qualitatives.
BMJ, 2000, Vol. 320, 8. Disponible on line www.bmj.com

2. Brown, C. & Lloyd, K. (2001). Qualitative methods in psychiatric research.

Advances in Psychiatric treatment, 7, 350-356.

3. Hess, U., Senécal, S. & Vallerand, R.J. (2000). Les méthodes quantitative et
qualitative de recherche en psychologie. In R.J. Vallerand & U. Hess (eds.),
Méthodes de recherche en psychologie. Boucherville: Gaëtan Morin Editeur.

4. Pires, A. P. (1997). De quelques enjeux épistémologiques d'une méthodologie

générale pour les sciences sociales. In J. Poupart, J.-P. Deslauriers, L.
Groulx, A. Laperrière, R. Mayer & A.P. Pires (eds.), La recherche qualitative:
enjeux épistémologiques et méthodologiques. Boucherville: Gaëtan Morin
Editeur.

*****
 199

Etapas de una investigación cualitativa

NO DISPONIBLE
*****

Métodos, técnicas y epistemologías del análisis

cualitativo
Xavier Briffault

Los enfoques cualitativos son diversos, pero comparten características comunes.

El análisis es generalmente de tipo holista, con vistas a la comprensión del todo
“mayor que la suma de sus partes”. El análisis está contextualizado, conducido en
situaciones “ecológicas”, y busca comprender las lógicas de acción, las reglas
explícitas e implícitas, las representaciones, creencias… y dar cuenta desde el
punto de vista de los actores del sentido que dan a la situación. No tiene por
objeto producir teorías generales, sino teorías de alcance medio, sólidamente
ligadas con los resultados de la investigación (1).

Debido a la complejidad de este método de análisis, la investigación cualitativa se

conduce a través de un contacto prolongado y/o intenso con una situación de
vida. El instrumento principal de recopilación de los datos de investigación es el
investigador mismo, en tanto que humano, hasta ahora único instrumento capaz
de adaptarse a la complejidad de la situación tal como se desarrolla, a adaptar el
dispositivo de investigación a los imprevistos, a alternar análisis inductivos y
deductivos… Ciertamente utiliza para los métodos sistemáticos, y también un
proceso de atención profunda, comprensión empática, y suspensión de las
preconcepciones. El material recogido está constituido esencialmente por
palabras, y también por actitudes, desplazamientos, comportamientos,
interacciones, utilizaciones de objetos del medio ambiente…... [3] [4]*.

Los métodos y técnicas son variados y complementarios. Es raro que sea

suficiente la utilización de un único método para comprender verdaderamente el
tema.

Para analizar una actividad que se pretende comprender, por ejemplo, se podrá,
recurrir a distintos enfoques [2] *:

 La observación, directa o indirecta, participante en distintos grados,

disimulada o explicitada (2), encaminada a recoger observables (posturas,
desplazamientos, movimientos, comunicaciones, contexto físico, social…),
componentes del comportamiento y de la actividad, que se registrarán por escrito,
con ayuda de registros audiovisiales, de distintos registradores (oculómetros,
potenciales evocados, ECG…), e incluidos en grillas de análisis, informados en
forma de escrituras o gráficos de actividad, de cuadros de recurrencia de
acontecimientos…
 200

 Una investigación más orientada podrá ser realizada a través de distintas

formas de cuestionarios (con preguntas abiertas, cerradas, de elecciones
múltiples…) que orientan sobre información específica que no sería accesible a la
observación, ya que no se corresponde con ningún observable comportamental.

 La entrevista, directiva, semidirectiva, no directiva, comprensiva… se destina

también a revelar información que no es accesible a la observación. Toma la
forma de un intercambio más o menos estructurado entre el sujeto y el
investigador, quien explora el mundo subjetivo del entrevistado, poniendo entre
paréntesis sus concepciones sobre el tema abordado. La entrevista puede
llevarse entre dos, o con un grupo (grupo focal). En este último caso, se plantean
dificultades específicas inherentes a la gestión de la dinámica del grupo.

- La técnica de verbalización, durante la cual el sujeto verbaliza en voz alta cada

razonamiento, lógica, motivos de elección, pensamientos, emociones, acciones…
de su actividad, presenta el interés en permitir un acceso verdaderamente
contextualizado a esto que piensa conscientemente el sujeto en el momento de la
acción. La verbalización puede tener lugar en una actividad (real o recordada), o
en autoconfrontación, situación en la cual la persona comenta su actividad que le
es presentada por una viedograbación.

 La técnica del recordatorio improvisado (rappel impromptu) consiste en

interrumpir al sujeto, sin prevenirlo por adelantado acerca del momento de
interrupción, pidiéndole que efectúe un recordatorio (escrito, verbal, gráfico…) de
los procesos que puso en marcha hasta el momento de la interrupción. Interesan
aquí las representaciones que el sujeto tiene de su actividad, y de las que dispone
en su memoria para recordarlas.

 La utilización de distintos escenarios predefinidos permite controlar las

situaciones presentadas al sujeto, para explorar más específicamente algunos
parámetros que pueden acoplarse con el de las otras técnicas. La situación
escenarizada debe ser lo más ecológica posible, debe ser la más representativa
posible aunque nunca lo es verdaderamente.

 Si interesan de manera fina las representaciones conceptuales del sujeto, se

podrá utilizar la técnica de los juicios de proximidad, por medio de la cual se
accede a la estructura de estas representaciones, proponiendo al sujeto que
realice una clasificación por “tipicidad” de varios pares de objetos. La técnica de
selección por triple par de tarjetas, requiere que el sujeto las clasifique en
categorías que él mismo determina, en un conjunto de tarjetas, cada uno de los
cuales presenta un concepto que permite descubrir cómo los sujetos estructuran,
categorizan y jerarquizan los objetos.

Estas técnicas, entre otras numerosos, son comunes en la mayoría de los

métodos cualitativos, pero se emplearán diferencialmente y en menor o mayor
medida, según los postulados epistemológicos de los investigadores. Se podrá así
referirse a un paradigma (más “positivista” a más“constructiviste”) [3]:
 201

Realista/empirista, según el cual los análisis de contenido tienen por objeto

poner en evidencia propiedades del mundo que se suponen objetivas y estables,
aún las psicológicas. Según esta perspectiva, se podrá considerar por ejemplo
que las producciones verbales de un paciente en sesión son una vía de acceso a
elementos “objetivos” (aunque perteneciendo a la subjetividad del paciente) que
caracterizan su psique. Desde este punto de vista realista, el análisis descriptivo
podrá utilizar métodos cuantitativos referentes al cualitativo para extraer
inferencias estadísticas.

Fenomenológico, inspirado en los trabajos de Husserl, Heidegger, Sartre,

Merleau-Ponty, intermediario entre la posición realista y la posición contextualista.
El mundo tiene propiedades objetivas, pero son incognoscibles fuera de la
experiencia fenoménica de un sujeto. Aquello que los sujetos experimentan posee
un determinado sentido, y una determinada realidad para ellos, que puede ser
descubierta, por un análisis reconstructivo, pero que no proporciona el acceso a
una realidad psicológica abstracta de la relación con el mundo. Por lo tanto, en
este paradigma, el carácter socialmente afianzado y socialmente construido de las
producciones verbales se olvida en favor del acento puesto en un análisis del
mundo fenomenal y del curso de la presencia (Dasein-analyse).

Si se refiere a una epistemología contextualista, se presupondrá que los

intercambios forman parte de una estructura de interacción social organizada, que
forma hasta cierto punto el marco en/por el cual va a poder expresarse el sujeto.
Constituye por lo tanto el ámbito normativo intersubjetivo que es objeto de un
análisis reconstructivo. Es el paradigma de referencia del interactionnismo
simbólico, en el cual se base el método conocido bajo el nombre de “teoría
fundamentada”. Se trata de un pragmatismo según el cual la acción humana hacia
los objetos esta motivada por el significado subjetivo que les otorga, este
significado se adquiere por la interacción de los protagonistas por medio de
símbolos, se emplea/modifica en la actividad, la identidad se construye según un
proceso de interacción e intercambio con el medio social. Las teorías son
entonces necesariamente locales, relativas y condicionadas por el contexto; son
producidas inductivement, basándose directamente en los datos, y tienen valor de
hipótesis provisionales más bien que de verdades definitivas; resumidamente,
intentan dar cuenta del sentido de la experiencia humana en contexto y en su
complejidad.

El enfoque etno ecológico es una tentativa de integración de las

epistemologías fenomenológicas y contextualistas, destinado a permitir el estudio
de un medio local según perspectivas a la vez objetivas, subjetivas,
intersubjetivas y normativas, investiguando al mismo tiempo, el individuo, los
factores sociales y culturales circundantes, la estructura física de lugares de
vida…

Finalmente, el paradigma del constructivisme social hace hincapié en el

hecho de que la identidad del individuo y la “realidad” son dos entidades
interdependientes: el individuo construye la realidad que lo construye, y cuando el
individuo producto de los discursos sobre sí mismo, este discurso es también el
producto y el proceso de construcciones sociales. De este modo los discursos
 202

individuales siguen estando inextricablemente vinculados a los discursos sociales

puesto que se constituyen mutuamente. En los análisis que se inscriben en este
paradigma no se trata ya de acceder a hechos objetivos o de dar cuenta de las
creencias, experiencias o procesos cognoscitivos de los sujetos, sino de llevar
análisis interpretativos con vistas a deconstruir, “revelar”, los textos. La expresión
lingüística se concibe como una acción, realizada en contexto por medio de un
discurso, y teniendo una potencia eficiente que crea la realidad, el sentido, y
afecta a las situaciones, y al mismo tiempo está constituído por ellas. La teoría de
los actos de habla, la semiología, la etnometodología son ejemplos de tales
enfoques. Uno de los postulados interesantes de este enfoque es que no existe
ningún medio de distinguir lo que es “exacto”, “literal”, de lo que es “retórico”. Esto
tiene consecuencias importantes para el análisis de los discursos producidos por
los sujetos en las entrevistas con los investigadores.

Para concluir, hay que reconocer, que el mundo del análisis cualitativo no es
totalmente simple, puesto que a la multiplicidad de técnicas, por sí mismas
bastante complejos (tanto o más que las del análisis cuantitativo), se añade una
variedad de posiciones paradigmáticas radicalmente diferentes (variabilidad que
no se encuentra en el enfoque cuantitativo), y cuya elección (difícil de argumentar,
es necesario reconocerlo), de una u otra, tiene consecuencias no menos
radicales. Seguramente allí está el precio de la tentativa dar cuenta de la
complejidad, pero seguramente vale la pena ser pagado, para poder disponer de
teorías verdaderamente eficientes en la realidad a la que son convocadas a
describir.

Notas

1. Es esta orientación hace la diferencia entre comprender y explicar.

2. La observación activa, y en la cual los sujetos se saben observados, perturba

obviamente el fenómeno observado (perturbación clásicamente nombrada “efecto
Hawthorne”, del nombre del gabinete en el que se desarrollaron famosas
experiencias de psicología social que mostraron la influencia considerable de la
presencia de observadores sobre el comportamiento de los participantes.

*Les referencias entre [ ] están en el artículo de X. Briffault abajo

*****
 203

Subjetividad del investigador y lo cualitativo en

investigación
Monique Thurin

Se trate de factores externos como las dificultades de una política, de un

laboratorio de investigación o se trate de factores internos como los intereses
intelectuales o de carrera del investigador que inicia un proyecto, la investigación
se inscribe siempre en la subjetividad. “Es inevitable a partir de los primeros
momentos de una investigación, a partir del momento mismo cuando el
investigador tiene una idea o una intuición, ya que sólo buscará aquello que le
plantea un interrogante a sí mismo y esto continúa hasta el final de el proceso”
según Martin Drapeau y Robert Letendre quienes se apoyan en un artículo [1]
sobre la teoría psicoanalítica,

Por lo tanto no se trata de excluir la subjetividad (bordearla) sino por el contrario

que el investigador se imponga antes de toda investigación una reflexión profunda
con el fin de preguntarse sobre cuáles podrían ser los puntos ciegos que tienen
siempre un impacto directo en la investigación psicoanalítica.

Las metodologías cualitativas deben tener señales testigos del rigor del proyecto
de investigación emprendido, de la misma forma que las metodologías
cuantitativas que objetivan resultados con ayuda de pruebas y medidas. Por
ejemplo, Drapeau y Letendre destacan que para una investigación en
psicoanálisis, el investigador gana cuando permanece abierto a la sorpresa pero
“que tiene también la obligación y la responsabilidad de garantizar la credibilidad
de sus descubrimientos instaurando hitos como:

1. haber emprendido una cura analítica o una terapia personal,

2. garantizar que el tamaño de la muestra sea suficientemente grande para dar

cuenta de una experiencia y de su diversidad,

3. analizar el sentido de la experiencia y el encuentro con el sujeto y no limitarse a

un análisis de contenido,

4. recurrir a un tercero que ayude a distinguir lo que pertenece al investigador y lo

que pertenece al sujeto n el marco de la COconstrucción [2],

5. poder dar cuenta de las modificaciones introducidas en la metodología”.

Para estos autores, (...) “es prenda de rigor la capacidad de poder ajustar la
metodología a medida de la investigación con el fin de permanecer siempre lo
más cerca posible de la realidad del sujeto, sin perderlo por un conjunto de sus
observaciones o por la aplicación de una grilla de análisis. No se trata pues de un
check list o de un a priori formal sino de una progresión”.
 204

1. Drapeau M, Letendre R. «Quelques propositions inspirées de la psychanalyse

pour augmenter la rigueur en recherche qualitative» in Recherches qualitatives,
vol. 22, 2001, pp 73-92.

2. La notion de co-construction est abordée par les auteurs en trois dimensions:

une première est que le chercheur a une conception de la problématique qu'il veut
étudier qu'il se représente à partir de sa subjectivité mais aussi à ce qu'ont pu en
dire ceux qui l'ont précédé; la seconde est celle de la rencontre avec le sujet; la
troisième est celle entreprise dans les échanges suivants avec les pairs et dans l'
« après coup » de la recherche.

2. Los autores abordan la noción de Coconstrucción en tres dimensiones: una

primera corresponde a la concepción que el investigador tiene de una
problemática que quiere estudiar, que se representa a partir de su subjetividad así
como deaquello que afirmaron quienes lo precedieron; la segundo refiereal
encuentro con el sujeto; la tercera es aquella que surge de los intercambios
siguientes con los pares y en el “après coup” de la investigación.

*****

¿Cuáles son los instrumentos para el análisis de

datos cualitativos?
Xavier Briffault

1. Introduction

El análisis de datos cualitativos es un proceso continuo e iterativo, en el cual la

recolección, presentación, condensación, análisis, elaboración y verificación de
las conclusiones están en interacción constante:

Figure 1: Processus d'analyse de données (d'après [1], p. 31)

Para cada etapa de este proceso, se dispone de métodos y técnicas. Para su

utilización adecuada, es conveniente disponer de herramientas informáticas que
permiten automatizar y/o asistir las distintas operaciones.
 205

Los datos cualitativos, que resultan, por ejemplo, de entrevistas, de intercambios

en un grupo focal, de notas de terreno, de actas de sesiones, de notas en los
legajos de pacientes… se presentan esencialmente en forma de producciones
lingüísticas.

Se trata de extraer de estas producciones una “respuesta” a la cuestión que es

objeto del estudio, en forma de una abstracción de los datos, que podrá tener
valor descriptivo, explicativo, profético, heurístico, ilustrativo… según el objetivo
que se persigue.

Una de las características de estos datos es su volumen. La simple

retranscripción de algunas horas de conversaciones representa varias decenas de
páginas, y se alcanzan fácilmente volúmenes de varios millares de páginas.

Si se desea ser eficaz, sistemático, y guardar una relación densa entre los datos y
los resultados, es necesario disponer de herramientas informáticas que realizan
una docena de funciones sobre estos datos, como asir, almacenar, indexar,
buscar, navegar, contabilizar, representar bajo distintas formas, poner en relación,
sintetizar, etiquetar, comentar, crear y comprobar hipótesis, buscar patrones…

Para eso existen numerosos programas informáticos. Citamos en la bibliografía

una decena entre los principales. Pueden utilizarse aplicando total o parcialmente
estas funciones, y complementariamente los unos a los otros.

A título de ilustración proporcionaremos algunas de sus posibilidades.

2. Ejemplos de funcionalidades
Uno de los momentos especialmente engorroso del análisis de los datos es el de
la retranscripción de las notas manuscritas, orales, o de los registros de
conversaciones. Para las notas manuscritas, apenas hay soluciones, los
programas informáticos de reconocimiento de la escritura manuscrita libre hasta
ahora son poco potentes. Las notas se pueden tabajar directamente sobre un
portable o un PDA, en un tratamiento de texto o una base de datos, si se está
entrenado para eso.

Para la retranscripción de los registros orales, los programas informáticos de

reconocimiento vocal (por ejemplo, Dragón Naturally Speaking [8]) resultan
actualmente totalmente operativos. Después del aprendizaje de “la voz de su
amo”, le permitirán reflejar los registros sin el teclado simplemente releyéndolos
en voz alta, lo que es claramente más eficaz que la escritura digitalizada cuando
se carece de experticia para hacerlo. El ideal sería una retranscripción directa del
registro por el programa informático, pero el reconocimiento de multi oradores
hasta ahora no es suficientemente eficaz.

Una vez efectuada esta tarea fastidiosa, se dispone de un conjunto de datos

textuales para analizar. La automatización de este análisis es mayor o menor
según los programas informáticos.
 206

Figura 2: ejemplo de utilisación del QSR N6

Algunos, tales como el N6 (gama NUD*IST de la sociedad QSR) o NVIVO ([14]),

son ayudas esencialmente para el etiquetado y la investigación en los textos.

Permitirán por ejemplo (Figura 2, extraído del tutorial N6, un estudio sobre las
representaciones de la vacunación) el almacenamiento y la organización de los
textos (1), su visualización estructurada (2), la definición de una jerarquía de los
conceptos que organizan la descripción del objeto (etiquetas) (3), el marcado de
unidades textuales con estas etiquetas, la investigación y la edición de informes
según estas etiquetas (3 y 4), y la definición de peticiones complejas combinando
operadores lógicos, la herencia… (5).

Otros, como TROPES y ZOOM por ejemplo ([15]), hacen algunos análisis
lingüísticos automáticos (Figura 3), y disponen de jerarquías de etiquetas
predefinidas, que es posible modificar si la estructura normal propuesta no se
adapta al análisis.
207
 208

Figura 3: cálculo automático de la liste de todo los verbo utilizados en una entrevista,
jerarquía por defecto para "Psychologie et psychanalyse"
 209

Figure 4: Navegación multi-dimensional en un texto, aquí la dimensión causalidad.

Proponen igualmente una estructuración automática de los textos según

diferentes ejes, permitiendo una navegación multi dimensional (Fifura 4), así como
diferentes formas de representación gráfica (Figura 5).
 210

Figura 5: Representación gráfica de la importancia y de la proximidad relativa de los temas,

centrado sobre un tema seleccionado.

Algunos son capaces de analizar la estructura de las frases, y sobre esta base
efectuar investigaciones, utilizando una gramática normal de la lengua utilizada
(por ejemplo, búsqueda automatizada de todos los grupos nominales para
conocer los objetos, y de los grupos verbales para las acciones), o de las
estructuras lingüísticas definidas por el usuario. Es lo que hace por ejemplo
INTEX (Figura 6).

Figura 6: Definición de una estructura lingüística para un grapho de transición ([11])

Existen numerosos programas informáticos de análisis lingüístico. La asociación

europea de los recursos lingüísticos (ELRA, [9]) contabiliza un número importante.
 211

Otras herramientas ofrecen la posibilidad de formular hipótesis y de testearlas, por

ejemplo en forma de normas similares a las utilizadas en los sistemas expertos
(Figura 7).

Figure 7: Formulación de una hipótesis bajo la foma de una regla « Sí…entonces” ([10])

En fin, las representaciones gráficas (redes semánticas, diagramas de causalidad,

diagramas de interacción…) van a permitir una representación sintética,
rápidamente comprensible y fácilmente navegable de un conjunto complejo de
datos (Figura 8, Figura 9).

Figura 8: Representación gráfica de una carta conceptual ([7])

 212

Figure 9: Representación gráfica de un de un réseau semántico ([6])

3. Conclusión

Existen numerosas herramientas de ayuda para el análisis de los datos

cualitativos. Permiten hacer el trabajo más eficaz, más sistemático, más riguroso,
más fáciles de comunicar entre investigadores… pero no eximen obviamente
reflexionar y no van a producir más sentidos de los que el propio investigador
propone. Los informáticos tienen una manera humorística de recordar que el
ordenador no reflexiona en lugar de su usuario, la norma GIGO: ¡Garbage In,
Garbage Out!

4. Bibliografía

1. Kaufman., J-C (2004). L'entretien compréhensif. París: Nathan Université. ISBN

2091904694.
Un pequeño libro de 128 páginas sobre metodología de la entrevista
comprehensiva, en el que el autor describe muy claramente, con numerosos
ejemplos reales, el protocolo que utiliza para sus análisis de conversaciones.

2. Kovacs, B., Gaunet, F., & Briffault, X. (2004). Les techniques d'analyse de
l'activité pour l'IHM. París: Hermès. ISBN 2-7462-0944-6.
Un libro de síntesis de 200 páginas sobre las principales técnicas de análisis
de la actividad (observación, cuationarios,entrevistas, verbalización,incidentes
 213

críticos, información a la demanda, recordatorio improvisado, situación,

experimentación, juicios de proximidad, mago de Oz, selección por tarjetas,
concepción participativa). Las aplicaciones son específicas de la concepción
de interfaces, pero la descripción de las técnicas es genérica.

3. Miles, M., & Huberman, M. (2003). Analyse des données qualitatives. Bruxelles:
De Boeck université. ISBN 2-7445-0090-3.
Una obra de referencia de 600 páginas, sobre los métodos y técnicas de
análisis cualitativos, que aborda las principales cuestiones: marcos
conceptuales, cuestiones de investigación, delimitación de la recopilación y el
territorio, instrumentación, fichas de síntesis, codificación, estructuración del
caso, presentación de los datos, representaciones espaciales, cronologías,
diagrama causal, tarjetas cognoscitivas, matrices, interpretación,
comprobación, ética, informes, programas informáticos. Muy completo.
4. Santiago Delefosse, M., Rouan, G. (2001). Les méthodes qualitatives en
psychologie. París: Dunod. ISBN 2-10-005500-3.
Una introducción a los métodos cualitativos en psicología, más bien teórica y
epistemológica que técnica, que define muy precisamente las distintas
corrientes del análisis cualitativo (empirismo realista, fenomenología,
interactionnisme simbólico, etnografía, ethnométhodologie, constructivisme…)
y enumera el enfoque etno ecológico, el análisis de las representaciones en el
campo de la salud, la clínica de la actividad, y la fenomenología.
5. Programas informáticos de ayuda al análisis cualitativo
[5] FQS (http://www.qualitative-research.net/fqs/fqs-eng.htm), revue en ligne sur la
recherche qualitative, de nombreux articles accessibles.
[6] ALCESTE: http://www.image.cict.fr/index_alceste.htm
[7] ATLAS Ti: http://www.atlasti.de/
[8] CMAP Tools: http://cmap.ihmc.us/
[9] DRAGON Naturally Speaking:
http://www.scansoft.fr/naturallyspeaking/
[10] ELRA: http://www.elra.info/fr/
[11] HyperRESEARCH: http://www.researchware.com/hr/
[12] INTEX: http://laseldi.univ-fcomte.fr/intex/#Presentation
[13] LEXICO:
http://www.cavi.univ-paris3.fr/ilpga/ilpga/tal/lexicoWWW/lexico3.htm
[14] QCA: http://www.u.arizona.edu/%7Ecragin/what.htm
[15] NUD*IST N6 et NVIVO:
http://www.qsrinternational.com/products/productoverview/product_overview.
htm
[16] TROPES et ZOOM: http://www.acetic.fr/tropesfr.htm
 214

Investigación cualitativa y EBM

Jean-Michel Thurin
“En el contexto del debate con respecto a la medicina efectiva (“evidence based
medicine”), es vital repetir que la buena “prueba” va más lejos que los resultados
del meta análisis de pruebas controladas seleccionadas al azar. Las limitaciones
de estas pruebas y la prueba de las limitaciones de su utilización de parte de los
expertos no deberían conducir al cinismo con respecto al papel de la búsqueda de
la prueba en salud. Tenemos necesidad de ser precisos respecto de que se trata
de la buena clase de investigación para responder a las cuestiones que se
plantean”.

Tal es la conclusión de J. Grenn y N. Britten (1998) en su artículo de referencia

“Qualitative research and evidence based medicine”.

El número precedente de Pour la recherche (n° 41) se presentó el EBM y se

planteó la cuestión de los límites de su aplicación de manera general y más
concretamente en el marco de la psiquiatría y la salud mental (Thurin, 2004).

Esta cuestión, a la quel Sackett y colaboradores quisieron responder a partir de

1996, haciendo hincapié en la importancia de la dimensión individual y la
experiencia clínica en la utilización de los datos de la investigación, permanece
ubicada en un doble nivel. En primer lugar, la investigación según la EBM es la de
las pruebas controladas seleccionadas al azar (ECRs). Verdaderos “estudios de
laboratorio”, la transposición de sus resultados en el “mundo real” suscita
interrogaciones que adquieren una importancia muy particular cuando la
dimensión interindividual del tratamiento se encuentra en primer plano (como para
las psicoterapias). A continuación la experiencia pone de manifiesto que la
aplicación de los resultados que emergen de la investigación en la práctica clínica
no va de sí. En efecto, no basta que un tratamiento esté etiquetado con el “sello
de la ciencia” e incluso que se haya probado con éxito en el “mundo real” para
que sea utilizado. Se trata de una comprobación que se mantiene estable
(Sanderson, 2002) ¿Aún es necesario intentar incluir por qué? Los métodos
cualitativos tienen precisamente la capacidad de abordar sistemáticamente este
tipo de cuestiones a los cuales los métodos experimentales no responden
fácilmente.

De este modo, la investigación cualitativa puede ser útil en los dos niveles.
Completará los estudios de laboratorio realizados rigurosamente a través de
indagaciones naturalistas que se referirán al tratamiento mismo ejercido en
condiciones naturales; e intentará comprender mejor los avatares de la aplicación
y la utilización de un tratamiento cuya legitimidad se prueba. Ahí se tiene un
ejemplo para cada uno de estos dos niveles.
 215

1. Los estudios de laboratorio y los estudios naturalistas en el ámbito de las

psicoterapias

La posición exclusiva del ECRs como métodos para demostrar que una terapia
funciona se puso recientemente en duda. El argumento principal es que se puede
discutir la representatividad de sus resultados en la práctica clínica (numerosas
referencias, citadas en Leichsenring, 2004).

Muchos métodos psicoterapeúticos, se prueban yendo al laboratorio. Sin

embargo, el hecho de saber hasta qué punto estos métodos son eficaces en el
ámbito de la práctica psicoterapéutica sigue siendo ampoliamente desconocido.
Sólo en el curso de los últimos años los investigadores se dieron cuenta de este
problema. Shadish et al (2000), por ejemplo, estudiaron la influencia del grado de
representatividad clínica de los estudios sobre los resultados de la terapia. Sacan
cuatro conclusiones: a) las terapias psicológicas resultan firmemente eficaces,
cuando se estudian con una orientación de investigación o en condiciones clínicas
representativas; b) los resultados no son inferiores en condiciones clínicas; c) el
resultado depende de la “dosis” de terapia (hasta algunos límites y seguramente
según la naturaleza de los casos1); d) los efectos son tanto o más importantes
cuanto se utilizan medidas estrechamente adaptadas a los objetivos que se
persiguen en el tratamiento. Sin embargo, las evaluaciones meta analíticas como
las presentadas por Shadish y otros (2000) que incorporan los resultados de
distintas formas de terapia en distintos desórdenes no son suficientes: es
necesario estudiar cómo funcionan los métodos específicos de terapia para
desórdenes específicos en condiciones naturales.

A partir de esas consideraciones, la conducta de una búsqueda de eficacia real,

metodológicamente sólida y clínicamente representativa, puede ser difícil.
Leichsenring (2004) propone una serie de criterios para los estudios naturalistas,
parcialmente diferentes de los utilizados en los estudios en laboratorio, que
pueden permitirles alcanzar el estándar normal (Cuadro 1).

Esta precisión de los tipos de prueba requeridos específicamente en el laboratorio

y en el campo clínico abre la posibilidad de un nuevo programa de investigaciones
para estudios naturalistas, realizado en condiciones similares a la de los estudios
de eficacia potencial. Esta investigación considera que los métodos
psicoterapeúticos definidos para desórdenes específicos (por ejemplo, la
depresión, los desórdenes de ansiedad, los desórdenes somatoformes, los
desórdenes asociados a un fuerte comorbilidad) son eficaces en la práctica
clínica. Al menos pueden utilizarse dos estrategias diferentes: en la primera, se
evalúa la eficacia real de las terapias que se aplican en el campo clínico (por
ejemplo Seligman, 1995); en el segundo, se aplican los métodos psicoterápicos
que se probaron en pruebas controladas y, eventualmente modificadas en la
práctica clínico. Actualmente, solo existen algunos estudios de este tipo que se

1
No está disponible.
Corresponde a: 1. Waldron S. How can we study the efficacy of psychoanalysis ? Psychoanal. Q.,
vol 66, num 2, 1997: 283-322
 216

refieren a desórdenes específicos, por ejemplo, para los desórdenes de pánico, la

depresión, la bulimia o para desórdenes que se expresan en los niños y
adolescentes (bibliografía en Leihsenring, 2004). Los resultados preliminares
ponen de manifiesto que los pacientes no se benefician de los métodos
específicos de terapia en el mismo grado que se informó a partir del ECRs, de
que las terapias se efectúan durante un tiempo más largo, o que se añaden
algunos elementos suplementarios a la terapia, por ejemplo, un tratamiento
psicofarmacológico. En otras palabras, no son las formas puras de la terapia en
laboratorio las que se aplican en la práctica clínica, sino que se utilizan versiones
modificadas.

2. La utilización de un tratamiento: un ejemplo

Los estudios cualitativos pueden también referirse a las actitudes, las creencias y
las preferencias de los expertos y pacientes. Son ellos los que determinan
finalmente la utilización de un tratamiento.

Del lado del experto, la medicina es mucho más que la aplicación de normas
resultantes de los estudios de laboratorio. La experiencia personal tiene un lugar
esencial y desempeña un papel principal en la toma de decisión del experto, como
fue ilustrado en una serie de artículos publicados en el British Medical Journal “Un
paciente que cambió mi práctica”.

Del lado del paciente, intervienen directamente el contexto, la implicación del

tratamiento en la representación de la identidad, el sentimiento de ser activo o
pasivo con relación a la enfermedad o los trastornos. Para ilustrar, citaremos un
estudio muy reciente referido a la elección del tratamiento en el estado de tensión
post traumático.

Los autores (Zoellner et al., 2004) quisieron incluir porqué dos tratamientos de
eficacia equivalente según los resultados de ECR distaban mucho de ser
utilizados en proporciones idénticas para los pacientes para quienes se los
proponía.

Con ese propósito, se interrogaron a 273 mujeres que presentaban grados

variados de historia traumática, y susceptibles de presentar desórdenes
consecutivos al estado de tensión post traumático. Todas las participantes leyeron
un documento estándar “Si llegara a eso, qué elección haría” (“Si cela vous
arrivait, quel choix feriez-vous”) después de un acontecimiento traumático (una
agresión sexual) y antes de los síntomas consecutivos, vinculados al traumatismo.
Se les pidió elegir entre tres opciones de tratamiento: el sertraline (SER), una
exposición prolongada (EP) o la ausencia de tratamiento. Se les volvía a poner un
prospecto de presentación que especificaba para cada uno de los tratamientos,
que había probado su eficacia según los resultados de numerosos estudios
controlados y se describía brevemente el protocolo. Se recogieron los tipos que
corresponden a cada una de las elecciones, así como las explicaciones que se
proporcionaban para explicarlas. La diferencia del tipo de los tratamientos
elegidos es impresionante: sólo una minoría (6,9%) de las mujeres elige el
sertraline, mientras que un 87,4% de entre ellas elegían la exposición prolongada.
 217

Interrogadas a este respecto, las respuestas ponían de manifiesto que las

representaciones relativas a la manera de solucionar un desorden y las
experiencias previas desempeñaban un papel principal. Por ejemplo: “Tengo
necesidad de hablar para que eso forme parte del pasado”; “Según mi experiencia
el medicamento no hace más que empeorar el problema; no lo soluciona, no hace
más que encubrirlo”; “Con la terapia, puedo solucionarlo para el resto de mi vida”.
Los autores observan que la ausencia de teoría biológica que permite explicar el
tratamiento medicamentoso podría haber desempeñado un papel en este
resultado.

Este estudio igualmente también pone de manifiesto que la alianza terapeútica no

cubre solamente dimensiones interpersonales, sino que implica directamente al
paciente en su persona, a su experiencia y a sus representaciones teóricas.

Referencias
Green, J., & Britten, N. (1998). Qualitative research and evidence based medicine.
BMJ, 316, 1230-1232:. Disponible on line: http://bmj.bmjjournals.com/
Leichsenring, F. (2004). Randomized controlled vs. naturalistic studies: A new
research agenda. Bulletin of the Menninger Clinic, 68, 115-129.
Sackett, D. L., Rosenberg, M. C., Muir Gray, J. A., Haynes, R. B., & Richardson,
W. S. (1996). Evidence-based medicine: what it is and what it isn't. BMJ
1996, 312, 71-2
Sanderson W. C. (2002). Why We Need Evidence-Based Psychotherapy Practice
Guidelines. Medscape General Medicine, 4 (4).
Seligman, M. E. P. (1995). The effectiveness of psychotherapy. The Consumer
Reports study. American Psychologist, 50, 965-974. Disponible on line
http://www.apa.org/journals/seligman.html
Shadish, W. R., Matt, G., Navarro, A., & Phillips, G. (2000). The effects of
psychological therapies under clinically representative conditions: A meta-
analysis. Journal of Consulting and Clinical Psychology, 126 : 512-529.
Thurin, J. M. (2004) La démarche EBM en psychiatrie et santé mentale: EBM et
psychothérapie. Pour la recherche 2004, 41, 8-11 (adresse internet).
Zoellner, L. A., Feeny, N. C., Cochran B., & Pruitt, L. (2003). Treatment choice for
PTSD. Behaviour Research and Therapy, 41, 879-886.

Études qualitatives en psychanalyse

B Lapeyronnie

NO DISPONIBLE
 218

Evaluación de la investigación cualitativa

Una lectura de Muriel Falk-Vairant

¿Cómo evaluar la investigación cualitativa en medicina? ¿Cómo evaluar la calidad

de una investigación? Además, ¿Cómo proceder para hacer una investigación de
calidad y retransmitirla en un artículo? He aquí temas que se juntan y que
requieren algunos conceptos de base que són útiles de conocer.

El artículo “¿Cómo leer de manera crítica los artículos de investigación cualitativa

en medicina?” [1] habla de las competencias requeridas para leer de una manera
sagaz y crítica artículos de investigación cualitativa en medicina o en psiquiatría
con el fin de estar en mejores condiciones para evaluar la calidad de las
investigaciones expuestas.

En realidad los criterios de evaluación de estos artículos no cambian

fundamentalmente respecto de los utilizados para la lectura de artículos de
investigación cuantitativa. Se encuentran los criterios de base que recurren a la
sensatez, al rigor del planteamiento, a la claridad, a la coherencia y a la clásica
presentación del tema que incluye la introducción, los métodos utilizados, los
resultados, la discusión y la conclusión.

Es “divertido constatar que los autores insisten en la necesidad de convencer a

los científicos sobre el valor de estas investigaciones con criterios denominados
de cientificidad. En efecto, el problema esencial en la investigación cualitativa
desde el punto de vista científico es el de la validez para los otros, la credibilidad,
y la posibilidad de generalizar de los resultados”. La ciencia “no se familiarizaría
con los enfoques cualitativos y sus métodos, en consecuencia previamente es
necesario convencer el lector científico del fundamento de su planteamiento,
demostrar la pertinencia del estudio y precisar la adecuación del método elegido
para el tema estudiado… La elección de las muestras no obedece tampoco a las
mismas leyes que las que corresponden a la investigación cuantitativa y por lo
tanto es necesario explicar siempre en detalle la razón de esta elección”.

El contexto del estudio y el papel de los investigadores deben describirse

claramente, habida cuenta del hecho de que en investigación cualitativa la
comprensión profunda de los fenómenos no puede hacerse fuera del contexto en
el cual se inscriben. Concretamente, el lector debe encontrar información
significativa sobre las características del medio y las personas que se implican.
También se debe poder representar el vínculo que el investigador mantiene con el
medio, quedando entendido que uno y otro se influyen inevitablemente. Este
vínculo hace toda la especificidad de esta investigación clínica que reivindica su
subjetividad.

En síntesis, la investigación cualitativa a lo sumo debe intentar responder a las

exigencias de la investigación cuantitativa explicando, cada vez, todo lo que
supone que en particular descarta por la implicación del investigador y los criterios
 219

no mensurables que se estudian. Sin embargo es aún difícil saber si la

investigación cualitativa puede aplicarse al psicoanálisis y si los consejos sobre la
lectura de un artículo pueden aplicarse a los escritos de Freud y a los estudios de
caso único. Esta cuestión sigue siendo abierta.

1. Coté, L., & Turgeon, J. (2002). Comment lire de façon criticle les articles de
recherche qualitative en médecine. Pédagogie médicale, 3, 81-90

Rowan, M., & Huston, P. (1997). Articles en recherche qualitative : information aux
auteurs et aux paris-examinateurs, Canadian Medical Association Journal, 157
(10).

Stiles W. (1999). Evaluating qualitative research. Evidencer Based Mental Health,

2, 99-101 doi:10.1136/ebmh.2.4.99.