Você está na página 1de 19

Traduit par le Réseau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.

ne/rense, Mai 2003

International Program Development Evaluation Training

Module 8 : Analyse des données et leur interprétation

Introduction

L’élaboration d’une stratégie d’analyse des données est une partie importante
dans le processus de planification. Il est utile de savoir quelles sont les
options pour l’analyse des données, y compris les forces et les faiblesses,
lorsqu’on élabore un plan de recherche. Bien sûr, l’analyse des données est
importante dans l’exécution. La vue d’ensemble présentée en ce module
couvre les grands débats en la matière.

L’analyse qualitative est préférable lorsqu’on a besoin de comprendre une


action en profondeur, ou lorsqu’on évalue quelque chose relativement
nouvelle ; l’analyse qualitative est utile dans la recherche des réponses aux
questions suivantes :
Ø L’action a-t-elle été mise en œuvre selon le plan ?
Ø Quelles sont les difficultés auxquelles le personnel est confronté ?
Ø Pourquoi certains participants ont-ils décidé de renoncer très tôt à
l’action?
Ø A quoi cette expérience ressemble-t-elle pour les participants ?
Ø Y a-t-il un impact imprévu sur les familles et les communautés ?

L’analyse quantitative est utile dans la recherche des réponses aux questions
suivantes :
Ø Quelle est la répartition en pourcentages ?
Ø Quelle est la moyenne ?
Ø Comment les participants estiment-ils l’utilité et la pertinence de
l’action ?
Ø Quel est le niveau de variabilité dans les données ?
Ø Quelle est la relation entre un programme et les mesures des
résultats ?
Ø Quelle est la force de cette relation ?
Ø Les résultats sont-ils statistiquement significatifs ?

L’analyse des données qualitatives

L’analyse des données qualitatives est une méthode utilisée pour des
données non numériques collectées lors de l’évaluation. Des observations
non structurées, des entretiens ouverts, l’analyse des documents écrits et
des transcriptions des séances de groupes ciblés sont tous des méthodes qui
demandent l’application des techniques qualitatives. L’analyse des données
qualitatives est un défi et pourtant beaucoup la trouve très intéressante.
Cependant il faudra exercer beaucoup de prudence afin de capter et
interpréter les données qualitatives de façon exacte.

1
Traduit par le Réseau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003

Comment prendre des notes viables

Lorsqu’on collecte des données qualitatives, il faut capter autant de


renseignements que possible. Il est important de capter des observations :
des bonnes notes sont essentielles. Cela veut dire qu’il faut prêter attention
au langage : ce que les participants disent et comment ils le disent. Il faut
essayer de ne pas interpréter ce qu’ils disent lorsqu’on prend des notes. Il
faut noter tout ce qu’on a pu observer, le langage du corps et tout ce qui
s’est passé lors de la collecte des données (par exemple, beaucoup
d’interruptions pendant l’entretien). Il faudra capter des pensées, des
réactions et des interprétations immédiates et les garder à part.

Comme mentionné en Module 6, il est extrêmement important de laisser


suffisamment de temps juste après un entretien, une observation, ou une
séance de groupe ciblé pour étudier des notes préliminaires, ajouter des
notes complémentaires et prendre des notes de façon à ce qu’elles soient
logiques plus tard. Il est étonnant comme il est difficile de comprendre des
notes prises lors d’un entretien, d’une séance de groupe ciblé, ou d’une
observation – même si cela s’est passé il y a juste quelques jours avant.
Même si on a enregistré la séance, un peu de temps investi dans la prise de
notes avant d’oublier ce qui s’est passé pourra épargner des heures et des
heures plus tard en écoutant des cassettes ou en regardant des vidéos ou en
lisant des transcriptions.

L’analyse des thèmes et des tendances

Le but de l’analyse des données qualitatives est de résumer ce qu’on a vu ou


ce qu’on a entendu sous forme de mots, de phrases, de thèmes ou de
tendances en commun. Lorsqu’on étudie le matériel, il faut commencer à
prendre des notes. Il est utile de lire un peu afin de comprendre de quoi il
s’agit et d’élaborer un cadre général pour l’analyse du reste des données.
Cependant, il se peut que d’autres thèmes soient découverts lors de la
progression de l’étude et il sera nécessaire de re -lire certaines parties du
matériel. Lorsqu’on identifie des mots, des questions, des thèmes et des
tendances, il faut bien les noter bien afin de pouvoir les retrouver pour
vérifier avec exactitude des citations ou le contexte. Ce sera onéreux la
première fois ; lorsqu’on gagne de l’expérience, les renseignements
potentiellement importants sont plus faciles à retrouver.

Certains utilisent un tableur capable d’identifier des thèmes communs et de


les retrouver dans les notes. D’autres utilisent des fiches pour trier les
données qualitatives.

L’analyse du contenu

L’analyse du contenu est une approche systématique à l’analyse des données


qualitatives qui comporte l’identification et le résumé du contenu du
message. Normalement on utilise le terme, l’analyse du contenu, pour

2
Traduit par le Réseau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003

l’analyse des sources telles que les livres, les brochures, les documents
écrits, les exposés, les transcriptions, le reportage des informations et le
média visuel. Un exemple typique d’une analyse du contenu est un examen
du contenu des manuels scolaires des enfants afin de voir si le matériel
présenté dans ces manuels est suffisant sur un sujet donné, si le niveau de
présentation est conforme au niveau scolaire des enfants et si le contexte est
adapté à la vie quotidienne et aux programmes d’études des enfants. Une
analyse plus approfondie consisterait à rechercher dans les manuels scolaires
des messages politiques spécifiques ou des interprétations subjectives de
l’histoire.

Parfois l’analyse du contenu est appliquée aux narratifs tels que des agendas
ou des journaux ou aux réponses qualitatives aux questions ouvertes des
enquêtes, des entretiens et des séances de groupes ciblés.

Le résumé des données qualitatives

En général, il faut présenter les données qualitatives de la manière


suivante :« thèmes communs » ou « nombreuses personnes ont fait la
remarque… ». Parfois il y a une idée isolée ou une perspective qu’on voudrait
accentuer même si elle n’est pas un thème commun. Il n’y a pas de règles ici
puisque l’analyse fait partie intégrale de la particularité de chaque situation.

Parfois aussi il est utile de préciser la fréquence des thèmes spécifiques afin
de donner une logique à la prévalence d’une idée ou d’un point de vue
exprimé par les participants. Par exemple, on pourra préciser que x% des
informations sur les actualités semblent avoir une tendance démocrate
contre y% qui semblent avoir une tendance conservatrice.

Dans le cas où des méthodes (qualitative et quantitative) sont conjuguées, il


faudra trouver des thèmes et des commentaires qui aident à clarifier et à
illuminer certaines données qualitatives. Par exemple, disons que 55% des
participants n’ont pas été satisfaits de l’accessibilité de l’action, dans cette
situation il sera utile de présenter des commentaires variés qui sont
représentatifs et qui aident à illustrer les types de problèmes rencontrés par
les participants.

Il faudra capter quelques commentaires dignes de citation : des « citations à


saisir ». Ce sont des remarques des participants et elles seront choisies dans
le but de présenter clairement un thème ou d’accentuer un point important.
Les mots bien choisis ont un impact et il faudra donc les sélectionner
soigneusement. Il est plus probable que les auditeurs du rapport se
rappellent d’une citation qu’une page de descriptions. Cependant il faudra
éviter de se servir des citations pour introduire un point de vue subjectif. Il
est utile de présenter plusieurs citations différentes pour montrer la gamme
de débats et de perspectives sur le même thème.

3
Traduit par le Réseau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003

Un exemple d’une évaluation qui utilise principalement une méthodologie


qualitative a été l’expérience au Nicaragua qui portait sur la décentralisation
des écoles. L’évaluation a rassemblé les points de vue des professeurs, des
parents et des directeurs des écoles. Un des thèmes prévalents a été
« l’autonomie ». L’étude de cas 8-1 montre comment ce thème a été résumé
dans le rapport d’évaluation et comment les « citations à saisir » ont été
intégrées dans le narratif pour le rendre réel.

Etude de cas 8-1


La présentation des résultats qualitatifs

La décentralisation des écoles à titre d’expérience : le point de vue


des parents, des professeurs et des directeurs des écoles

Parmi les nombreuses questions approfondies lors de cette étude, une


concernait l’autonomie. Ci-dessous un extrait du rapport sur la base des
entretiens et des séances de groupes ciblés :

Le point de vue de la directrice sur la façon dont le consejo devrait


fonctionner est participative : « Ce style de gestion…rend l’école ouverte à la
communauté et est plus intéressant pour les parents. » Pour la directrice,
l’autonomie lui donne plus de flexibilité pour impliquer les professeurs et les
parents dans une forme latérale de gestion de l’école.

En même temps, la directrice parle comme si elle suivait les souhaits du


prêtre de la communauté dans les détails de ses sentiments optimistes sur la
décentralisation : « C’est une amélioration. Nous savons que les autorités au
Ministère essaient de trouver les meilleures solutions. Le Nicaragua est en
train de rattraper les pays développés. Il est coûteux, mais il faudra suivre ce
chemin. »

…des lecteurs sceptiques accuseront cette directrice d’avoir présenté la


décentralisation sous une lumière positive, d’avoir répété un scénario
soigneusement élaboré pour les visiteurs venus de la capitale, Managua. Il se
peut que cette dynamique soit en marche. Cependant, à seulement quelques
exceptions près, les membres des associations des parents d’élèves et des
professeurs ont exprimé des interprétations et des compréhensions
semblables sur l’autonomie et sur les actions connexes. Un des professeurs,
lorsqu’on lui a demandé la signification de l’autonomie pour elle a expliqué :
« Sans l’autonomie, le professeur est toujours appelé à rendre compte, à
être à l’heure, à mieux planifier ses cours, à faire plus d’efforts». Un autre
professeur concorde avec la directrice que les changements liés à
l’autonomie seront plus du côté social que du côté économique :
« L’autonomie veut dire devenir plus indépendant du Ministère dans la
gestion de l’école avec les ressources des parents et de la communauté. Mais
ici les contributions des parents sont très faibles ; ils sont très pauvres. »

4
Traduit par le Réseau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003

En ce qui concerne les parents, une des mères qui avaient participé à la
séance du groupe ciblé a déclaré : «L’autonomie veut dire partager la
responsabilité avec le Ministère de l’Education. » …Un autre parent a
présenté cet argument positif : « …être en mesure de prendre nos propres
décisions…être libérés de l’obligation de suivre des ordres de faire comme ci
et faire comme ça. »

Comment contrôler pour la subjectivité

Il y a toujours le risque de subjectivité en travaillant avec des données


qualitatives en particulier ; on voit souvent ce qu’on veut voir et on rate ce
qui n’est pas conformes à nos attentes. Il est utile (mais il n’est pas toujours
un remède total) de demander à une autre personne de refaire l’analyse des
données mais à sa manière. En comparant les deux analyses, d e nouveaux
thèmes ou des points de vue différents sur les données peuvent émerger.
Lorsqu’on présente des données qualitatives, on ne peut pas présenter un
comptage de combien ou de quel pourcentage de participants ont dit ou ont
fait telle ou telle chose. Puisque la même question n’a pas été posée à tout le
monde, on ne sait pas en réalité quelles sont les réactions de tout le monde à
cette question.

Par exemple, lorsqu’on effectue une analyse du contenu, les évaluateurs


étudient des documents et les encodent selon des thèmes. Les encodeurs
devront être bien formés. Il est utile de faire lire et encoder les mêmes
documents par deux personnes afin de mieux contrôler les différentes
perceptions selon la personne qui encode. Si les encodeurs sont bien formés
et les définitions d’opérations ainsi que les systèmes de classement sont
clairs et ont été acceptés d’avance, le classement du matériel par les deux
encodeurs devra normalement concorder à un niveau très proche. Le terme
en jargon pour ce processus de contrôle est « la viabilité entre évaluateurs »
et un niveau élevé de concorde, ou de viabilité est un indicateur de la
crédibilité.

Diagrammes d’affinités

Si on travaille avec plusieurs personnes sur le projet, il est utile de demander


à chaque personne d’identifier ce qu’ils pensent sont les thèmes communs ou
des points intéressants qu’ils voudraient présenter. Un diagramme d’affinité
est une bonne stratégie ici (voir la Table 8-1). Un bon processus pour le
diagramme est de demander aux participants de mettre une idée ou un
thème sur une fiche ou une carte et ensuite demander à tout le monde de
fixer leurs fiches ou cartes sur le mur. Ensemble il faudra les trier et les
grouper selon les idées ou des thèmes similaires. Ce processus permet à tout
le monde de faire considérer leurs idées et il y a moins de sentiment de
propriété des idées particulières. Il est également un moyen très rapide
d’organiser une structure pour l’analyse et le rapport final.

5
Traduit par le Réseau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003

Table 8-1 : Le processus des diagrammes d’affinité

• En silence, tous les membres de l’équipe identifient des idées ou des


thèmes qu’ils ont observés. Chaque idée ou thème sera écrit sur une
carte ou une fiche ; une seule idée ou thème par carte.
• En silence, les membres de l’équipe placent leurs fiches ou cartes sur
le mur.
• En silence, chaque personne de l’équipe commence à trier les cartes
afin de grouper des idées similaires
• Une fois les cartes triées et groupées selon des grands thèmes,
l’équipe doit discuter sur les différents thèmes
• Les thèmes retenus au début ne sont pas fixés ; l’équipe pourra
proposer des nouveaux thèmes et elle pourra déplacer les idées
• Finalement, l’équipe devra discuter sur les rubriques de chacun des
grands thèmes

Conclusions sur l’analyse des données qualitatives

Beaucoup d’entre nous ont passé la plupart de nos vies en état un peu
phobique au sujet des statistiques. Par conséquent, il y a une tendance très
forte à penser que l’utilisation des méthodes qualitatives est en quelque sorte
une option facile. Cependant, comme on a vu dans ce qui précède, l’analyse
des données qualitatives est beaucoup plus compliquée que ne pense
l’observateur non averti. L’analyse des données qualitatives demande
beaucoup de travail et beaucoup de temps, mais elle pourra révéler les
renseignements les plus valables. Cependant, pour bien faire ce travail, il
faudra être sûr de prévoir assez de temps.

Comme on a noté en Module 5, des méthodes qualitatives sont des outils


très forts pour étudier la causalité – quelque soit la cause du changement
observé, soit l’action, soit autre chose. Une ressource excellente équipée des
guides à l’exécution point par point des analyses systématiques de données
qualitatives (descriptives, causales et autre) est le livre de Miles et
Huberman intitulé, « Qualitative Data Analysis : An expanded sourcebook).

Analyse des données quantitatives

L’analyse des données quantitatives se fait à l’aide des statistiques. Ce qui


suit servira d’introduction à quelques uns des concepts statistiques les plus
importants que tout évaluateur ou utilisateur des évaluations devra
connaître.

Les statisticiens ont réparti les statistiques en deux grandes catégories. Une
de ces catégories est les statistiques descriptives, qui selon sa définition
la plus stricte sont utilisées pour l’analyse des données du recensement ou
des échantillons qui n’ont pas été prélevés au hasard. L’autre catégorie est
les statistiques d’inférence, qui sont utilisées pour l’analyse des données

6
Traduit par le Réseau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003

des échantillons prélevés au hasard. Bien qu’il existe des techniques


d’analyse des données utilisées uniquement pour les statistiques d’inférence,
beaucoup de techniques pourront être appliquées au deux sortes de données.
La vue d’ensemble qui suit commencera avec les techniques les plus
fréquemment utilisées pour l’analyse des données descriptives et continuera
avec des techniques d’analyse des données des échantillons prélevés au
hasard.

Statistiques descriptives

Répartitions : décrivent la fréquence et/ou la répartition en pourcentage


d’une seule variable. Elles présentent combien et quel pourcentage : 33%
des participants sont du genre mâle et 67% sont du genre femelle (voir la
Table 8-2)

Table 8-2 : La Répartition des participants selon le genre

Mâle Femelle Total

Nombre Pourcentage Nombre Pourcentage Nombre

100 33% 200 67% 300

Deux options pour la description/résumé des répartitions

Mesures de tendance centrale : le niveau des similitudes entre les


caractéristiques
Mesures de dispersion : le niveau des différences entre les
caractéristiques

Mesures de tendance centrale ---les trois « m »

Mode : la réponse la plus fréquente


Médiane : le point au milieu—la moitié au dessus,
la moitié en dessous
Moyenne : la moyenne

La mesure à utiliser dépendra du type de données :

Type de données Options

Données nominales 1 Mode


Données ordinales2 Mode ou médiane

1
Données nominales: des noms ou des catégorie, tels que le genre (mâle, femelle), religion (Bouddhiste,
Chrétien, Juif, Musulman) ou pays d’origine (la Birmanie, la Chine, l’Ethiopie, le Kenya, le Pérou et le
Zimbabwe)

7
Traduit par le Réseau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003

Intervalle/ratio 3 Mode, médiane ou moyenne

Pour les données d’intervalle/ratio, l’option à sélectionner dépendra


également de la répartition elle-même. Si la répartition est normale, le
mode, la médiane et la moyenne devront être très proches. La moyenne sera
la meilleure description d’une tendance centrale. Cependant, s’il y a quelques
points situés à un niveau très haut ou quelques points situés à un niveau très
bas, la moyenne ne sera plus proche du milieu. Dans cette situation, la
médiane sera un meilleur descripteur du milieu de la répartition.

Mesures de dispersion

La mesure de dispersion la plus reconnue pour des données d’intervalle ou de


ratio est l’écart type. L’écart type est une façon de mesurer la répartition des
points autour de la moyenne. Plus les points sont écartés de la moyenne,
plus l’écart type est important. Par exemple, si tous les participants ont fini
avec une note de 75 lors d’un test, l’écart type est de 0. Si tous les
participants ont fini avec des notes entre 70 et 80 (également une moyenne
de 75), l’écart type est moins important que si tous les participants ont fini
avec des notes entre 40 et 90 (également une moyenne de 75). En d’autres
mots :

Ecart type faible=pas beaucoup de dispersion


Ecart type important=beaucoup de dispersion

Analyse des résultats des enquêtes quantitatives

Les résultats des réponses à une enquête non ouverte pourront être
présentés en termes de pourcentages (c'est-à-dire, 52% sont des femmes,
48% sont des hommes). Parfois, les questions demandent des comptes
précis (c'est-à-dire, « Avez-vous eu du travail pendant la semaine passée ? »
ou « Combien de chèvres possédez-vous ? ») Les réponses sont présentées
sous forme de pourcentages ou de moyennes. Parfois, on demande aux
participants de donner un avis selon le barème de réponses. Par exemple, on
pourra demander aux participants à une formation s’ils ont pu appliquer ce
qu’ils ont appris et on leur demande de répondre selon le barème de
réponses, allant de « pas du tout » jusqu’à « beaucoup ». Ce barème
comporte 5 points. Lorsqu’on analyse ce genre de données, il faudra établir
une règle de décision : faudra-t-il concentrer sur les réponses qui se trouvent
aux deux extrêmes du barème, ou faudra-t-il concentrer sur les réponses
autour du point au milieu ? Quelques principes directeurs sont utiles mais il
n’y pas règle ferme ici (voir la Table 8-3).

2
Données ordinales: des données ordonnées mais la « distance » entre les réponses en série n’est pas toujours la même.
Des barèmes allant de « le plus important » à « le moins important » ou « très positif » à « très négatif » sont des
exemples de données ordinales.
3
Données d’intervalle/ratio: sont des nombres réels. Dans les données d’intervalle il manque un point à zéro, telle que
le classement du quotient intellectuel. Des nombres de ratio ont un point à zéro et peuvent être réparties et comparées
aux autres nombres de ratio.

8
Traduit par le Réseau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003

Table 8-3
Principes directeurs pour l’analyse des données des enquêtes
quantitatives

1. Choisir une méthode d’analyse des données et l’appliquer de façon


cohérente.
2. Focaliser sur un côté du barème de réponses ou l’autre.
3. Eviter de conjuguer la catégorie de réponses au milieu avec celle des deux
côtés.
4. Lorsqu’on présente des données d’une catégorie sur cinq, choisir une
catégorie extrême (Très positive ou très négative).
5. Eviter de présenter des données de la catégorie positive ou négative sans
également présenter la catégorie très positive ou très négative).
6. Analyser et présenter les pourcentages (pas des chiffres et certainement
pas des moyennes).
7. Fournir le nombre de participants pour servir de référence.
8. Si les données sont peu différenciées, appliquer cette référence :
Comment sont les résultats si on se focalise sur des questions qui ont une
majorité de réponses « très positive » ?
9. L’analyse des données est une compétence et aussi un art ; elle devient
plus facile avec le temps.

Les principes ci-dessus deviennent plus compréhensibles lorsqu’on les


applique aux données d’enquête. Disons qu’on a fait une enquête sur les
expériences des clients à un centre de santé. Les données sont présentées en
Table 8-4 ci-dessous.

Table 8-4 :
Points de vue sur les services de soins de santé à la clinique locale

Question : Au regard de vos expériences à la clinique locale, avez-vous une


réaction positive ou négative aux déclarations suivantes ?

Très Négative Neutre Positive Très


négative positive
J’attends longtemps pour une
consultation 10% 20% 10% 35% 25%
On répond sans hésitation à
mes questions 5% 10% 30% 30% 25%
J’ai été très bien soigné à la
clinique 15% 25% 25% 25% 25%
Source : Fake Data, 1999 Survey

Une façon de présenter ces données est de dire que la moitié des participants
a une réaction positive ou très positive à la question à savoir s’ils ont été très
bien soignés et que 55% ont une réaction positive ou très positive à la
question à savoir si le personnel de la clinique répond sans hésitation aux

9
Traduit par le Réseau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003

questions. Cependant, 60% ont une réaction positive ou très positive à la


question à savoir s’ils attendent longtemps avant une consultation. Dans
cette analyse, la règle de décision a été de présenter les résultats qui sont
positifs et très positifs sous forme de pourcentages conjugués.

Si les résultats ont été différents, on emprunterait une stratégie différente.


Par exemple, si les résultats ressemblaient aux résultats en Table 8-5, on ne
présentera que des réponses très positives parce que la majorité des
réponses sont positives. L’analyse sera présentée de la manière suivante :
plus de 80% des participants ont une réponse positive ou très positive, les
soins de santé sont de bonne qualité et le personnel répond volontiers aux
questions. Le point le plus positif de la clinique semble être la volonté de
répondre aux questions, avec un résultat positif de 65%.

Table 8-5
Vues sur les services de soins de santé à la clinique locale

Très Négative Neutre Positive Très


négative positive
J’attends longtemps
pour une consultation 50% 20% 10% 15% 5%
On répond sans
hésitation à mes 0% 0% 0% 30% 65%
questions
J’ai été très bien soigné
à la clinique 0% 20% 0% 55% 25%
Source : Fake Data, 1999 Survey

Statistiques descriptives

Une gamme de statistiques pourra être utilisée. Les statistiques utilisées le


plus fréquemment sont présentées en Figure 8-1 ci-dessous.

Figure 8-1
Statistiques descriptives fréquemment utilisées
(accompagnées des exemples illustratifs utilisant des fausses
données provenant d’une nouvelle université)

o Fréquences (chiffres, compter combien)


ü 50 étudiants ont reçu leurs diplômes l’année dernière
o Pourcentages (proportion) répartitions
ü 20% des étudiants à l’université sont des femmes
o Moyennes (un calcul)
ü L’âge moyen des étudiants est de 25 ans
o Médianes (le point au milieu)
ü La gamme des âges allant de 18 ans à 40 ans, avec l’âge de 24
ans au milieu
o Modes (la valeur la plus fréquente)
ü L’âge le plus fréquemment rapporté est 22 ans

10
Traduit par le Réseau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003

o Financières : coûts, revenus, dépenses


ü Le montant total ou le montant moyen
o Changement exprimé en pourcentage d’une période à une autre
(parfois appelé le taux de changement)
ü L’effectif à l’université a augmenté de 40% sur celui de l’année
dernière
o Ratios : Le nombre d’étudiants par professeur de la faculté
ü Le ratio d’étudiant/faculté est de 15 :1
o Comparaisons : en chiffres, en pourcentages, en moyennes
ü Le salaire moyen des diplômés de la nouvelle université a été
20% plus élevé que le salaire qu’ils recevaient à leurs postes
précédents
ü 90% des employeurs des diplômés de l’université ont une
réaction très positive face à leurs employés par rapport à 75%
des employeurs des diplômés des autres universités

Quelle méthode d’analyse faut-il utiliser ?

En Figure 8-2 ci-dessous est présentée une liste des analyses descriptives les
plus fréquemment utilisée, les renseignements qu’ils fournissent et quelques
exemples des situations où on pourra les employer.

Figure 8-2
Analyses descriptives fréquemment utilisées

Répartitions par fréquence : Le nombre et le pourcentage

Parties d’une entité globale (100%)


Pourcentage : parties d’une entité globale exprimées en
pourcentages – 75%
Proportion : parties d’une entité globale, exprimée en
décimaux – 0.75

Taux : le nombre d’événements qui sont normalisés ; permettent de faire


des comparaisons
Exemple : mortalité des enfants/100 000 naissances
Exemple : production des cultures par hectare

Ratio : une autre façon de montrer la relation entre deux variables


numériques
Exemple : ratio d’étudiants par rapport aux professeurs

Taux de changement ou changement exprimé en pourcentage :


Montre les changements survenus dans le temps entre deux périodes.
[(Nouvelle donnée/ancienne donnée) – 1] x 100% = pourcentage

11
Traduit par le Réseau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003

On calcule le taux de changement de 1980 à 1985 :


[(12 000/10 000)] – 1] x 100% = 20%

Les hectares disponibles ont augmenté de 20% entre 1980 et 1985


Variation par rapport à l’année précédente :

Année Hectares disponibles Taux de changement


1980 10 000 Référence
1985 12 000 20%
1990 19 000 58%
1995 28 000 47%

Description de deux variables à la fois

Parfois on voudrait exprimer deux variables en même temps. Par exemple,


disons qu’on voudrait décrire la répartition des étudiants qui participent aux
cours enseignés par la technique « sur le tas » et aux cours enseignés par la
technique d’exposé. Pour chaque cours il faudra découvrir la répartition en
pourcentages de garçons et de filles. L’analyse des données indique que les
cours « sur le tas » sont composés à 55% de garçons et à 45% de filles,
tandis que les cours d’exposé sont composés à 55% de filles et à 45% de
garçons.

Table 8-6 : Participants des cours : données démographiques

Cours : Cours : Cours : Cours :


Technique Technique Technique Technique
« sur le tas » « sur le tas » d’exposé d’exposé
Nombre Pourcentage Nombre Pourcentage
Garçons 28 55% 34 45%
Filles 22 45% 41 55%
Total 125 N=50 100% N=45 100%

Mesures de relation

Les mesures de relation (ou d’association) indiquent le niveau de relation


entre les variables. Bien qu’elles ne prouvent pas « la cause », on ne peut
même pas commencer à suggérer un argument causal si les variables n’ont
pas de relation (ou d’association) très forte. En d’autres termes, une
association forte est nécessaire mais elle n’est pas suffisante d’elle-même
pour prouver la causalité.

Bien qu’il existe beaucoup de mesures d’association, elles sont toutes


présentées soit sous forme de barème allant de 0 à 1 ou de -1 à +1 pour
indiquer l’importance de la relation. Un niveau de relation de 1 indique une
relation parfaite. Un niveau de relation de 0 indique qu’il n’existe aucune

12
Traduit par le Réseau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003

relation. La plus proche de 0, la plus faible la relation ; la plus proche de 1, la


plus importante relation.

Certaine mesures d’association sont calculées pour indiquer la direction de la


relation. Les deux signes positif et négatif indiquent la direction. Une mesure
avec un signe positif indique que les variables changent dans le même sens :
les deux montent ou les deux descendent. On appelle ce genre de relation
une relation directe. Par exemple, au fur et à mesure que les années de
formation scolaire augmentent, le revenu individuel augmente également. Un
signe négatif indique que les variables ont une relation inverse, ce qui veut
dire que les deux variables changent dans le sens opposé. Par exemple, au
fur et à mesure que l’âge avance, la santé se dégrade. Une mesure
d’association de -1 voudrait dire donc une relation parfaitement opposée.
Une mesure d’association de -1 est proche de zéro et est une relation
inverse très faible.

La corrélation est une autre mesure d’association. On pourra faire une


corrélation entre deux intervalles ou deux variables de ratio ou on pourra
utiliser une technique de régression multiple pour estimer l’impact de
plusieurs variables simultanément sur la variable dépendante. Cette
technique marche bien avec des données d’intervalle et de ratio. Il y a
d’autres techniques qu’on pourra utiliser pour des données ordinales et
nominales mais elles sont moins fréquemment utilisées et sont plus difficiles
à comprendre pour ceux qui ne disposent pas de formation spécialisée.

Statistiques d’inférence

Les statistiques d’inférence nous permettent de faire des estimations sur une
population à partir d’un échantillon prélevé au hasard de cette même
population. Lorsqu’on utilise les données d’échantillon, la préoccupation
principale est de vérifier si les résultats sont une fonction d’une particularité
de l’échantillon au lieu d’être un reflet authentique de la population. Si on
avait prélevé d’un autre échantillon, les résultats seront-ils à peu près les
mêmes ?

Les statisticiens ont développé des tests des échantillons qu’on appelle les
tests de signification statistique et leur fonction est très simple :

Ils permettent d’estimer le niveau de probabilité que les résultats de


l’analyse sont des résultats uniquement de chance.

Il y a + de 100 différents tests statistiques. Parmi les plus reconnus sont le


test de Chi carré et le test T. La bonne nouvelle est que tous les différents
tests de statistiques sont interprétés selon les mêmes principes. Les
évaluateurs ont fixé la référence de signification statistique au niveau de
0.05. Parfois ce niveau est appelé le niveau alpha ou la valeur p. C’est à dire,
on fixe la référence afin d’être 95% certain que les résultats de l’échantillon
ne sont pas les résultats de chance ou du hasard. Si on veut soulever la

13
Traduit par le Réseau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003

barre, on fixera le niveau à 0.01 afin d’être 99% certain que les résultats de
l’échantillon ne sont pas dus uniquement à la chance.

Tous les tests de signification statistique dépendent en partie de la taille de


l’échantillon. Si la taille de l’échantillon est très importante, des faibles
différences sont probablement statistiquement significatifs. On a toujours
besoin de décider si ces différences sont importantes pour le but de la
recherche. La décision sur l’importance est toujours un jugement subjectif.
Ce n’est pas parce qu’un résultat est statistiquement significatif que ce
résultat est important ou significatif pour le but de la recherche. Par
exemple, disons que les résultats d’une enquête sur un échantillon prélevé
au hasard indiquent que 85% sont satisfaits des soins de santé de la clinique
publique locale et que 89% sont satisfaits des soins de santé dispensés par
des médecins privés. Ces résultats sont statistiquement significatifs au
niveau de 0.05. Et alors ? Bien qu’il existe une faible différence, la plupart
des patients sont satisfaits des deux formes de soins de santé. Cette
différence probablement n’est pas le résultat uniquement de la chance, mais
ce n’est pas un résultat qu’on pourra utiliser comme base pour la
modification des politiques sur les soins de santé.

Logique des tests de signification statistique

Les tests sont élaborés pour fournir le niveau de probabilité d’obtenir les
résultats s’il n’existe pas de différence dans la population entière. Les
chercheurs l’appellent « l’hypothèse nulle ». L’hypothèse nulle est toujours
une hypothèse de zéro différence. Supposons qu’une enquête effectuée au
Pakistan sur un échantillon prélevé au hasard indique qu’il existe une
différence de 5 000 roupies entre les revenus des hommes et le revenu des
femmes. On pourra l’exprimer de la manière suivante : s’il n’existe
réellement pas de différences dans la population, quelle est la probabilité de
trouver une différence de 5 000 roupies entre les revenus des hommes et les
revenus des femmes dans un échantillon prélevé au hasard ? S’il existe 5%
de chances (0.05) ou moins (la référence), on doit conclure que les résultats
de l’échantillon sont un reflet exact de toute la population.4 On pourra
conclure qu’il existe effectivement une différence d’approximativement 5 000
roupies et que cette différence est statistiquement significative.

4
Techniquement, le chercheur en sciences sociales diraient que l’hypothèse nulle de zéro différence est rejetée. Si, de
l’autre côté, le test de signification statistique est de 0.1 (ce qui est plus fort que 0.05), selon les sociologues, le test n’a
pas réussi à rejeter l’hypothèse nulle : ces résultats ne sont pas statistiquement significatifs.

14
Traduit par le Réseau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003

Exercice d’application 8-1


Processus du diagramme d’affinité

Instructions :

Obtenir trois ou quatre articles de journal sur une question dans la région où
vous travaillez.

Si vous êtes d’accord pour travailler avec d’autres sur ce module, demander
aux autres de faire pareil. Ensuite utiliser le processus de diagramme
d’affinité pour identifier des thèmes. (Si vous travaillez seul, se passer de cet
exercice et continuer à l’Exercice 8-2.)

On vous donnera un morceau de papier. Ecrire un thème ou une idée sur


chacun des morceaux de papier. Ce processus devra se passer en silence.
Une fois tous les thèmes écrits, épingler tous les morceaux sur le mur de
manière désordonnée. Lorsque les autres commencent à attacher leurs
morceaux sur le mur, commencer à trier les thèmes ou des idées et grouper
les mêmes thèmes ou idées ensemble – encore en silence.

Une fois les morceaux de papier commencent à prendre forme selon des
thèmes, les participants pourront causer en même temps qu’ils trient les
morceaux de papier.

Le groupe entier identifiera les thèmes ensemble.

15
Traduit par le Réseau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003

Exercice d’application 8-2


Comment encoder et analyser des données qualitatives

Instructions :

Obtenir trois ou quatre articles de journaux sur une question dans la région
où vous travaillez. Lire chacun des articles pour déterminer des thèmes
principaux.

Si vous travaillez seul et vous avez accès à un ordinateur, installer un logiciel


Excel (ou autre logiciel tableur ou un tableau en grille sur une grande feuille
de papier). Dans la cellule gauche en haut, écrire « article » et dans la
deuxième colonne en haut, écrire le mot « extrait ». Ensuite, saisir chaque
commentaire provenant des entretiens, un par ligne, dans la colonne de la
rubrique « extrait ».

Identifier des thèmes des articles, saisir ces thèmes comme des rubriques
des colonnes et marquer la cellule où un extrait d’article contient chaque
thème. Finalement, écrire un narratif d’une à trois pages pour résumer les
résultats des trois entretiens.

16
Traduit par le Réseau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003

Exercice d’application 8-3


L’interprétation des données quantitatives : erreurs fréquemment
commises

1. Une enquête demande aux participants de donner leurs impressions du


programme et 80% ont dit que le programme est utile. Quelle sera la
meilleure façon de présenter les résultats ?
a. ______ « Le programme est utile »
b. ______ « Les participants ont trouvé le programme utile. »

2. On a demandé aux participants d’identifier les obstacles et les supports du


programme. Quel est le problème posé si les résultats de cette question sont
présentés en termes de « pour » et « contre » ?

3. Une enquête a demandé aux étudiants de classer les différentes


composantes du cours et pour la plupart ils ont donné un classement positif à
chacune des composantes. Quel est le problème posé si le rapport déclare
que « la plupart (70%) des étudiants pensent que le cours est une
réussite » ?

4. 40% des femmes et 30% des hommes sont en faveur d’apporter des
changements au programme d’études. Est-il juste de présenter les résultats
de la manière suivante : « La majorité de femmes est en faveur des
changements du programme d’études. » ?

5. 51% sont en faveur d’apporter des changements au programme d’études.


Est-il exact de déclarer que « plus que la moitié des participants ont dit
que… » ?

6. L’enquête a été complétée par 5 sur des 20 professeurs. Tous les cinq ont
répondu qu’ils ont été bien préparés. Est-il exact de déclarer que « tous les
professeurs ont été bien préparés. » ?

7. Dans le cadre de la même enquête, est-il juste de déclarer que « Quatre-


vingt pourcent des participants ont dit que le matériel a été organisé. » ?

8. Est-il exact de présenter une augmentation de 100% de femmes dans des


portefeuilles politiques tandis que le nombre réel a augmenté de 2 à 4, sur
50 portefeuilles pour les élus ?

9. Un programme de formation a trouvé que ceux qui ont participé au


programme ont gagné 20% de plus que ceux qui n’ont pas participé au
programme. Est-il exact de déclarer que « Le programme a provoqué une
augmentation de salaire de 20%. » ?

17
Traduit par le Réseau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003

Exercice d’application 8-4


Comment analyser les résultats d’un questionnaire

Instructions :

Veuillez compléter ce questionnaire et demander à deux collègues qui


participent à ce même cours de le compléter. (Si vous n’avez pas de co-
étudiants, demander aux collègues de compléter la première partie
seulement.)

Ramasser tous les questionnaires et totaliser les résultats. Travaillant seul ou


en compagnie des autres, résumer tous les résultats. Inclure une conclusion
sur les résultats globaux.

Enquête IPDET ID___________

1. Pour chacune des compétences suivantes, quel est votre niveau de


maîtrise, selon vous ? :

Peu ou pas Un peu Moyen Beaucoup Enormément


du tout
a. Planifier une évaluation
b. Analyser des données
c. Elaborer une enquête
d. Mener un groupe ciblé
e. Faciliter une réunion
des parties prenantes
f. Ecrire un rapport
g. Préparer une
présentation orale

2. A ce stade du programme de formation, quelle est votre réaction face à


chacune des déclarations suivantes ?

Très Négatif Neutre Positif Très


négatif positif
a. Le matériel est nouveau pour moi
b. Le matériel est intéressant
c. Les présentations sont suffisantes
d. Les discussions en classe sont
suffisantes
e. Les exercices sont utiles
f. J’apprends du matériel utile

18
Traduit par le Réseau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003

Lectures et ressources supplémentaires

Denzin, N. & Lincoln, Y. (Eds.) (2000). Handbook of Qualitative Research.


‘(2nd Ed.) Thousand Oaks, CA: Sage.

Glass, G. & Hopkins, K. (1996). Statistical methods in education and


psychology (3 rd Ed.) Boston: Allyn and Bacon.

Jaeger, R.M. (1990). Statistics: A Spectator Sport (2nd Ed.)Thousand Oaks,


CA: Sage.

Miles, M.B. & Huberman, A.M. (1994). Qualitative data analysis: An


expanded sourcebook (2 nd Ed.) Thousand Oaks, CA: Sage.

Patton, M.Q. (2002). Qualitative research and evaluation methods (3 rd Ed.)


Thousand Oaks, CA: Sage.

Sites web

Lane, D.M. Hyperstat online textbook.


Online: http://davidmlane.com/hyperstat/index.html

StatSoft, Inc. (2001). Electronic Statistics Textbook. Tulsa, OK: StatSoft.


Online: http://statsoft.com/textbook/stathome.html

19

Você também pode gostar