Proposition de sujet de mmoire M2 - Master 2 R sciences cognitives - Grenoble-I

Exprimentation avec Apex 2, un systme d'valuation automatique de rsums de cours

Contact : Philippe Dessus (Lab. sciences de l'ducation, UPMF, bureau 215, BSHM, Philippe.Dessus@upmf-grenoble.fr)
Rsumer des cours pour valuer sa propre comprhension de ces derniers (et/ou favoriser leur apprentissage) est une activit que les tudiants
ralisent frquemment, et qui est souvent demande en examen. Pour autant, valuer la qualit des rsums demande beaucoup de temps aux
enseignants, qui, de ce fait, encouragent peu les tudiants la mettre en uvre. La possibilit de faire raliser cette valuation par des systmes
informatiss est donc envisager.
Apex 2 (Dessus & Lemaire, 2002) est un systme informatique permettant des tudiants de lire divers documents correspondant un cours
(rcuprs par requte), de rdiger des rsums de ces documents et d'tre valus sur le contenu de ces derniers. De plus, ce systme compare
l'avis de l'tudiant sur sa propre comprhension du cours et celui du systme, lui permettant ainsi d'engager un processus d'auto-rgulation
(c'est--dire lamener comprendre ce qu'il a compris, par des indications de type : "Tu penses avoir compris le document d, mais ton rsum
montre que ce n'est pas le cas"). Il est noter que l'tudiant passe librement de l'une l'autre de ces diffrentes activits (recherche, lecture,
criture, jugement de comprhension).
Le mcanisme de recherche de documents et de comparaison cours/rsums est assur par l'analyse de la smantique latente (Latent Semantic
Analysis, Landauer & Dumais, 1997), une mthode de traitement statistique rendant compte de la proximit smantique entre mots ou textes.
Cette mthode est, depuis 10 ans, classiquement utilise dans de nombreux systmes d'valuation automatique (voir Dessus & Lemaire, 2004,
pour une revue).
Une version prototype d'Apex 2 avait t programme en 2001; elle vient d'tre adapte aux systmes et ordinateurs plus rcents. Dans le cadre
d'un projet europen (projet LTfLL, pour Language Technologies for LifeLong Learning, site : http://partners.ltfll-project.org/ partiellement
accessible au public), notre travail sur trois ans est de partir d'un test de ce systme (ce test tant en partie le sujet de cette recherche) pour
laborer terme un ensemble complet de services libres et gratuits pouvant tre utiliss dans les plates-formes d'enseignement distance,
autorisant un ensemble d'activits varies (pour l'enseignant, dtection de plagiat, analyse de forums/chats ; pour l'tudiant, aide la recherche,
l'valuation de dissertations).
ce jour, Apex 2 fonctionne sous Linux et PHP. Un tudiant de Master 2 Pro IDL (options TALEP ou EIAL), Univ. Stendhal va se charger de
l'ventuelle partie programmation lie au test.
Le sujet de ce mmoire va tre de tester l'utilisation d'Apex 2 en contexte universitaire, avec un cours et une tche les plus proches possible du
contexte rel. Il s'agira donc d'une passation d'exprimentation classique, avec les phases suivantes :
aide au choix du corpus utilis pour le traitement des rsums ;
choix de la tche, du contenu, et de la procdure de test et d'valuation (questionnaire d'utilisabilit et d'valuation de charge cognitive de type

NASA-TLX radapter d'un prcdent) ;

appel participants (une dizaine) ;
passation des participants (1 h environ) ;
analyse des donnes de traces (e.g., nombre de requtes, nombre de textes lus/rsums, etc.) et du questionnaire.
prconisations de modifications, pouvant le cas chant tre aussi testes sur d'autres participants ;
rdaction d'un mmoire-rapport (contenant galement un bref tat de l'art).
Rfrences
Dessus, P. & Lemaire, B. (2002). Using production to assess learning: an ILE that fosters Self-Regulated Learning. In S. A. Cerri, G.
Gouardres, & F. Paraguau (Eds.), Intelligent Tutoring Systems (ITS 2002) (pp. 772-781). Berlin : Springer, LNCS 2363. Disponible
http://webu2.upmf-grenoble.fr/sciedu/pdessus/its02.PDF
Dessus, P. & Lemaire, B. (2004). Assistance informatique la correction de copies. In . Gentaz & P. Dessus (Eds.), Comprendre les
apprentissages : sciences cognitives et ducation (pp. 205-220). Paris : Dunod. Disponible http://webu2.upmfgrenoble.fr/sciedu/pdessus/dunod04.pdf
Landauer, T. K., & Dumais, S. T. (1997). A solution to Plato's problem : the Latent Semantic Analysis theory of acquisition, induction and
representation of knowledge. Psychological Review, 104(2), 211-240. Disponible http://lsa.colorado.edu/papers/plato/plato.annote.html