Les formations visent de plus en plus à développer des compétences chez leurs apprenants. Ces compétences s’appuient sur des connaissances et sur des raisonnements. C’est pour les interroger et les faire évoluer que le Groupe des Ecoles des Mines a développé un outil générique de questionnement basé sur les technologies Web. Les outils existants offrent des potentiels de progression des étudiants assez limités. Nous avons développé une didactique adaptée sur laquelle nous avons construit cet outil. Outre le test des connaissances des étudiants, cet outil permet de favoriser le travail autonome des étudiants et une réflexion sur leurs propres pratiques et raisonnements (méta-réflexion).

L’outil est constitué d’une banque de questions en mathématiques couvrant les niveaux L et M. Cette banque est extensible. Elle est alimentée par les enseignants qui ont accès à l’outil et qui adhèrent à la didactique du projet. Chaque question proposée par un enseignant est jugée par un comité de validation, garant de la qualité de la question et de l’homogénéité de la banque de questions, avant d’être validée et mutualisée, i.e. avant d’être utilisable par tous. Une question non validée reste exploitable par son auteur, ainsi profitera t-il de l’ensemble des questions communes, de ses propres questions, et des fonctionnalités de manipulation des questions et de suivi du travail des étudiants.

Les questions (de type QCM) sont rédigées de façon à aider l’apprenant à progresser, à comprendre ses erreurs (d’où l’importance d’un comité de validation). C’est pourquoi, toute réponse est accompagnée d’un raisonnement, bon (quand il s’agit de la bonne réponse) ou mauvais (quand il s’agit d’une réponse erronée). Les mauvaises réponses proposées correspondent à des erreurs que les élèves commettent régulièrement. La rédaction des questions est importante. Elles ne sont pas rédigées en proposant comme fausses réponses des réponses « prises au hasard ». L’objectif est de montrer aux étudiants les erreurs les plus courantes, les plus intéressantes et de leur expliquer les erreurs de raisonnement correspondantes. Les questions de la banque contiennent une partie de l’expérience des enseignants. A chaque question sont définies des méta-données : les concepts sous-jacents, le sous-domaine, le niveau de formation de l’apprenant, la difficulté de la question (de la simple application du cours au véritable problème), ...

Sur la base des questions mutualisées, l’application propose trois modes de fonctionnement :
  • un test de connaissances : l’apprenant répond aux questions en temps limité. Les raisonnements associés aux réponses ne sont pas affichés. A la fin de son test, il obtient un score. Il peut à titre d’entraînement créer ses propres questionnaires par tirage aléatoire de questions dans un champ disciplinaire (l’accès à cette fonctionnalité est configurable pour chaque apprenant par l’administrateur).
  • une auto-évaluation : l’apprenant auto-diagnostique sa compétence à l’aide de questionnaires préparés par l’enseignant pour l’interroger sur des concepts particuliers. S’il le souhaite, l’enseignant peut ensuite consulter les résultats des élèves. De même, les élèves peuvent à titre d’auto-entraînement, créer leurs propres questionnaires et les passer. Dans ce cas, l’enseignant n’en a pas de visibilité.
  • une auto-formation accompagnée : l’apprenant réalise un questionnaire préparé par l’enseignant. Il est amené à avoir une méta-réflexion sur ses pratiques et à échanger en asynchrone avec un tuteur distant via un carnet de route.

Un assistant facilite la création des questionnaires pour l’enseignant. Ce dernier exprime des critères de sélection de questions de la base (domaine, sous-domaine, concepts à interroger, niveau des questions, difficultés, temps, nombre de questions, …). L’assistant propose automatiquement un questionnaire constitué de questions satisfaisant les critères. Il laisse l’enseignant libre d’éliminer en un clic certaines questions, d’ajouter d’autres questions vérifiant les critères, modifier le temps attribué à chaque question, ….

En répondant aux questionnaires (sauf dans le mode test de connaissances), l’apprenant est invité à comparer son raisonnement avec celui attaché à la réponse qu’il désigne. En quoi est-il différent ? Est-il identique ? A t-il fait la même erreur ? Sa bonne réponse est-elle issue du bon raisonnement ? Quand l’apprenant fait le test à titre d’auto-évaluation ou d’auto-formation accompagnée, il doit indiquer, selon lui, son niveau de maîtrise des concepts sous-jacents (contenu dans les méta-données) à chaque question sur une échelle de 1 (n’a rien compris) à 5 (maîtrise complètement) en fonction de son propre raisonnement et de celui qui est affiché. A la fin du questionnaire, on lui affiche une « moyenne » de sa maîtrise concept par concept. S’il n’a pas répondu de façon fantaisiste, il obtient une photographie de sa compréhension et peut ensuite travailler les concepts où il est en difficulté. On estime que si l’apprenant effectue de lui-même des tests d’auto-évaluation, sa volonté est de progresser et par conséquent il n’a aucun intérêt à mal évaluer volontairement son niveau de maîtrise. De même, en mode « auto-formation accompagnée », il le fera sérieusement car l’enseignant verra ses réponses. Dans ce mode, l’apprenant doit aussi indiquer explicitement l’écart entre son raisonnement et celui affiché dans un carnet de route partagé entre lui et son tuteur. Cette contrainte a pour objectif d’amener l’apprenant à s’interroger sur son raisonnement (méta-réflexion). A partir de l’analyse de l’apprenant rédigée dans le carnet de route, le tuteur dialogue avec lui pour lui poser des questions supplémentaires, ou lui expliquer ses erreurs. Sachant que le tuteur verra ses propos, l’apprenant est incité à faire sérieusement son analyse.

L’enseignant a accès aux résultats de chaque apprenant : vue globale de son test ou vue en détail avec affichage de chaque réponse.

L’usage premier de cet outil de test de connaissance, d’auto-évaluation et d’auto-formation accompagnée est d’aider les étudiants en difficulté dans le domaine scientifique de la banque de questions. Il permet en particulier d’évaluer le niveau des étudiants pour déceler ceux qui ont besoin d’un soutien. Ce soutien est offert en exploitant le mode « auto-formation accompagnée ».

Automath peut être exploité dans d’autres situations :
  • préparation d’examens (tests d’entraînement à l’initiative des enseignants ou des apprenants eux-mêmes)
  • enseignement à distance
  • en complément du présentiel
  • en présentiel enrichi
  • évaluation du niveau d’apprenants

Exemple d’usage pédagogique impliquant les 3 modes de fonctionnement de l’outil : Aider les étudiants en difficulté à mieux réussir. On suppose ici qu’un cours est donné sur plusieurs mois à un grand nombre d’étudiants (plus de 100), avec deux contrôles sur table, un au milieu et un à la fin :
  • 1ère étape : quelques semaines après le début du cours, tous les étudiants doivent passer un tests en mode « test de connaissance ». Les étudiants ont une semaine pour faire ce test au moment où ils le souhaitent. Ce test interroge les concepts vus au début du cours. Il va permettre de détecter les étudiants qui ont le plus de difficulté.
  • 2ème étape : les étudiants repérés doivent faire avant le premier DS plusieurs tests en mode « auto-formation accompagnée » où un tuteur va les suivre et les aider à progresser. Le tuteur va donc leur préparer des questionnaires pour les aider à réfléchir et corriger leurs raisonnements. Les autres étudiants, qui souhaitent s’entraîner pour préparer le DS, peuvent le faire en construisant et passant eux-mêmes des tests d’auto-évaluation.
  • 3ème étape : Les résultats du premier DS vont permettre d’ajuster la liste des élèves en difficulté.
  • 4ème étape : entre les deux DS, les étudiants en retard doivent faire des questionnaires en mode « auto-formation accompagnée ». Les autres ont toujours la possibilité de s’entraîner.
  • 5ème étape : le DS final.

Ce scénario est utilisé à l’école des Mines de Nantes, et permet de focaliser le temps des enseignants tuteurs pour ceux qui en ont le plus besoin, tout en permettant à ceux qui le veulent de s’entraîner. Les élèves bénéficient d’un moyen pour améliorer leur compréhension, leur compétence à un coût raisonnable.


Cet outil s’adresse à tous les étudiants et tous les enseignants. Il peut s’appliquer dans tout domaine scientifique. Compte-tenu de sa nature de mutualisation, il est logique d’utiliser une instance du serveur par domaine couvert (un serveur pour les mathématiques, un pour la physique, un pour l’informatique, un pour l’environnement, un pour la médecine, ….). Chaque instance peut être hébergée par un établissement distinct. L’unique instance par domaine s’explique par l’intérêt de mutualisation. Si les serveurs sont centralisés par domaine, tout étudiant et tout enseignant peut l’exploiter dès lors qu’il a un accès Internet et bénéficier de l’apport de la communauté. Il est à noter que la gestion du carnet de route a été externalisée pour être compatible avec plusieurs serveurs d’évaluation. En effet, un apprenant peut s’évaluer, se former dans divers domaines, donc depuis plusieurs serveurs de questions. Il aura une vision unifiée de ses échanges avec un tuteur dans un seul carnet de route, où il retrouvera les échanges par domaine, par questionnaire, par question. Actuellement, le système fonctionne avec un seul carnet de route centralisé. Il faudra développer la possibilité d’associer un carnet de route par établissement.

Automath est la version en mathématiques, des déclinaisons dans d’autres domaines sont immédiates. Il suffit pour cela d’installer une instance du code serveur et d’alimenter la base de données avec des questions d’un autre domaine scientifique.


En résumé, les originalités de ce produit sont :
  • une didactique incitant les étudiants à progresser, à s’interroger sur leurs raisonnements
  • une application full-web incluant la gestion des formules mathématiques en MathML. Apprenants et enseignants peuvent saisir les formules en ligne avec un contrôle wysiwyg du texte entré.
  • la mutualisation des questions entre enseignants d’une même communauté scientifique
  • un suivi des étudiants
  • un carnet de route permettant des échanges asynchrone entre les apprenants et leur tuteur en conservant le contexte et l’historique des échanges. Le carnet de route est compatible avec différentes instances de l’outil d’évaluation. L’apprenant et le tuteur dispose d’un seul carnet même s’ils participent à des évaluations dans des domaines différents.
  • des fonctionnalités selon le rôle des utilisateurs (enseignant, auteur, administrateur, apprenant, relecteur). Un usager peut disposer de plusieurs rôles.
  • un accès multi-établissements (annuaire LDAP, comptes locaux, fédération d’identité via Shibboleth).
Last modified: lundi, 15 juillet 2013, 4:35