Comment l’IA peut aider la scolarité des aveugles et malvoyants

Et si l'intelligence artificielle pouvait aider les personnes aveugles et malvoyantes à se former? En Suise romande, une équipe de chercheurs de la Haute école de gestion Arc (HEG Arc) à Neuchâtel a su répondre par l’affirmative. Mené en collaboration avec le Centre pédagogique pour élèves handicapés de la vue (CPHV), le projet «Conversion accessible automatique de manuels scolaires» a récemment été distingué par le 1er prix de l’innovation de la Fondation Asile des aveugles.

Soutenir la tâche des transcripteurs-adaptateurs

Contacté par la rédaction, Cédric Baudet, professeur et chercheur à la HEG Arc, explique que la phase pilote a déjà permis de créer un logiciel capable de soutenir la tâche des transcripteurs-adaptateurs en Suisse. Ces derniers travaillent à rendre accessible le matériel pédagogique numérique (manuels scolaires au format PDF, supports de cours, slides, etc.) aux apprenants en situation de handicap visuel.

Les algorithmes d’IA ont été formés par les chercheurs à partir des technologies de reconnaissance d’image (les textes étant ici analysés comme s’il s’agissait d’images). Il a été nécessaire d’entraîner des modèles de deep learning à comprendre la mise en page très spécifique de ce matériel. «Quand on alimente l'intelligence artificielle, on lui fournit des supports de cours et des exercices qui doivent être labellisés pour désigner tous les éléments spécifiques, par exemple une consigne, une image, une zone de réponse, etc.», détaille Cédric Baudet. Une fois l’étiquetage suffisant, l’IA peut reproduire dans des contextes différents ce qu’elle a appris.

Transcription en toute autonomie

Après cette phase pilote, le projet de recherche se poursuit. L’objectif est double: améliorer l’IA créée, mais aussi permettre l'utilisation du logiciel directement par les personnes aveugles et malvoyantes. Il ne s’agit pas de pouvoir se passer du travail complexe et précis des transcripteurs-adaptateurs, mais de donner la possibilité de produire en toute autonomie, par exemple directement en classe, une conversion simple de support pédagogique qui n’aurait pas été transcrit et adapté. Notamment pour des documents originaux créés par les enseignants.

Pour améliorer cette IA, le défi consiste à trouver assez de contenus pour l’alimenter. Or pour des questions de droits, les départements de l'instruction publique ou les éditeurs ne donnent pas directement accès à leurs supports, souligne Cédric Baudet. Le professeur espère que de nouvelles discussions changeront la donne. Formé à partir de matériel en français, le logiciel pourrait à l'avenir être adapté aux autres langues nationales.