- ▸ Onze modèles en parallèle pour un seul chatbot pédagogique
- ▸ Une évaluation où GPT-3 arbitre les réponses
- ▸ ECE 120 : un corpus bâti par cinq étudiants en génie électrique
- ▸ Un code ouvert, réutilisable hors d'UIUC
Le projet est open source et hébergé sur HuggingFace sous l’identifiant kastan/ai-teaching-assistant. Il combine onze modèles en parallèle pour la recherche, la génération, la modération et le classement des réponses. Point de départ : épauler les étudiants du cours ECE 120 d’UIUC.
Ce qu’il faut retenir – Architecture multi-modèle : onze modèles distincts tournent en simultané pour traiter texte et image, générer, modérer et classer les réponses. – Boucle RLHF adossée à une recherche sémantique, avec réévaluation de chaque fonctionnalité ajoutée. – Code entièrement ouvert, à l’exception des manuels commerciaux ; base documentaire remplaçable par un index Pinecone maison.
Onze modèles en parallèle pour un seul chatbot pédagogique
Le Center for AI Innovation de l’université de l’Illinois à Urbana-Champaign publie le code d’un assistant pédagogique conçu autour d’une orchestration multi-modèle. D’après le dépôt GitHub du projet, le système fait tourner onze modèles distincts en même temps.
Chacun couvre une tâche précise : recherche documentaire, génération de la réponse, modération du contenu, classement des candidats. Le tout est accessible en démonstration sur HuggingFace, à l’identifiant kastan/ai-teaching-assistant.
L’objet du chatbot reste circonscrit. Il répond aux questions des étudiants sur la matière d’un cours donné, en s’appuyant sur les supports fournis.
Une évaluation où GPT-3 arbitre les réponses
La méthode de test structure tout le projet. Les développeurs réévaluent chaque nouvelle fonctionnalité pour mesurer son impact, positif ou négatif, avant de la conserver ou de l’écarter. Cette discipline évite d’empiler des composants qui dégradent la qualité sans qu’on s’en aperçoive.
Le banc d’essai repose sur un jeu de données interne de paires questions-réponses. Pour noter les sorties du chatbot, l’équipe fait juger ces réponses par GPT-3, le modèle d’OpenAI, comparé à des réponses rédigées par des humains.
La limite est assumée dans le dépôt : GPT-3 évalue en partie ses propres productions, ce qui biaise le verdict en sa faveur. Les auteurs envisagent d’introduire des modèles tiers, ceux de Cohere par exemple, pour croiser les jugements et neutraliser cet effet.
Ce choix méthodologique dit quelque chose de l’époque. Fin 2022, l’évaluation automatique par un grand modèle de langage restait rare hors des laboratoires. Le projet l’applique ici à un usage éducatif concret, avec un garde-fou explicite sur son propre biais.
ECE 120 : un corpus bâti par cinq étudiants en génie électrique
Le périmètre initial couvre le cours ECE 120 d’UIUC, une introduction au génie électrique. Le contenu enseigné dans ce cursus sert de socle documentaire au chatbot.
Cette spécialisation a un coût humain identifiable. Une équipe de cinq étudiants en génie électrique a produit une base de données comparatives RLHF-QA, destinée à l’apprentissage par renforcement à partir de retours humains (RLHF, le réglage d’un modèle sur des préférences annotées).
L’originalité tient à l’usage d’une recherche sémantique au sein de cette boucle RLHF. Le système ne se contente pas de classer des réponses : il récupère les passages pertinents des supports de cours pour ancrer la génération dans le programme réel, et non dans les connaissances générales du modèle.
Un code ouvert, réutilisable hors d’UIUC
Le projet est entièrement open source, à l’exception des manuels commerciaux, protégés par droits. Cette réserve près, le code et l’architecture d’orchestration sont libres de réemploi.
Les développeurs encouragent l’adaptation à d’autres cours. Il suffit de brancher sa propre base de documents via un index Pinecone pour transposer l’assistant à une autre matière, sans réécrire la logique multi-modèle.
FAQ
Puis-je déployer cet assistant dans mes propres cours ?
Oui. Le code est ouvert sur GitHub. Vous récupérez l’orchestration multi-modèle et vous connectez votre propre base documentaire, par exemple un index Pinecone alimenté avec vos supports. Seuls les manuels commerciaux restent exclus du dépôt.
Quelle est la principale faiblesse reconnue par l’équipe ?
L’évaluation. GPT-3 note en partie ses propres réponses, ce qui gonfle mécaniquement ses scores. Les auteurs prévoient d’ajouter des juges tiers, comme les modèles de Cohere, pour obtenir des comparaisons moins complaisantes.
À suivre
Le dépôt reste public et réutilisable. Les prochains jalons portent sur l’ouverture de l’évaluation à des juges externes et l’extension du corpus au-delà du seul ECE 120. À lire aussi : comment le RLHF façonne les modèles de langage.
