12 % ou 100 % : cessez de demander quelle IA est la meilleure

Notre position : le classement des IA compte moins que vos propres tests. Le 2 novembre 2026, trois benchmarks ont donné des chiffres sans commune mesure : 12 % pour le meilleur modèle chez SemiAnalysis, jusqu’à 100 % sur une tâche du quotidien chez OpenAI, 82,2 sur 100 pour le meilleur coéquipier chez des chercheurs. Ils ne se contredisent pas : ils posent trois questions différentes.

Trois benchmarks le même jour, trois mondes

Le 2 novembre a offert un cas d’école. SemiAnalysis a publié GDPx, une batterie de tests sur onze domaines à forte valeur, de la conception de puces au droit. Verdict : le meilleur modèle plafonne à 12 %. OpenAI a présenté LifeVal, consacré à la vie courante, avec des exemples notés de 90,4 % à 100 %. Des chercheurs de Stanford, d’Oxford et du MIT ont mis en ligne un test du travail en équipe, où le meilleur obtient 82,2 sur 100.

Chacun de ces chiffres a son angle mort :

• GDPx (SemiAnalysis) soumet les modèles à des tâches d’experts, mais écarte volontairement l’administration, l’immobilier et l’assurance.
• LifeVal (OpenAI) couvre la garde d’enfants, le budget ou les démarches, mais l’éditeur note ses propres modèles et choisit les cinq exemples publiés.
• Collaborative Intelligence (chercheurs) simule 240 tâches d’équipe, mais ne compte que celles que le modèle réussit déjà seul.

Les gagnants changent aussi. Dans GDPx, SemiAnalysis désigne Claude Opus 5.5 comme meilleur modèle polyvalent, Gemini 4 Carbon en biologie et de justesse en développement logiciel, GPT-6 Astra en science des matériaux. Dans le test d’équipe, Gemini 4 Argon passe devant. Un lecteur pressé en conclura que quelqu’un ment. Nous pensons le contraire : personne ne ment, et c’est bien ce qui rend ces chiffres inutilisables tels quels.

Un benchmark, c’est une opinion avec un protocole

Chaque test part d’une conviction sur ce qui compte. SemiAnalysis estime que les premiers grands revenus de l’IA viendront d’un petit nombre de secteurs et construit son épreuve en conséquence. OpenAI s’appuie sur des enquêtes d’emploi du temps et un sondage auprès de 3 995 personnes pour viser l’aide de tous les jours. Les chercheurs du test d’équipe partent de l’idée que les modèles ne travaillent plus seuls.

Ces partis pris sont légitimes. Le problème commence quand le chiffre circule sans eux, comme s’il s’agissait d’une note universelle. Le même outil peut échouer sur un dossier et réussir un menu : dans GDPx, presque tous les modèles obtiennent 0 sur les tâches de finance et de droit, tandis qu’OpenAI affiche 90,4 % pour un plan de repas destiné à un parent diabétique. Les deux chiffres peuvent être exacts à la fois.

Il faut aussi regarder qui tient le stylo. OpenAI évalue ses propres modèles. SemiAnalysis signale que des filtres de sécurité font baisser certains scores, ce qui complique la comparaison. Les auteurs du test d’équipe utilisent des modèles Claude comme juges et ont dû vérifier qu’ils ne favorisaient pas leur famille. Ces précautions sont à leur honneur, mais elles disparaissent presque toujours dans les titres. Et un test vieillit vite : SemiAnalysis juge déjà dépassé GDPval, lancé par OpenAI en septembre 2025.

Ce que ces tests apprennent vraiment : où l’IA casse

La partie la plus utile n’est pas le podium, mais la liste des pannes. Dans le test d’équipe, les modèles de pointe ne trouvent le meilleur accord que dans 14 % des conflits face à un coéquipier qui insiste. Dans GDPx, sur une tâche publique de révision de statuts lors d’une levée de fonds, aucune version n’a été jugée utilisable en 20 essais, et 98 % des exécutions sur des tâches de cybersécurité ont enfreint au moins une règle de conduite.

Voilà ce qu’un responsable devrait lire avant de déployer un outil. Une IA peut avoir raison puis céder. Elle peut réussir une tâche et franchir une ligne en chemin. Aucun score global ne le montre, et c’est pourtant ce qui coûtera cher le jour où l’erreur partira chez un client.

L’objection sérieuse : vos tests maison valent-ils mieux ?

On peut soutenir que non, et l’argument mérite d’être entendu. Un essai isolé trompe facilement. Les auteurs du test d’équipe observent que seules 80 % des exécutions isolées donnent le même verdict sur trois passages. Celui qui essaie trois consignes un mardi matin mesure donc surtout sa chance.

Les benchmarks publics gardent aussi une vraie utilité : ils sont reproductibles, certains publient leur code et ils obligent les éditeurs à sortir du discours commercial. Nous publions nous-mêmes des sélections par usage et des comparatifs. Ils aident à réduire une liste à deux ou trois candidats. Ils ne peuvent pas choisir à votre place, parce qu’ils ne connaissent ni vos documents, ni votre tolérance à l’erreur.

Notre méthode : cinq tâches, trois essais, une contradiction

Il suffit d’un après-midi pour obtenir une réponse plus utile qu’un classement mondial, à condition de procéder avec un minimum de rigueur.

1. Choisissez cinq tâches réelles dont vous connaissez la bonne réponse : un contrat déjà relu, un tableau déjà vérifié, un mail déjà traité. Anonymisez ces documents avant de les envoyer.
2. Comparez deux ou trois outils avec les mêmes documents et la même consigne.
3. Répétez chaque tâche trois fois. Une IA brillante une fois sur trois reste une IA à surveiller.
4. Mesurez le temps de correction, et non la qualité apparente du texte.
5. Ajoutez une contradiction. Affirmez à tort que l’IA se trompe et insistez. Notez si elle tient, si elle cède ou si elle invente une justification.
6. Recommencez à chaque nouvelle version, et gardez une trace de vos résultats.

Ce test reste imparfait et ne remplace pas une évaluation formelle pour un usage sensible, en santé ou en droit notamment. Mais il répond à la seule question qui vous concerne : cet outil fait-il gagner du temps sur votre travail, sans erreur que vous ne verriez pas ?

Ce qu’il faudrait exiger des éditeurs et des médias

Une fiche de pannes à côté de chaque score : les domaines où le modèle échoue, les filtres actifs, la version testée et la date. Les auteurs du test d’équipe demandent déjà aux laboratoires de publier une note de travail en équipe à côté des notes de capacité. Allons plus loin, et appliquons la même règle aux médias, le nôtre compris : pas de chiffre dans un titre sans dire ce qu’il mesure.

La prochaine fois qu’un article annonce qu’une IA a « gagné », posez deux questions. Gagné à quoi ? Et qui a écrit l’épreuve ?

Sources consultées et vérifiées le 3 novembre 2026. Une erreur ? Écrivez-nous via la page contact.