- ▸ Ce que mesure ARC-AGI-3 : apprendre les règles sans notice
- ▸ 0,4 % contre 7,8 % : lire les chiffres publiés par OpenAI
- ▸ Conservation du raisonnement et compaction : les deux options en cause
- ▸ Diviser par six les jetons de sortie : l'autre effet mesuré
OpenAI affirme avoir multiplié par trois le résultat de GPT-5.6 Sol sur un test de jeux inconnus, en activant deux options d’API. Le modèle atteint 7,8 %, contre 0,4 % pour GPT-5. Le plafond reste bas. Cette synthèse repose sur un unique document publié par l’éditeur le 29 juillet 2026, invérifiable par une source tierce à ce jour.
| Critère | GPT-5.6 Sol | GPT-5 |
|---|---|---|
| Score ARC-AGI-3 | 7,8 % | 0,4 % |
| Fenêtre de contexte citée | 175 000 jetons | non communiqué |
| Réglages en cause | conservation du raisonnement + compaction | non précisé |
| Jetons de sortie | divisés par six sur les tâches publiques | non précisé |
| Source | OpenAI, 29/07/2026 | même source |
Ce qu’il faut retenir – OpenAI rapporte un score de 7,8 % pour GPT-5.6 Sol sur ARC-AGI-3, contre 0,4 % pour GPT-5, soit un écart d’environ vingt fois. – Deux réglages d’API, la conservation du raisonnement entre les tours et la compaction du contexte, expliqueraient ce gain selon l’éditeur. – Ces mêmes réglages divisent par six le nombre de jetons de sortie sur les tâches publiques, d’après OpenAI. – Le résultat provient d’une publication maison : aucun test indépendant ne le confirme à ce jour.
Ce que mesure ARC-AGI-3 : apprendre les règles sans notice
ARC-AGI-3 évalue la capacité d’un agent à comprendre et à jouer des jeux en deux dimensions qu’il n’a jamais vus. D’après la présentation d’OpenAI, le modèle ne reçoit ni notice, ni règle explicite, ni outil spécialisé. Il agit à travers une interface générique et doit déduire le fonctionnement du jeu par l’exploration.
Cette contrainte change la nature de l’épreuve. Un modèle ne peut pas s’appuyer sur une base de connaissances mémorisée : il doit observer les effets de ses actions, formuler des hypothèses sur les règles, puis les corriger au fil des essais. C’est une mesure de raisonnement en situation, pas de récitation.
Le test se déroule sur une série de puzzles enchaînés, chacun confié à une configuration technique différente, ce que le document appelle un « harness ». La fenêtre de contexte citée pour GPT-5.6 Sol pendant ces parties atteint 175 000 jetons, soit l’espace de travail dont le modèle dispose pour garder en mémoire ce qu’il a déjà tenté.
L’intérêt d’un tel protocole est de rapprocher l’évaluation d’un usage agentique réel : un système autonome, lâché dans un environnement neuf, doit apprendre seul. Les scores restent toutefois à interpréter avec la méthodologie de l’éditeur en tête, détaillée plus bas. Notre lecture : ARC-AGI-3 sanctionne moins la puissance brute que la discipline d’exploration.
0,4 % contre 7,8 % : lire les chiffres publiés par OpenAI
Les deux nombres avancés par OpenAI se lisent d’abord dans leur écart. GPT-5.6 Sol obtient 7,8 %, quand GPT-5 plafonne à 0,4 %. Rapportée l’une à l’autre, la performance du modèle récent est environ vingt fois supérieure à celle de son prédécesseur sur cette épreuve précise.
Cet écart mérite une mise en garde immédiate. Multiplier par vingt un score voisin de zéro reste un progrès mesuré sur une base minuscule. GPT-5, selon le document, « peine à jouer », ce que traduit son 0,4 %. Passer d’un quasi-échec total à un échec majoritaire ne constitue pas encore une maîtrise du jeu.
Le titre de la publication d’OpenAI met en avant un autre chiffre : un triplement. Ce triplement ne compare pas les deux modèles entre eux, mais un même modèle avec et sans les deux réglages. Autrement dit, GPT-5.6 Sol serait passé d’un résultat de départ à environ trois fois ce résultat une fois les options activées, pour atteindre 7,8 %.
Deux comparaisons cohabitent donc dans le même communiqué : un facteur vingt entre générations de modèles, et un facteur trois attribué à la configuration. Les confondre reviendrait à surestimer l’effet des réglages. La rédaction retient les deux séparément, chacun avec sa base de calcul.
Reste la question du niveau absolu. Un score de 7,8 % signifie que le modèle échoue sur plus de neuf tentatives sur dix. Le gain est réel selon l’éditeur, mais le sommet du classement demeure très éloigné.
Conservation du raisonnement et compaction : les deux options en cause
OpenAI attribue l’essentiel du gain à deux réglages d’API activés côté agent. Le premier, la conservation du raisonnement, consiste à préserver le fil de réflexion du modèle d’un tour de jeu au suivant, plutôt que de le repartir de zéro à chaque action. Le second, la compaction, condense le contexte accumulé pour éviter qu’il ne sature la fenêtre disponible.
L’articulation entre les deux se comprend à la lecture du protocole. Sur une série de puzzles longs, le modèle génère beaucoup de raisonnement intermédiaire. Sans conservation, il perd le bénéfice de ses déductions passées à chaque étape. Sans compaction, ce même raisonnement finit par remplir les 175 000 jetons de contexte et évince les informations utiles.
Les deux réglages agissent donc en tandem : l’un maintient la mémoire du raisonnement, l’autre l’empêche de déborder. C’est cette combinaison, et non un changement de modèle, que l’éditeur présente comme responsable du triplement.
Le document précise que ces paramètres ont été identifiés après l’analyse des performances de la génération précédente sur le même benchmark. Le message adressé aux développeurs est explicite : la configuration de l’agent pèse autant que le choix du modèle. Un même modèle mal configuré peut sous-performer nettement, selon OpenAI, sur une tâche agentique exigeante.
Diviser par six les jetons de sortie : l’autre effet mesuré
Au-delà du score, OpenAI signale un effet sur la consommation. Les deux réglages divisent par six le nombre de jetons de sortie produits sur l’ensemble des tâches publiques, d’après la publication.
Cet indicateur compte pour quiconque paie à l’usage. Les jetons de sortie constituent la part la plus coûteuse de la facturation chez la plupart des fournisseurs d’API. Une division par six de leur volume abaisse d’autant la note, à tâche équivalente, si la tarification suit le nombre de jetons émis.
Le document ne publie pas de grille tarifaire chiffrée pour GPT-5.6 Sol : le coût par million de jetons n’est pas communiqué dans cette page. On ne peut donc pas convertir la réduction en euros ou en dollars à partir de la seule source disponible. Ce qui est mesuré, c’est le volume, pas le prix.
Un point mérite tout de même d’être relevé : de meilleurs résultats et une sortie plus légère vont ici dans le même sens. La compaction réduit le bavardage du modèle tout en préservant l’utile, ce qui explique la double amélioration selon l’éditeur.
Un score triplé qui reste sous 8 % : ce que ça change vraiment
Le titre met en avant un triplement, chiffre spectaculaire sur le papier. La rédaction préfère le lire à côté du niveau atteint : 7,8 %. Un progrès de cette ampleur sur un socle aussi bas ne fait pas d’ARC-AGI-3 un problème résolu.
La leçon utile n’est pas le podium, mais la sensibilité du résultat à la configuration. Le même modèle, selon qu’on active ou non deux options, voit son score varier d’un facteur trois. Pour un développeur qui compare des modèles sur un benchmark agentique, cela signifie qu’un score mesuré sans les bons réglages ne dit pas grand-chose de la capacité réelle.
Cette sensibilité invite à la prudence sur tous les classements agentiques. Un tableau de scores n’a de sens que si la configuration de test est documentée. Deux équipes évaluant le même modèle avec des réglages différents publieront des chiffres écartés d’un facteur plusieurs, sans que le modèle ait changé.
Notre lecture : le vrai enseignement d’OpenAI est méthodologique. Il concerne la façon de configurer et de comparer des agents, davantage que la performance brute d’un modèle sur des jeux inconnus.
Source unique : pourquoi lire ce résultat avec prudence
Un élément conditionne toute la lecture de cet article : les chiffres proviennent d’une seule et même source, le billet publié par OpenAI le 29 juillet 2026. L’éditeur rapporte les performances de ses propres modèles, sur un benchmark, avec une méthodologie qu’il décrit lui-même.
Cette configuration n’invalide pas les chiffres, mais elle en limite la portée. Aucun test indépendant, aucune reproduction par un tiers n’était disponible à la date de rédaction. Les 7,8 % et les 0,4 % sont des résultats déclarés, pas encore vérifiés hors du laboratoire qui les publie.
La transparence de l’éditeur sur ses réglages joue plutôt en sa faveur : il expose la configuration qui produit le gain, ce qui rend le résultat reproductible en principe. Un lecteur disposant d’un accès à l’API et au benchmark pourrait tenter de retrouver les chiffres.
En attendant cette confirmation extérieure, la rédaction traite ces données comme une annonce d’éditeur, à distinguer d’un classement arbitré par un tiers neutre. C’est la règle que nous appliquons à toute performance auto-déclarée, quel que soit le fournisseur.
Pour quel profil ce résultat compte
Pour un utilisateur débutant. L’enseignement est indirect. Ces chiffres portent sur un usage agentique par API, pas sur l’assistant conversationnel du quotidien. Un score de 7,8 % sur des jeux inconnus ne dit rien de la qualité d’un modèle pour rédiger ou résumer. Ce comparatif ne doit pas guider un choix grand public.
Pour un usage professionnel courant. Le signal utile est la sensibilité aux réglages. Une équipe qui déploie des agents doit retenir qu’un même modèle peut varier d’un facteur trois selon sa configuration, d’après OpenAI. Avant d’écarter un modèle sur un score décevant, vérifiez d’abord comment le test a été paramétré.
Pour un développeur-intégrateur. C’est le profil directement concerné. La conservation du raisonnement et la compaction sont deux leviers concrets à activer sur des tâches longues. La division par six des jetons de sortie touche à la fois la facture et la latence. Le document sert ici de guide de configuration, à condition de valider les gains sur son propre cas plutôt que de reprendre les chiffres tels quels.
Questions fréquentes
ARC-AGI-3 mesure-t-il l’intelligence générale d’un modèle ?
Non. Le benchmark évalue la capacité d’un agent à déduire les règles de jeux 2D inconnus par l’exploration, sans notice, selon OpenAI. C’est une mesure de raisonnement en situation sur un type d’épreuve précis, pas un indicateur global de compétence.
Un score de 7,8 % est-il un bon résultat ?
Il faut le lire dans son contexte. Rapporté aux 0,4 % de GPT-5, c’est un progrès d’environ vingt fois. En valeur absolue, le modèle échoue toutefois sur plus de neuf tentatives sur dix. Le gain est net, la maîtrise non.
Ces réglages sont-ils utiles pour tous les usages ?
Le document décrit un effet sur des tâches agentiques longues, où le raisonnement s’accumule d’un tour à l’autre. Sur des requêtes courtes et isolées, l’apport de la conservation du raisonnement et de la compaction n’est pas documenté par cette source.
