- ▸ Le puzzle Connections du New York Times, révélateur d'un an de progrès
- ▸ Énigmes modifiées et puzzles visuels : les angles morts qui persistent
- ▸ Des dames de 1959 aux puzzles d'aujourd'hui : une histoire de bancs d'essai
- ▸ Ce que ces écarts révèlent sur le raisonnement humain et artificiel
Un puzzle de mots du New York Times a suffi, fin 2024, à mettre en échec les meilleurs modèles d’IA du marché. Quelques mois plus tard, les mêmes familles de modèles le résolvaient presque sans faute. Ce comparatif s’appuie sur les travaux scientifiques publiés et les rapports documentés publiquement, arrêté à août 2026 — il ne remplace pas votre propre expérimentation avec ces puzzles.
Ce qu’il faut retenir – Des chercheurs de Columbia University ont mesuré que les meilleurs modèles ne résolvaient que 18 % des puzzles NYT Connections fin 2024, un score qui a bondi vers la quasi-perfection début 2025. – Les puzzles et jeux servent depuis les années 1950 de banc d’essai pour mesurer les progrès de l’apprentissage automatique, d’Arthur Samuel et son programme de dames jusqu’aux modèles de langage actuels. – Malgré des progrès rapides sur certains formats, les modèles trébuchent encore sur des énigmes classiques légèrement modifiées et sur les puzzles à composante visuelle. – Ces écarts de performance ne mesurent pas une intelligence générale, mais des différences précises entre raisonnement humain et raisonnement machine.
Le puzzle Connections du New York Times, révélateur d’un an de progrès
NYT Connections est un jeu de catégorisation lexicale : seize mots à répartir en quatre groupes de quatre, reliés par un point commun parfois évident, parfois délibérément trompeur. Le jeu demande de reconnaître des associations sémantiques flexibles, un exercice qui semble simple pour un humain habitué aux jeux de mots, mais qui s’est révélé redoutable pour les systèmes d’IA lors de leurs premières confrontations avec ce format.
Une équipe de scientifiques de Columbia University a mesuré cette difficulté avec précision. Selon leurs travaux, rapportés par le MIT Technology Review, même les meilleurs modèles disponibles fin 2024 ne parvenaient à résoudre que 18 % des puzzles Connections testés. Un score qui place les IA de l’époque très loin derrière un joueur humain moyennement entraîné à ce type d’exercice.
La bascule est survenue vite. Début 2025, certains modèles résolvaient les mêmes puzzles de manière quasiment parfaite, selon la même source. En l’espace de quelques mois, un format de test qui servait de démonstration des limites du raisonnement automatique est devenu un exercice largement maîtrisé par les systèmes les plus récents.
Cette progression rapide illustre un phénomène récurrent dans l’évaluation des modèles d’IA : un test conçu pour révéler une faiblesse structurelle finit souvent par être absorbé dans les données d’entraînement ou par des méthodes d’ajustement spécifiques, ce qui réduit sa capacité à mesurer un raisonnement réellement généralisable. Un score qui grimpe de 18 % à la quasi-perfection en quelques mois interroge autant qu’il rassure : progresse-t-on sur le raisonnement, ou sur la reconnaissance d’un format de test précis ? La question reste ouverte, et elle traverse l’ensemble des exercices présentés plus bas.
Énigmes modifiées et puzzles visuels : les angles morts qui persistent
Le progrès rapide observé sur Connections ne s’est pas généralisé à tous les formats de test. D’après le même article du MIT Technology Review, les modèles actuels continuent de trébucher sur des variations subtiles d’énigmes classiques, ainsi que sur les puzzles qui reposent sur une composante visuelle.
Le mécanisme en jeu est documenté : un modèle de langage a vu, au cours de son entraînement, un très grand nombre d’énigmes populaires accompagnées de leur solution connue. Face à une version légèrement modifiée d’une énigme classique, un système entraîné à reconnaître des motifs textuels a tendance à restituer la réponse mémorisée plutôt qu’à raisonner à partir des nouveaux éléments de l’énoncé. Le résultat est une erreur qu’un enfant capable de lire attentivement l’énoncé modifié éviterait sans difficulté.
Le lapin blanc d’Alice au pays des merveilles fournit une illustration classique de ce type de piège. Sa réplique, « I’m late, I’m late, for a very important date », citée par le MIT Technology Review, appartient au répertoire d’énigmes et de références culturelles que les modèles ont massivement rencontrées durant leur entraînement. Une énigme qui s’appuie sur cette réplique, mais qui en modifie un détail clé pour changer la solution attendue, devient un test révélateur : un modèle qui répond selon la version originale, mémorisée, plutôt que selon la version modifiée, présentée dans l’énoncé, démontre qu’il s’appuie sur le rappel plutôt que sur l’analyse du texte qui lui est réellement soumis.
Les puzzles visuels posent un défi de nature différente. Ils demandent d’articuler perception spatiale et raisonnement logique, une combinaison où les systèmes actuels affichent une faiblesse particulière selon les mêmes travaux. Contrairement à un texte, une image ne se prête pas aussi facilement à la reconnaissance de motifs déjà rencontrés en masse dans les données d’entraînement — ce qui expose plus directement les limites du raisonnement pur, sans filet de mémorisation.
Ces deux angles morts, énigmes modifiées et puzzles visuels, ne relèvent pas d’un simple manque de puissance de calcul. Ils pointent vers une différence de nature entre la manière dont un modèle de langage traite l’information et la manière dont un cerveau humain articule mémoire, perception et déduction face à une situation nouvelle.
Des dames de 1959 aux puzzles d’aujourd’hui : une histoire de bancs d’essai
Utiliser des jeux et des énigmes pour évaluer des systèmes d’IA n’a rien de récent. Selon le MIT Technology Review, les puzzles et les jeux occupent une place centrale dans le développement de l’intelligence artificielle depuis ses débuts.
Le terme « machine learning » lui-même a été popularisé par un article de 1959 signé par le chercheur d’IBM Arthur Samuel, consacré à un algorithme capable d’apprendre à jouer aux dames. Ce programme constitue l’un des premiers exemples documentés d’un système qui s’améliore par l’expérience plutôt que par des règles entièrement programmées à l’avance — le principe fondateur de ce qui deviendra, des décennies plus tard, l’apprentissage automatique moderne.
Cette continuité historique éclaire pourquoi les chercheurs continuent aujourd’hui de se tourner vers des jeux et des puzzles pour évaluer les modèles de langage. Un jeu de société ou une énigme offre un cadre contrôlé, avec des règles claires et une solution vérifiable, ce qui permet de mesurer précisément une capacité de raisonnement sans les ambiguïtés d’une évaluation en langage naturel ouvert. C’est ce même principe qui a conduit, plus tard, aux confrontations aux échecs, puis au jeu de Go, avant d’aboutir aux puzzles lexicaux et visuels utilisés aujourd’hui pour sonder les modèles génératifs.
La différence, entre les dames de 1959 et le Connections de 2024, tient à la nature de l’intelligence testée. Un programme de dames optimise une stratégie dans un espace de règles fixes et entièrement observable. Un puzzle Connections ou une énigme modifiée exige au contraire de manipuler du sens, du contexte culturel et de la nuance linguistique — des dimensions bien plus proches de la cognition humaine ordinaire que ne l’était un plateau de jeu.
Ce que ces écarts révèlent sur le raisonnement humain et artificiel
Chacun de ces tests met en lumière une différence précise entre cognition humaine et cognition artificielle, selon l’analyse du MIT Technology Review. Aucun de ces puzzles, pris isolément, ne mesure une « intelligence » générale au sens où le grand public l’entend souvent.
Le puzzle Connections teste la flexibilité des associations sémantiques. Les énigmes modifiées testent la capacité à privilégier l’analyse d’un énoncé nouveau plutôt que le rappel d’une réponse mémorisée. Les puzzles visuels testent l’articulation entre perception et logique. Trois capacités distinctes, avec trois trajectoires de progrès distinctes — l’une rapide, les deux autres plus lentes.
Cette fragmentation invite à la prudence face à tout classement global des modèles d’IA fondé sur un score unique. Un système peut exceller sur un format de puzzle tout en restant en difficulté sur un autre qui semble, à l’œil humain, tout aussi simple. C’est un rappel utile pour quiconque compare des modèles à partir de bancs d’essai publiés, un exercice déjà abordé dans notre comparatif des principaux assistants IA généralistes.
Différences qui comptent entre ces formats de test
Trois éléments distinguent réellement ces exercices les uns des autres, au-delà de leur apparence de simples jeux.
D’abord, la vitesse de progrès observée. Le score de 18 % à la quasi-perfection sur Connections en quelques mois montre qu’un format de test peut être rapidement absorbé par l’entraînement ou l’ajustement des modèles, ce qui limite sa durée de vie comme indicateur discriminant.
Ensuite, la résistance à la mémorisation. Les énigmes modifiées, comme la variation autour de la réplique du lapin blanc, restent difficiles précisément parce qu’elles obligent le modèle à ignorer une réponse familière au profit d’une lecture attentive du nouvel énoncé — une capacité qui ne progresse pas au même rythme que la performance brute sur un format donné.
Enfin, la nature de la modalité testée. Le texte reste, pour les modèles de langage, un terrain plus favorable que l’image. Les puzzles visuels, qui combinent perception et déduction, restent un point faible documenté, alors que les formats purement textuels ont montré une progression plus rapide sur la période étudiée.
Pour quel profil ces tests d’intelligence sont-ils utiles
Curieux qui veut se faire son propre avis. Reproduire ces puzzles soi-même, avec un modèle accessible en ligne, reste le moyen le plus direct de vérifier les écarts documentés entre formats textuels et visuels. Le puzzle Connections du New York Times, disponible quotidiennement, permet une comparaison simple entre la performance actuelle d’un modèle et le score de 18 % mesuré fin 2024 par Columbia University.
Professionnel qui évalue des modèles IA pour un usage quotidien. Un score élevé sur un benchmark de puzzle ne garantit pas une performance équivalente sur une tâche métier différente. La leçon à retenir de la trajectoire Connections — un format rapidement maîtrisé après avoir été un point faible reconnu — s’applique aussi aux benchmarks utilisés pour choisir un outil professionnel, un sujet approfondi dans notre analyse des benchmarks agentiques.
Développeur ou intégrateur qui construit ses propres jeux d’évaluation. La distinction entre mémorisation et raisonnement, mise en évidence par les énigmes modifiées, est directement transposable à la conception de suites de tests internes. Introduire des variations subtiles dans des cas de test connus reste une méthode fiable pour distinguer un modèle qui restitue une réponse apprise d’un modèle qui analyse réellement l’entrée fournie.
FAQ
Quels types de tests sont utilisés pour évaluer l’intelligence d’une IA ?
Les jeux et les énigmes servent de banc d’essai depuis les débuts de l’apprentissage automatique, du programme de dames d’Arthur Samuel en 1959 jusqu’aux puzzles lexicaux et visuels actuels. Ces exercices offrent des règles claires et une solution vérifiable, ce qui permet de mesurer précisément une capacité de raisonnement donnée.
Est-ce que les modèles d’IA actuels sont réellement intelligents ?
Les progrès sont rapides sur certains formats, comme le montre le score de 18 % à la quasi-perfection sur le puzzle Connections en quelques mois. Mais des faiblesses documentées persistent face aux énigmes classiques légèrement modifiées et aux puzzles visuels, ce qui indique des capacités inégales plutôt qu’une intelligence générale uniforme.
