- ▸ « This sentence has truth score less than 0.5 » : la phrase qui piège son propre détecteur
- ▸ Une sonde à 94 % qui ne survit pas à une diagonale
- ▸ 1936 : Tarski démontre qu'aucun langage ne peut définir sa propre vérité
- ▸ Comment on construit une sonde de vérité — et pourquoi une diagonale la casse
Une sonde linéaire atteint 94 % de justesse sur 36 phrases d’évaluation retenues — puis s’effondre devant une seule phrase qui parle d’elle-même. C’est le résultat que documente Abel Jansma le 10 juillet 2026. Sa thèse : la vérité ne peut pas être une direction dans l’espace d’un modèle, pour une raison démontrée en 1936. Trois idées, un théorème, une conséquence pour la sécurité de l’IA.
Ce qu’il faut retenir 1. Les sondes de vérité linéaires cherchent un axe unique dans les activations d’un modèle de langage pour séparer le vrai du faux ; l’analyse de Jansma soutient que cet axe ne peut exister. 2. L’argument reprend le théorème d’indéfinissabilité d’Alfred Tarski : aucun système assez riche pour se décrire lui-même ne peut contenir son propre prédicat de vérité. 3. Une phrase auto-référente du type « This sentence has truth score less than 0.5 » suffit à mettre la sonde en contradiction avec sa propre sortie. 4. Le score de 94 % sur 36 phrases mesure une performance sur un jeu minuscule et sans piège — il ne dit rien de la robustesse face à l’adversarial. 5. Pour la recherche en interprétabilité et la détection de mensonge, cela déplace la question : non plus « où est la direction de vérité ? » mais « à quelles conditions un détecteur reste-t-il cohérent ? ».
« This sentence has truth score less than 0.5 » : la phrase qui piège son propre détecteur
Prenez un détecteur de vérité entraîné sur les états internes d’un grand modèle de langage. Il lit une phrase, projette les activations sur un axe, renvoie un score : au-dessus de 0,5, la phrase est jugée vraie ; en dessous, fausse. Maintenant soumettez-lui cette entrée : « This sentence has truth score less than 0.5 ». Le détecteur doit trancher.
S’il renvoie un score supérieur à 0,5, il déclare la phrase vraie — or la phrase affirme le contraire, donc elle est fausse. S’il renvoie un score inférieur à 0,5, il déclare la phrase fausse — mais alors ce qu’elle affirme se vérifie, donc elle est vraie. Aucune sortie n’est cohérente. Jansma appelle cela une attaque Tarski, du nom du logicien qui, en 1936, a montré pourquoi ce piège est inévitable dès qu’un langage devient assez expressif pour parler de sa propre vérité.
Une sonde à 94 % qui ne survit pas à une diagonale
La démonstration ne conteste pas que les sondes fonctionnent sur des cas ordinaires. Elle conteste qu’elles capturent la vérité. Ces deux affirmations sont distinctes, et c’est tout l’enjeu.
Une sonde peut classer correctement « Paris est la capitale de la France » et « la Lune est faite de fromage » sans pour autant détenir un critère général de vérité. La performance statistique mesure une corrélation apprise sur une distribution ; la vérité, au sens logique, est une propriété qui doit tenir sur toutes les phrases exprimables, y compris celles qui référencent la sonde. Dès qu’on autorise l’auto-référence, la corrélation cède.
1936 : Tarski démontre qu’aucun langage ne peut définir sa propre vérité
Le cœur de l’argument n’est pas neuf : il a près de quatre-vingt-dix ans. Alfred Tarski, logicien polonais, publie en 1936 son théorème d’indéfinissabilité de la vérité. L’énoncé, dépouillé de son appareil formel, tient en une phrase : dans tout système suffisamment expressif pour parler de ses propres énoncés, on ne peut pas définir, à l’intérieur de ce même système, un prédicat qui dise « cet énoncé est vrai » de manière cohérente pour tous les cas.
La raison est la même que celle du paradoxe du menteur, connu depuis l’Antiquité sous la forme « cette phrase est fausse ». Jansma en donne une variante minimale : « This sentence is not true. » Si elle est vraie, elle est fausse ; si elle est fausse, elle est vraie. Le langage naturel absorbe cette gêne parce qu’il ne prétend pas à la cohérence formelle. Un système mathématique, lui, explose.
Tarski a tiré la leçon constructive de ce blocage. Pour parler correctement de la vérité des énoncés d’un langage — qu’il nomme le langage-objet — il faut se placer dans un langage distinct et plus riche, le métalangage. La vérité d’une phrase de l’objet se définit depuis l’étage supérieur, jamais depuis le même étage. C’est une hiérarchie, pas un point.
Kurt Gödel avait, cinq ans plus tôt, exploité le même ressort — l’auto-référence par diagonalisation — pour ses théorèmes d’incomplétude. La parenté est directe : construire un énoncé qui parle de sa propre propriété (démontrabilité chez Gödel, vérité chez Tarski) suffit à briser la prétention du système à tout capturer de l’intérieur. Ce mécanisme, la diagonalisation, est l’outil que Jansma transpose du terrain de la logique vers celui des sondes neuronales.
Comment on construit une sonde de vérité — et pourquoi une diagonale la casse
Reprenons la mécanique. Un modèle de langage encode chaque texte d’entrée sous forme de vecteurs dans un espace d’activations à plusieurs milliers de dimensions. L’hypothèse de représentation linéaire, souvent citée en interprétabilité, postule que les concepts « naturels » — la couleur, le sentiment, le fait d’être en français, et pourquoi pas la vérité — s’y trouvent encodés comme des directions : un axe le long duquel on avance quand le concept est présent, qu’on remonte quand il est absent.
Sur cette base, une sonde de vérité est un classifieur linéaire. On collecte les activations du modèle sur un corpus de phrases étiquetées vraies ou fausses, on cherche l’hyperplan qui les sépare le mieux, et la direction perpendiculaire à cet hyperplan devient la prétendue « direction de vérité ». Projeter une nouvelle phrase sur cet axe donne un score. C’est simple, léger, et cela marche souvent — d’où l’intérêt de la communauté sécurité.
Le chiffre de l’analyse illustre ce « souvent » :
94 % — la justesse de la sonde sur les 36 phrases d’évaluation retenues rapportée par Jansma. Soit environ 34 phrases correctement classées sur 36, deux erreurs près.
Ce nombre mérite qu’on s’y arrête, parce qu’il travaille contre l’intuition qu’il inspire. Trente-six phrases, c’est un échantillon d’évaluation minuscule — l’ordre de grandeur d’un exercice de contrôle, pas d’un audit. Et rien n’indique que ces 36 phrases contenaient le moindre piège auto-référent. Un score élevé sur un jeu sans phrases-menteur ne teste jamais la faille que l’argument vise ; il mesure la facilité, pas la robustesse.
L’attaque de Jansma consiste à construire une phrase que la sonde ne peut classer sans se contredire. La condition de possibilité est que le langage d’entrée soit, selon ses mots, « rich enough to describe that probe and its output » — assez riche pour décrire la sonde et sa sortie. Dès que l’entrée peut mentionner le score que la sonde va produire, on peut fabriquer une phrase du type « The truth probe’s score for this sentence evaluates to FALSE. », qui inverse mécaniquement toute décision. La sonde vit et opère dans le même langage que celui sur lequel elle statue : elle est, au sens de Tarski, condamnée à l’incohérence sur les diagonales.
Le tableau ci-dessous met en regard les deux mondes, le formel et le neuronal, pour montrer que l’attaque n’est pas une bizarrerie d’ingénierie mais le même théorème sous un autre habillage.
| Logique formelle (Tarski, 1936) | Sonde LLM (interprétabilité) | Ce que l’attaque exploite |
|---|---|---|
| Langage-objet | Espace d’activations du modèle | Le support des phrases évaluées |
| Prédicat de vérité interne | Direction de vérité linéaire | La prétention à un critère unique |
| Métalangage séparé | (Absent) | La sonde vit dans le même langage |
| Phrase du menteur | Phrase auto-référente sur le score | La diagonalisation |
| Indéfinissabilité | Aucune direction cohérente | L’inévitabilité, pas le hasard |
La colonne du milieu révèle le point faible : il manque le métalangage. La sonde ne se tient pas à un étage supérieur au texte qu’elle juge. Elle partage son langage avec ses entrées, et cette cohabitation est précisément ce que le théorème interdit.
Ce que la détection de mensonge par sonde promettait à la sécurité de l’IA
L’enjeu dépasse la curiosité logique, parce que la sonde de vérité est un espoir concret de la recherche en sécurité. L’idée séduit : si un modèle « sait » en interne qu’un énoncé est faux tout en le produisant, un classifieur linéaire branché sur ses activations pourrait le détecter, et donc repérer une hallucination assumée ou une tromperie délibérée sans avoir à faire confiance à la sortie textuelle du modèle.
Ce programme repose sur un pari implicite : qu’il existe, quelque part dans les couches, une représentation stable et linéairement lisible de « ce que le modèle tient pour vrai ». L’argument de Jansma ne dit pas que ce pari est perdu partout. Il dit qu’il ne peut pas être gagné dans sa version forte — une direction unique valable pour toutes les phrases — parce que le langage d’évaluation est assez riche pour se retourner contre l’outil.
La conséquence pratique est un déplacement de charge de preuve. Un détecteur de mensonge qui affiche 94 % sur un banc d’essai ordinaire n’a rien prouvé quant à sa tenue face à un modèle qui, sciemment ou non, formulerait des énoncés référençant le détecteur lui-même. Or c’est exactement la situation d’un système avancé auquel on demande de raisonner sur ses propres mécanismes de contrôle. La faille n’est pas au bord du domaine ; elle est au centre du cas d’usage qui motive ces sondes.
Notre lecture : le résultat ne condamne pas l’interprétabilité, il l’oblige à distinguer deux objets qu’on confond trop vite. Détecter une corrélation apprise entre activations et étiquettes reste faisable et utile. Prétendre lire la vérité comme on lit une coordonnée est une ambition d’un autre ordre, et cet ordre-là bute sur un mur vieux de quatre-vingt-dix ans.
L’attaque tient en logique — reste à savoir ce qu’elle coûte en pratique
Le contre-argument sérieux existe, et il faut le prendre au mot. Une phrase auto-référente est un cas-limite adversarial. Dans la vie réelle d’un assistant, personne ne soumet « The truth probe’s score for this sentence evaluates to FALSE. » ; on lui demande des faits, des résumés, des vérifications. Un outil statistique qui échoue sur une diagonale fabriquée peut rester parfaitement opérationnel sur la distribution qui l’intéresse. On ne jette pas un test médical parce qu’un plaisantin invente un symptôme qui parle du test.
Deuxième objection : l’attaque suppose que le modèle encode réellement l’auto-référence de manière exploitable, c’est-à-dire que ses activations « décrivent la sonde et sa sortie ». Ce n’est pas garanti pour toute architecture ni tout niveau de couche. La condition « rich enough to describe that probe and its output » est une hypothèse forte ; si le modèle ne la satisfait pas, la diagonale ne s’active pas.
Ces réserves sont justes, et elles ne suffisent pas. La leçon de Tarski n’est pas « votre outil échoue parfois », c’est « votre outil ne peut pas être ce que vous en dites ». Un détecteur robuste face à l’adversarial est précisément ce dont la sécurité a besoin, puisque la menace qu’on redoute est celle d’un système capable de raisonner sur ses gardes-fous. Écarter le cas-limite au nom de la distribution ordinaire revient à valider l’outil sur le terrain où il n’a jamais été en cause, et à le déclarer sûr là où il l’est le moins. La bonne réponse n’est pas de nier la faille mais d’en fixer les conditions d’apparition.
Sortir de la direction unique : vers des détecteurs qui connaissent leur étage
Que reste-t-il à construire ? La piste que dessine l’argument, sans la nommer explicitement, est tarskienne jusqu’au bout : réintroduire une séparation d’étages. Un détecteur qui statue depuis un métalangage — un système distinct, non accessible aux phrases qu’il évalue — échappe par construction à la diagonale, au prix d’une hiérarchie et d’une complexité que la sonde linéaire évacuait.
À plus court terme, la conséquence tient en une discipline d’évaluation. Un banc d’essai de sonde de vérité qui ne contient aucune phrase auto-référente mesure la facilité et rien d’autre ; les 36 phrases citées le rappellent en creux. Tester la robustesse suppose d’injecter délibérément des diagonales et de regarder non plus la justesse moyenne, mais la présence ou l’absence de contradictions structurelles. C’est un changement de métrique autant que de méthode : on cesse de compter les bonnes réponses pour traquer l’incohérence.
Questions fréquentes
Une sonde à 94 % est-elle donc inutile ?
Non. Elle reste un outil de corrélation efficace sur des phrases ordinaires. L’analyse de Jansma nie qu’elle capture la vérité au sens général, pas qu’elle classe correctement des cas sans piège. Utile pour trier, insuffisant pour garantir — la distinction est tout l’objet du texte.
Qu’est-ce que l’hypothèse de représentation linéaire ?
C’est l’idée, courante en interprétabilité, selon laquelle un concept encodé par un modèle de langage correspond à une direction dans son espace d’activations : avancer le long de cet axe renforce le concept, reculer l’affaiblit. L’attaque Tarski soutient que la vérité, contrairement à d’autres concepts, ne peut pas être une telle direction.
Pourquoi invoquer un théorème de 1936 pour un problème d’IA de 2026 ?
Parce que l’obstacle n’est pas technologique mais logique. Le théorème d’indéfinissabilité de Tarski s’applique à tout système assez expressif pour se décrire lui-même, quelle que soit son implémentation. Une sonde neuronale qui vit dans le langage qu’elle évalue tombe exactement dans son champ.
Sources – Abel Jansma, Truth is not a direction: a Tarski attack on LLM probes, 10 juillet 2026 — abeljansma.nl – Alfred Tarski, théorème d’indéfinissabilité de la vérité (1936), et Kurt Gödel, théorèmes d’incomplétude (1931) — références historiques de logique mathématique.
