- ▸ Janvier 2026 : un baromètre conversationnel apparaît
- ▸ La thèse : la conversation comme métrique
- ▸ Contexte historique : pourquoi ce thermomètre apparaît maintenant
- ▸ Analyse technique : anatomie d'un pipeline conversationnel
Hacker News ne publie pas de classement officiel des modèles de codage. Pourtant, depuis le 5 janvier 2026, un projet baptisé HN SOTA agrège quotidiennement les mentions de ces modèles dans les commentaires de la plateforme et restitue les résultats dans un Google Sheet public, accessible à tout lecteur. La méthode tranche avec les benchmarks académiques saturés. Elle interroge surtout la fiabilité d’un thermomètre adossé à la conversation — et ce que ce thermomètre dit déjà du marché.
Points clés 1. HN SOTA agrège les mentions de modèles de codage publiées dans les commentaires de Hacker News, avec une mise à jour quotidienne du pipeline. 2. Les résultats sont déposés dans un Google Sheet public, consultable sans inscription via l’URL hnup.date/hn-sota. 3. Dix jours de données agrégées suffisent à dégager une tendance, selon la méthodologie publiée par les auteurs du projet. 4. Chaque commentaire reste accessible via son identifiant en concaténant news.ycombinator.com/item?id= et l’ID, ce qui permet l’audit individuel des mentions. 5. Le sentiment associé à chaque mention est analysé en parallèle du compte brut, pour distinguer popularité et adhésion.
Janvier 2026 : un baromètre conversationnel apparaît
Le 5 janvier 2026, le site hnup.date publie une page intitulée « HN SOTA — Model popularity ». Elle se présente sobrement : un tableau, une colonne pour les noms de modèles, une autre pour leur fréquence de mention, une troisième pour le sentiment associé. Aucun communiqué, aucune levée de fonds, aucune promesse marketing. Juste un pipeline qui tourne en arrière-plan et déverse ses résultats dans un Google Sheet.
L’initiative pourrait passer inaperçue. Elle ne l’est pas. Les développeurs qui suivent quotidiennement Hacker News y voient une réponse pragmatique à une question qu’ils se posent tous les matins en ouvrant leur terminal : quel modèle de codage utilise réellement la communauté technique la plus exigeante du web ? Les benchmarks publics — HumanEval, SWE-bench, MMLU — donnent une réponse partielle, biaisée par les optimisations d’éditeurs. Les classements LMSYS reflètent davantage les préférences grand public que les usages professionnels. Hacker News, lui, agrège un signal différent : celui des praticiens qui commentent.
La thèse : la conversation comme métrique
L’angle de HN SOTA est singulier. Plutôt que d’évaluer la qualité technique d’un modèle, le projet mesure sa surface conversationnelle dans une communauté de référence. Cette approche assume une hypothèse forte : sur Hacker News, un modèle dont on parle est un modèle qu’on utilise — ou au moins qu’on évalue. Le sentiment associé corrige le bruit : un modèle abondamment cité avec un sentiment négatif n’est pas un leader, c’est un sujet de débat. La métrique n’est ni un benchmark, ni un sondage, mais un index de saillance professionnelle.
Contexte historique : pourquoi ce thermomètre apparaît maintenant
Pour comprendre l’apparition d’un projet comme HN SOTA, il faut remonter la chaîne des classements de modèles de codage et constater leur fragilisation progressive. Trois cycles successifs se sont enchaînés depuis 2021.
Premier cycle, 2021-2023 : les benchmarks fermés, dominés par HumanEval et MBPP. Codex puis GitHub Copilot servent de référence. Les progrès se mesurent en pourcentages de problèmes résolus sur des suites figées. Le modèle est unique, l’usage homogène : la complétion intra-fichier. Les benchmarks suffisent à classer les acteurs.
Deuxième cycle, 2023-2024 : explosion du nombre de modèles concurrents et apparition des suites multitâches. SWE-bench, lancé en octobre 2023, marque une rupture. Le benchmark teste la capacité d’un modèle à résoudre de vraies issues GitHub sur de vrais dépôts open source. Les scores chutent : aucun modèle ne dépasse 5 % en zero-shot la première année. La complexité de la tâche révèle l’écart entre la complétion locale et l’ingénierie réelle. Le classement perd en lisibilité.
Troisième cycle, 2024-2025 : généralisation des agents de codage et fragmentation des usages. Cursor, Aider, Cline, Continue, Windsurf, Codex CLI, Claude Code : chaque outil expose un modèle ou un orchestrateur différent. La même requête peut être traitée par GPT, Claude, Gemini, Mistral, Qwen ou DeepSeek selon l’outil et la configuration. Comparer les modèles devient comparer des combinaisons. Les benchmarks publics traînent derrière, contestés pour leurs biais d’entraînement et leur représentativité limitée.
C’est dans ce contexte que la conversation devient un signal. Quand les benchmarks ne tranchent plus, les développeurs se tournent vers leurs pairs. Hacker News, fondé en 2007 par Y Combinator, concentre une part importante de cette discussion technique en langue anglaise. Le forum n’est pas représentatif de tous les développeurs — il sur-représente les ingénieurs senior, les fondateurs de startups, les chercheurs — mais il capte avec une vélocité élevée les inflexions d’opinion sur les nouveaux modèles. HN SOTA exploite ce gisement.
La transition vers la mécanique du projet impose une question : comment, concrètement, ces commentaires sont-ils transformés en données exploitables ?
Analyse technique : anatomie d’un pipeline conversationnel
Selon la documentation publiée le 5 janvier 2026 sur hnup.date/hn-sota, le pipeline HN SOTA fonctionne en quatre étapes décrites ci-dessous, sur un horizon glissant de dix jours.
Étape 1 — Collecte. Le pipeline ingère les commentaires de Hacker News au fil de leur publication. Chaque commentaire reste accessible individuellement via l’API publique de Hacker News, en concaténant son identifiant à l’URL https://news.ycombinator.com/item?id=. Cette traçabilité unitaire est centrale : toute mention agrégée peut être réauditée par n’importe quel lecteur, contrairement à la plupart des classements de modèles qui ne publient ni leurs prompts ni leurs jeux d’évaluation.
Étape 2 — Extraction des mentions. Les commentaires sont scannés pour identifier les références aux modèles de codage. Le projet ne précise pas publiquement la liste des modèles surveillés ni le mode d’extraction (regex, NER, prompt LLM), mais le format du Google Sheet suggère une normalisation par nom canonique.
Étape 3 — Analyse de sentiment. Chaque mention est associée à un score de sentiment, ce qui permet de distinguer un modèle dont on parle bien d’un modèle dont on parle beaucoup. La distinction est cruciale : un modèle peut concentrer 30 % des mentions sur dix jours mais 70 % de sentiments négatifs, signalant une controverse plutôt qu’une adoption.
Étape 4 — Agrégation et publication. Les résultats sont déversés dans un Google Sheet public, mis à jour quotidiennement. La fenêtre d’agrégation est de dix jours glissants, choisie comme compromis entre réactivité et stabilité statistique.
Comparatif des approches de classement de modèles de codage
| Source | Fenêtre temporelle | Métrique principale | Audit unitaire | Biais structurel |
|---|---|---|---|---|
| HumanEval (OpenAI, 2021) | Statique | % problèmes résolus | Oui (suite publique) | Suite saturée, contamination training data |
| SWE-bench (Princeton, 2023) | Statique | % issues résolues | Oui | Représentativité limitée à Python |
| LMSYS Chatbot Arena | Continu | Score Elo par votes anonymes | Non | Préférences grand public, hors contexte codage |
| HN SOTA (hnup.date, 2026) | 10 jours glissants | Mentions + sentiment | Oui (via ID commentaire) | Biais communautaire HN |
| Sondages développeurs (Stack Overflow, JetBrains) | Annuel | Déclaratif | Non | Latence, biais de répondants |
La lecture du tableau fait apparaître la spécificité de HN SOTA. Aucun autre dispositif public ne combine fenêtre courte (10 jours), métrique basée sur le discours réel, et audit unitaire des données sources. C’est moins un benchmark qu’un capteur conversationnel.
Ce capteur reste néanmoins partiel. Il ne mesure ni la qualité du code généré, ni la satisfaction utilisateur sur la durée, ni la part de marché commerciale. Il mesure la fréquence d’apparition d’un nom de modèle dans une conversation technique sélective, ce qui constitue un proxy — pas une vérité. Comme l’écrit l’analyste Simon Willison sur son blog personnel à propos des classements communautaires, un signal ne devient utile qu’une fois calibré contre une réalité d’usage indépendante. Cette calibration manque encore à HN SOTA.
Reste à observer ce que ce signal produit, une fois mis en circulation chez les praticiens.
Impact terrain : ce que les développeurs en font déjà
L’arrivée d’un thermomètre quotidien adossé à Hacker News change peu de choses pour les grands comptes — qui passent par des évaluations internes documentées — mais beaucoup pour trois populations spécifiques.
Les fondateurs de startups techniques consultent ces signaux pour calibrer leurs choix d’infrastructure. Quand un modèle bascule en tête des mentions HN sur dix jours glissants, le signal précède souvent les annonces commerciales officielles. Pour un fondateur qui doit décider entre intégrer un modèle propriétaire payant à l’API ou héberger un modèle open weight, l’inflexion conversationnelle est un input rapide, peu coûteux, et synchrone avec l’écosystème dans lequel ses futurs ingénieurs vont travailler.
Les responsables de DevRel chez les éditeurs de modèles utilisent ce baromètre comme miroir. Une chute de mentions ou un sentiment qui se dégrade sur dix jours signale un retournement d’opinion qu’aucun benchmark ne capte aussi vite. Cela impose une réactivité nouvelle : un changement de tarification, une régression de qualité ou une polémique technique se voit dans les mentions HN avant de remonter dans les NPS internes.
Les rédactions techniques — dont LagazetteIA — y trouvent un indicateur de saillance. Un modèle dont les mentions HN doublent sur dix jours est, statistiquement, un sujet à couvrir. La métrique n’est pas une preuve de qualité, mais un indice d’attention communautaire qui informe les choix éditoriaux. Voir aussi notre analyse sur la course aux benchmarks de codage en 2026.
L’impact concret tient également à l’effet de boucle. Un modèle qui monte dans HN SOTA gagne en visibilité, attire de nouveaux essais, génère de nouveaux commentaires, et alimente la boucle. À l’inverse, un modèle qui décroche perd la mention, donc l’attention, donc les essais. Cette boucle introduit un risque de polarisation dont le projet ne se prémunit pas explicitement à ce stade.
L’enjeu n’est plus seulement de mesurer, mais d’admettre que toute mesure conversationnelle façonne l’objet qu’elle mesure. Cette boucle réflexive nourrit les critiques que le projet rencontre déjà.
Perspectives contradictoires : trois objections sérieuses
L’initiative HN SOTA a des qualités méthodologiques que peu de projets égalent : transparence des données, traçabilité unitaire, fréquence quotidienne. Elle est néanmoins exposée à trois critiques solides qu’il serait malhonnête d’esquiver.
Première objection — biais d’audience. Hacker News n’est pas un échantillon représentatif des développeurs mondiaux. Le forum sur-représente les profils anglophones, états-uniens, seniors, et liés à l’écosystème Y Combinator. Selon les données publiées par le forum lui-même, l’audience est concentrée géographiquement et professionnellement. Mesurer la popularité d’un modèle de codage via HN, c’est donc mesurer ce qu’une élite technique anglophone en pense — pas ce qu’un développeur Java d’une banque européenne ou un ingénieur PHP d’une PME française en pense. Le projet ne le cache pas, mais l’utilisateur peut l’oublier.
Deuxième objection — manipulabilité. Tout signal conversationnel public est manipulable. Une équipe DevRel motivée, une campagne d’astroturfing, ou simplement un afflux d’utilisateurs invités à commenter peuvent infléchir les mentions sur dix jours. Le projet n’expose pas, à ce stade, de garde-fou contre la manipulation coordonnée. Les commentaires HN sont modérés, mais la modération porte sur le ton et la pertinence, pas sur l’identité réelle des auteurs ni sur la coordination.
Troisième objection — confusion entre attention et qualité. Un modèle peut être très commenté parce qu’il est très bon, parce qu’il est très polémique, parce qu’il vient d’être lancé, ou parce qu’il vient de connaître un incident. Le sentiment associé corrige partiellement le bruit, mais pas totalement. Un score positif élevé sur dix jours peut refléter un effet d’annonce plutôt qu’une adoption durable. La fenêtre courte, qui est la force du projet pour la réactivité, est aussi sa faiblesse pour la robustesse.
Ces trois objections n’invalident pas HN SOTA. Elles imposent de le lire comme un capteur parmi d’autres, à croiser avec des sources d’usage réelles : téléchargements Hugging Face pour les modèles open weight, parts de marché API pour les modèles propriétaires, sondages annuels comme le Stack Overflow Developer Survey. Le baromètre conversationnel est un complément, pas un substitut.
Reste à projeter ce que ce type de capteur, s’il s’installe dans le paysage, change pour la suite.
Prospective : vers une économie de la mention vérifiée
Si HN SOTA confirme sa traction au cours des prochains mois, le projet pourrait préfigurer une nouvelle génération de classements adossés à la conversation publique tracée. Trois extensions sont plausibles à l’horizon 2026-2027.
D’abord, l’élargissement à d’autres communautés. Reddit (r/LocalLLaMA, r/MachineLearning), Lobsters, le forum de Aider ou les Discord publics de Cursor et Continue offrent des viviers comparables. Un agrégat multi-sources, pondéré par audience, gagnerait en représentativité.
Ensuite, la normalisation des protocoles d’audit. Pour qu’un classement conversationnel soit pris au sérieux, il devra exposer non seulement ses données mais aussi son code d’extraction, son prompt d’analyse de sentiment et ses procédures de déduplication. HN SOTA est sur le bon chemin avec son Google Sheet public ; reste à publier le pipeline.
Enfin, l’articulation avec les benchmarks classiques. Le futur des classements de codage passera vraisemblablement par une combinaison : benchmarks techniques pour mesurer la capacité, mentions communautaires pour mesurer la traction, données d’usage anonymisées pour mesurer l’adoption réelle. Aucun de ces trois capteurs ne suffit isolément.
La question ouverte est celle du financement. Un projet comme HN SOTA est aujourd’hui gratuit, hébergé sur un Google Sheet et un site statique. Sa pérennité dépend du temps qu’un mainteneur acceptera d’y consacrer — ou d’un modèle économique qui reste à inventer.
FAQ
Comment accéder aux données des commentaires HN cités par HN SOTA ?
Chaque commentaire de Hacker News dispose d’un identifiant numérique unique. Pour consulter un commentaire à partir de son ID, il suffit de concaténer cet ID à l’URL https://news.ycombinator.com/item?id=. Cette traçabilité unitaire permet à tout lecteur d’auditer individuellement les mentions agrégées par HN SOTA, sans passer par une couche d’API tierce.
Quels modèles de codage sont analysés dans ce projet ?
Le projet HN SOTA capture les mentions de modèles de codage présentes dans les commentaires de Hacker News, sans publier de liste fermée des modèles surveillés. Le périmètre est donc déterminé par la conversation elle-même : tout modèle suffisamment cité apparaît dans le Google Sheet, ce qui inclut potentiellement aussi bien les modèles propriétaires que les modèles open weight.
Sur quelle fenêtre temporelle les données sont-elles agrégées ?
Selon la méthodologie publiée le 5 janvier 2026 sur hnup.date, les données sont agrégées sur une fenêtre glissante de dix jours, avec une mise à jour quotidienne. Ce choix vise un compromis entre la réactivité aux nouvelles tendances et la stabilité statistique nécessaire pour distinguer un signal d’un bruit ponctuel.
Peut-on considérer HN SOTA comme un benchmark ?
Non, et le projet ne le revendique pas. HN SOTA mesure la fréquence et le sentiment des mentions de modèles dans une communauté technique spécifique, pas la qualité technique du code produit. Il s’agit d’un capteur de saillance conversationnelle, à croiser avec des benchmarks techniques (HumanEval, SWE-bench) et des données d’usage pour reconstituer une vue complète.
Encadré sources
- HN Update, « HN SOTA — Model popularity », hnup.date/hn-sota, mis à jour quotidiennement à compter du 5 janvier 2026.
- Hacker News, API publique et page d’item via
https://news.ycombinator.com/item?id={ID}. - SWE-bench, suite d’évaluation publiée par l’université de Princeton, octobre 2023.
- HumanEval, suite d’évaluation publiée par OpenAI, 2021.
- LMSYS Chatbot Arena, classement Elo de modèles conversationnels.
- Stack Overflow Developer Survey, édition annuelle.
