- ▸ 700 tokens par seconde et par utilisateur : le chiffre qui déplace la discussion
- ▸ 15,4 To/s de bande passante mémoire : la HBM4 de Jalapeño devance la Rubin de Nvidia
- ▸ Un maillage réseau pensé pour aller d'une rack isolée à 2 048 XPU connectés
- ▸ Le silicium B0 et la conception assistée par IA changent le calcul du watt
Sur un modèle de la classe GPT-5, la puce maison d’OpenAI atteint près de 700 tokens par seconde et par utilisateur — plus de neuf fois la meilleure puce concurrente, plafonnée à 100 tokens/s/utilisateur. Selon l’analyse technique publiée le 25 août 2026 par SemiAnalysis, ce chip nommé Jalapeño affiche aussi 15,4 To/s de bande passante mémoire, un chiffre qui dépasse tous les accélérateurs commercialisés à ce jour reposant sur de la HBM3E. Trois choix d’architecture expliquent l’écart, et un choix de conception, resté sans réponse, intrigue les analystes eux-mêmes.
Ce qu’il faut retenir 1. 15,4 To/s de bande passante mémoire par module, portée par une HBM4 cadencée à 10 Gbps par broche — un léger avantage sur les 9,6 Gbps annoncés pour la HBM4 du Rubin de Nvidia. 2. Réseau en trois échelles : 24 voies de SerDes 800G (600 Go/s) pour le scale-up local en rack, 8 voies (200 Go/s) pour un domaine global de 2 048 XPU répartis sur 16 racks. 3. Le silicium B0 gagne 25 % en performance par watt sur la génération A0 précédente, avec une conception assistée par IA qui réduit de 8 % la surface SIMD et de 10 % celle du moteur matriciel. 4. Sur un modèle de la classe GPT-5, Jalapeño atteint près de 700 tokens/s/utilisateur, plus de neuf fois la puce concurrente la plus rapide à 100 tokens/s/utilisateur. 5. Le prochain palier visé est 100 mégawatts de puissance installée : le goulot d’étranglement se déplace du silicium vers la capacité à produire, déployer et exploiter les datacenters.
700 tokens par seconde et par utilisateur : le chiffre qui déplace la discussion
SemiAnalysis a eu accès aux détails d’ingénierie de Jalapeño, la puce IA conçue en interne par OpenAI, et la compare directement à la famille Blackwell de Nvidia. Le constat central du rapport tient en une phrase : sur un modèle de la classe GPT-5, la puce atteint presque 700 tokens par seconde par utilisateur, contre 100 tokens/s/utilisateur pour la meilleure puce concurrente testée dans les mêmes conditions — un facteur supérieur à neuf.
Ce chiffre ne mesure pas la puissance brute d’entraînement, il mesure la latence perçue par un utilisateur final qui interroge un modèle en production. C’est une métrique d’inférence, pas de recherche. Et c’est précisément là qu’OpenAI joue sa carte : l’entreprise ne conçoit pas Jalapeño pour battre Nvidia sur un benchmark académique, elle le conçoit pour servir plus de requêtes, plus vite, avec la même enveloppe électrique.
Un ingénieur cité dans le rapport de SemiAnalysis résume la logique économique qui sous-tend ce choix : « If you have 1 gigawatt of power, then throughput per watt is revenue » (« Si vous disposez d’un gigawatt de puissance, alors le débit par watt, c’est du chiffre d’affaires »), selon SemiAnalysis. La phrase déplace le centre de gravité de la comparaison : ce n’est plus le nombre de transistors qui compte, mais ce que chaque watt consommé rapporte en tokens servis. Dans un secteur où la course aux datacenters IA se heurte de plus en plus à la disponibilité électrique plutôt qu’au capital, cette équation devient la véritable jauge de compétitivité.
15,4 To/s de bande passante mémoire : la HBM4 de Jalapeño devance la Rubin de Nvidia
Le cœur de l’avantage technique de Jalapeño tient à sa mémoire. Le module affiche 15,4 To/s de bande passante, ce qui dépasse, selon SemiAnalysis, l’ensemble des accélérateurs commercialisés à ce jour et reposant sur de la HBM3E — la génération de mémoire empilée à haute bande passante utilisée par la plupart des GPU IA en production en 2026.
Ce chiffre n’est pas anodin dans sa méthode de calcul. SemiAnalysis en déduit que la HBM4 embarquée par Jalapeño fonctionne à des vitesses de broche (pin speed) de 10 Gbps. Or Nvidia, pour sa prochaine génération Rubin, vise 9,6 Gbps sur sa propre HBM4. L’écart semble faible — 0,4 Gbps — mais il se traduit directement en bande passante utile. En appliquant la même proportionnalité aux deux architectures, la HBM4 de Rubin plafonnerait autour de 14,8 To/s, contre 15,4 To/s pour Jalapeño, soit un écart d’environ 4 % en faveur de la puce d’OpenAI sur ce seul paramètre.
| Caractéristique | Jalapeño (OpenAI) | Rubin (Nvidia, HBM4) |
|---|---|---|
| Bande passante mémoire par module | 15,4 To/s | ≈ 14,8 To/s (calcul dérivé du pin speed annoncé) |
| Type de mémoire | HBM4 | HBM4 |
| Vitesse de broche (pin speed) | 10 Gbps | 9,6 Gbps |
| Débit d’inférence (classe GPT-5) | ≈ 700 tokens/s/utilisateur | ≈ 100 tokens/s/utilisateur (puce concurrente la plus rapide testée) |
Source : SemiAnalysis, 25 août 2026. La colonne Rubin pour la bande passante est un calcul dérivé par extrapolation proportionnelle du pin speed, la valeur brute n’étant pas publiée par Nvidia.
Le message que porte ce tableau n’est pas qu’OpenAI a inventé une nouvelle mémoire — HBM4 reste un standard partagé par l’ensemble de l’industrie, produit par les mêmes fondeurs de mémoire que ceux qui approvisionnent Nvidia et AMD. Le message est qu’OpenAI a réussi à pousser le composant à sa limite de cadencement plus tôt, ou plus agressivement, que son principal concurrent. Sur un marché où la mémoire, et non le calcul brut, est devenue le facteur limitant de l’inférence à grande échelle, ce demi-pas d’avance pèse directement sur le coût par token servi.
Un maillage réseau pensé pour aller d’une rack isolée à 2 048 XPU connectés
La bande passante mémoire ne suffit pas à faire tourner un modèle de plusieurs centaines de milliards de paramètres : il faut aussi faire communiquer des milliers de puces entre elles sans créer de goulot d’étranglement. C’est là qu’intervient l’architecture réseau de Jalapeño, bâtie autour d’un chiplet d’entrée-sortie gravé en N3E (le nœud de gravure avancé de TSMC) et doté de 32 voies SerDes à 800G, selon SemiAnalysis.
Ces 32 voies se répartissent en deux usages distincts. Vingt-quatre voies, soit 600 Go/s, servent au scale-up local : la mise à l’échelle à l’intérieur d’une même rack. Les huit voies restantes, soit 200 Go/s, servent au scale-up global — la mise en réseau de plusieurs racks pour former un domaine unique de 2 048 XPU. Cette séparation logique entre le trafic local et le trafic global permet à OpenAI de dimensionner chaque niveau du réseau séparément, plutôt que de sur-provisionner l’ensemble du système pour le pire cas.
Le tissu de commutation qui relie ces puces repose sur des switchs baptisés Chana. Six d’entre eux, positionnés au centre de la rack, gèrent le domaine local ; chacun embarque un unique ASIC de commutation Tomahawk 6 d’une capacité de 102,4 To/s. Deux autres Chana, placés en haut et en bas de la pile de switchs locaux, prennent en charge le domaine global — SemiAnalysis estime qu’ils combinent chacun deux ASIC Tomahawk 6, pour une capacité cumulée pouvant atteindre 204,8 To/s.
| Niveau réseau | Fonction | Capacité / composants |
|---|---|---|
| Local (intra-rack) | Scale-up au sein d’une même rack | 24 voies SerDes 800G = 600 Go/s ; 6 switchs Chana, 1 ASIC Tomahawk 6 (102,4 T) chacun |
| Global (inter-racks) | Domaine unifié de 2 048 XPU sur 16 racks | 8 voies SerDes 800G = 200 Go/s ; 2 switchs Chana, jusqu’à 2 ASIC Tomahawk 6 chacun (≈ 204,8 T) |
| Sortie de rack | Connexion inter-racks | Backplane cuivre, switch électrique TH6 à 204,8 To/s, transceivers 1,6T, commutateur optique de circuit |
Source : SemiAnalysis, 25 août 2026.
Pour atteindre le domaine global de 2 048 XPU, 16 racks sont connectées entre elles via une combinaison de backplane cuivre, d’un switch électrique TH6 à 204,8 To/s, de transceivers à 1,6 To/s et d’un commutateur optique de circuit. Le signal sort ensuite du switch par le panneau avant, toujours via des transceivers 1,6T, avant de traverser un commutateur optique passif pour quitter la rack. Cette architecture hybride cuivre-optique n’a rien d’inhabituel dans l’industrie du datacenter — Nvidia et AMD utilisent des schémas comparables — mais le choix précis des seuils (24/8 voies, 2 048 XPU comme taille de domaine) trahit une décision d’ingénierie assumée : privilégier un scale-up local très dense, et traiter le global comme un réseau d’appoint.
Chaque hôte physique qui porte ces puces embarque deux processeurs AMD EPYC de génération Turin, associés à 1,5 To de DRAM et deux unités de stockage au format E1, complète SemiAnalysis. Chaque tray est en outre équipé d’un réseau frontal à 400G, réparti en deux liens de 200G. Ce choix d’un CPU AMD haut de gamme aux côtés de l’accélérateur maison confirme qu’OpenAI ne cherche pas à tout internaliser : la puce Jalapeño remplace le GPU, pas l’ensemble de la chaîne de calcul.
Le silicium B0 et la conception assistée par IA changent le calcul du watt
Construire une architecture réseau généreuse ne sert à rien si le composant qui l’alimente consomme trop. C’est le deuxième axe sur lequel OpenAI a travaillé entre les révisions A0 et B0 du silicium Jalapeño. Selon SemiAnalysis, la révision B0 apporte des optimisations qui se traduisent par un gain d’environ 25 % en performance par watt par rapport au silicium A0 antérieur.
Un gain de cette ampleur entre deux révisions d’un même die — et non entre deux générations de gravure — signale un travail de correction ciblé plutôt qu’un changement de fondation technologique. C’est un indice que la première itération de Jalapeño (A0) contenait des marges d’optimisation encore inexploitées, que l’équipe a pu récupérer sans attendre le prochain nœud de gravure.
Une partie de ce gain provient d’un procédé de conception assisté par intelligence artificielle. OpenAI revendique qu’un outillage d’IA appliqué à la conception du circuit a permis de réduire de 8 % la surface occupée par les unités SIMD (calcul vectoriel) et de 10 % celle du moteur matriciel — les blocs qui exécutent les multiplications de matrices, cœur du calcul des réseaux de neurones. Réduire la surface d’un bloc sans perdre en performance libère à la fois de la place sur le die et réduit la consommation associée, ce qui explique une partie du gain en performance par watt observé sur B0.
Pour valider ces choix avant de graver du silicium réel — une opération qui coûte des mois et des dizaines de millions de dollars par itération — OpenAI s’appuie sur un simulateur interne baptisé « chilisim ». Cet outil reproduit le comportement du matériel avec une précision annoncée à 5 % près par rapport aux mesures effectuées sur le vrai composant, en s’appuyant sur un bus de trace à largeur fixe. Cette précision permet à l’équipe de tester des hypothèses de conception — taille de cache, largeur de bus, allocation de surface entre unités SIMD et matricielles — sans attendre un cycle de fabrication complet à chaque itération.
Ce triptyque — silicium affiné, IA appliquée au design, simulateur fiable à 95 % — dessine une méthode plus qu’un simple gain ponctuel. Nvidia et la bataille des accélérateurs IA reposent historiquement sur des cycles de conception longs, appuyés sur des décennies d’outillage EDA classique. OpenAI, entrant plus tard dans le silicium, compense en partie ce retard par une itération logicielle plus rapide sur la conception elle-même.
Le pari du million de rollouts, et une absence qui intrigue les analystes
Le troisième axe ne concerne pas le matériel mais l’usage qu’OpenAI compte en faire. SemiAnalysis rapporte un intérêt interne marqué pour les stratégies de calcul au moment de l’inférence — le « test-time compute », qui consiste à faire réfléchir un modèle plus longtemps ou sur plusieurs pistes parallèles avant de produire une réponse, plutôt que de se reposer uniquement sur la taille du modèle entraîné. L’équipe s’intéresserait spécifiquement à la manière d’exploiter de façon cohérente jusqu’à un million de rollouts — un rollout désignant ici une trajectoire de raisonnement ou de génération explorée par le modèle avant sélection de la meilleure réponse.
Un million de trajectoires explorées en parallèle représente un ordre de grandeur qui dépasse largement les pratiques rapportées jusqu’ici sur les modèles de raisonnement grand public. Cela suppose une infrastructure capable de lancer, suivre et arbitrer un volume massif de calculs redondants pour chaque requête traitée — exactement le type de charge que l’architecture réseau et mémoire de Jalapeño, taillée pour l’inférence à haut débit, semble conçue pour absorber.
C’est aussi là que SemiAnalysis relève une anomalie de conception qui reste sans explication de la part d’OpenAI. La firme note que Jalapeño n’utilise pas la disaggregation prefill-decode (PDD), une technique qui consiste à séparer physiquement, sur des puces différentes, la phase de lecture du prompt (prefill) et la phase de génération token par token (decode). Or, selon les analystes, les GPU Nvidia et AMD tirent un bénéfice significatif de la PDD, y compris sur du matériel parfaitement homogène. Ne pas y recourir sur une puce pourtant optimisée pour l’inférence à très haut débit constitue, dans les mots mêmes de SemiAnalysis, une surprise — « This came as a surprise to us », selon SemiAnalysis.
Deux lectures sont possibles, et aucune des deux n’est confirmée à ce jour par OpenAI. La première : l’architecture mémoire et réseau de Jalapeño est suffisamment généreuse pour que la séparation prefill/decode n’apporte plus de gain marginal significatif, rendant la complexité d’ingénierie supplémentaire inutile. La seconde : OpenAI a sciemment repoussé ce chantier à une génération ultérieure du chip, faute de temps ou de priorité, quitte à laisser un gain de performance sur la table. Le rapport de SemiAnalysis ne tranche pas, et aucune donnée chiffrée sur l’impact d’une éventuelle PDD n’est disponible à ce jour pour Jalapeño.
Le vrai plafond n’est plus le silicium, c’est l’usine et le mégawatt
Reste la question qui structure tout le reste de l’architecture : le coût. SemiAnalysis chiffre la part du réseau de scale-up dans le coût total du système à environ 10 %. Ce ratio relativement faible signifie qu’OpenAI dispose d’une marge de manœuvre financière pour sur-dimensionner ce réseau sans faire exploser la facture globale — une flexibilité que l’entreprise met explicitement au service d’options futures : des modèles pesant de 10 à 20 trillions de paramètres, ou des fenêtres de contexte de 2 à 4 millions de tokens.
Ces deux horizons — modèles à plusieurs dizaines de trillions de paramètres et contextes de plusieurs millions de tokens — dépassent largement les capacités déployées en production à ce jour par l’ensemble de l’industrie. Les mentionner comme cibles de dimensionnement réseau, plutôt que comme simples hypothèses de recherche, indique qu’OpenAI planifie son infrastructure physique plusieurs générations de modèles à l’avance, et non au fil de l’eau.
Mais cette ambition se heurte à une contrainte que ni le silicium ni le réseau ne peuvent lever : l’électricité disponible. « The data center is power limited today » (« Le datacenter est aujourd’hui limité par la puissance électrique »), rappelle SemiAnalysis. Le prochain objectif de déploiement fixé par OpenAI est 100 mégawatts de puissance installée. Selon le rapport, les obstacles pour y parvenir seront d’abord matériels et opérationnels : la capacité de production des puces elles-mêmes, la capacité à déployer et exploiter des datacenters à cette échelle, et les systèmes de supervision et de résilience nécessaires pour les faire tourner sans interruption.
Ce déplacement du goulot d’étranglement — du transistor vers l’usine, du calcul vers le mégawatt — recadre la portée réelle de la comparaison avec Nvidia Blackwell. Jalapeño peut afficher une bande passante mémoire supérieure et un débit d’inférence par utilisateur nettement supérieur sur le papier ; cela ne dit rien de la vitesse à laquelle OpenAI pourra produire ces puces en volume, ni de sa capacité à les faire fonctionner de façon fiable à l’échelle d’un parc de plusieurs centaines de mégawatts. La stratégie de calcul propriétaire d’OpenAI et le duel Nvidia-Broadcom sur le silicium IA convergent vers le même constat : la performance par puce ne suffit plus à elle seule à juger un accélérateur, elle doit être lue à l’aune de la puissance électrique disponible et de la vitesse d’exécution industrielle.
La question qui reste ouverte n’est donc pas de savoir si Jalapeño bat Blackwell sur un tableau de spécifications — les chiffres de SemiAnalysis répondent déjà par l’affirmative sur plusieurs métriques. Elle est de savoir si OpenAI peut faire passer cette architecture de quelques racks de démonstration à un parc de plusieurs dizaines de mégawatts sans que la chaîne de production, l’exploitation des datacenters ou la fiabilité du réseau ne deviennent, à leur tour, le nouveau facteur limitant.
FAQ
Qu’est-ce que la disaggregation prefill-decode (PDD), et pourquoi son absence surprend-elle ?
La PDD sépare, sur des puces distinctes, la phase de lecture du prompt (prefill) et la génération token par token (decode), ce qui améliore généralement l’efficacité sur GPU Nvidia et AMD. Selon SemiAnalysis, Jalapeño ne l’utilise pas, un choix jugé surprenant vu les gains habituellement observés sur du matériel comparable, sans qu’OpenAI n’ait communiqué sa justification.
Jalapeño est-il déjà déployé en production chez OpenAI ?
Les données disponibles portent sur l’architecture et les performances mesurées via simulation et tests matériels rapportés par SemiAnalysis le 25 août 2026. Le calendrier de déploiement à grande échelle, au-delà de l’objectif intermédiaire de 100 mégawatts évoqué dans le rapport, n’est pas communiqué.
Pourquoi la bande passante mémoire compte-t-elle plus que la puissance de calcul brute pour l’inférence ?
Servir un modèle de langage en production consiste largement à déplacer des paramètres entre la mémoire et les unités de calcul pour chaque token généré. Une bande passante mémoire plus élevée réduit le temps d’attente de ces unités, ce qui explique pourquoi Jalapeño, avec ses 15,4 To/s, atteint un débit par utilisateur bien supérieur à ses concurrents sur ce critère précis.
Sources citées – OpenAI Jalapeño: Better Than Nvidia Blackwell — SemiAnalysis, 25 août 2026.
