IBM a publié le 15 octobre 2026 Granite Switch 4.1, une famille de modèles présentée sur Hugging Face en versions 8B et 30B. La promesse : qu’un même point de terminaison traite une conversation, une tâche de classification et un message audio, sans serveur vocal séparé ni rechargement de modèle S1S3. Voici ce que disent les documents de l’éditeur, ce que cela change concrètement, et ce qui reste limité.
Architecture modulaire et unification des endpoints
Le principe repose sur des adaptateurs LoRA activés à la demande. Des jetons de contrôle insérés dans le gabarit de discussion indiquent au modèle quel adaptateur enclencher, le reste de l’appel restant inchangé S2. IBM parle de basculement d’experts à grain grossier : un seul adaptateur est actif sur toutes les couches pour une suite contiguë de jetons, et une couche de commutation légère détecte les jetons de contrôle puis transmet à chaque couche du décodeur les poids LoRA à appliquer S3.
Les adaptateurs sont conçus comme des Activated LoRAs économes en cache. Concrètement, le cache KV construit lors d’une génération du modèle de base peut être réutilisé pour les décisions qui suivent, ce qui évite de recalculer le contexte à chaque changement de mode S1. L’éditeur associe cela à ses contributions récentes à vLLM pour accélérer l’inférence des adaptateurs à faible rang et à un encodeur de reconnaissance vocale colocalisé S1.
Pour la version 8B, la fiche liste deux adaptateurs : un adaptateur de décision généraliste et un adaptateur guardian-core issu de granitelib-guardian-r1.0, dédié au filtrage S2. La composition exacte est détaillée dans un fichier BUILD.md référencé par la fiche S2.
| Mode | Mécanisme | Ce qu’il faut retenir |
|---|---|---|
| Chat | Modèle de base Granite | Point d’entrée inchangé S2 |
| Décision | Adaptateur aLoRA activé par jeton de contrôle | Réutilise le cache KV du chat S1S2 |
| Parole | Encodeur Granite Speech 5.0 TurboCTC embarqué | Transcription injectée dans le contexte, pas de serveur distinct S3 |
Usages concrets : flux RAG, jeux et classification
L’intérêt opérationnel tient à l’enchaînement. Un espace de démonstration Hugging Face, Speech-to-Decisions, montre granite-switch-4.1-8b transcrire un audio, produire un résumé, filtrer le contenu nuisible et tester quinze indicateurs définis par l’utilisateur, le tout sur un seul endpoint en temps réel S1. Le même mécanisme peut servir à vérifier la pertinence d’un passage avant génération dans un flux de recherche augmentée, à classer des tickets de support ou à modérer un tchat de jeu.
Exemple fictif pour fixer les idées : un service client reçoit un message vocal, le modèle le transcrit, répond, puis le même appel déclenche l’adaptateur de décision pour étiqueter l’urgence et l’adaptateur guardian pour signaler un propos abusif. Trois étapes, un seul service déployé. Sur un sujet voisin, nous avions analysé la montée des modèles de décision multimodaux pour le edge dans Open d1 : promesses et angles morts.
Une réserve de méthode s’impose : les gains de vitesse annoncés et la démonstration proviennent de l’éditeur. Aucun test indépendant n’est cité ici.
Limites actuelles de l’encodeur audio et perspectives
La partie vocale est la plus jeune. L’audio est transcrit par un modèle Granite Speech 5.0 TurboCTC embarqué de 470 millions de paramètres, un encodeur conformer CTC non autorégressif, que IBM décrit comme le plus rapide du classement OpenASR, affirmation à prendre comme déclaration de l’éditeur S3. La transcription remplace la partie audio dans le contexte de chat S3.
Les restrictions sont explicites dans la fiche : l’encodeur et le modèle de langage ne sont pas entraînés conjointement, aucune projection apprise ne les relie ; la reconnaissance est limitée à l’anglais ; la sortie est en minuscules et sans ponctuation ; et il n’existe pas de pilotage au moment du décodage S3. Pour un lecteur francophone, cela signifie que le mode parole n’est pas utilisable tel quel sur des entrées en français, et que les transcriptions brutes demanderont un post-traitement avant affichage.
Action utile : tester d’abord les modes chat et décision sur vos propres données, puis évaluer l’audio uniquement sur des corpus anglais, en lisant docs/AUDIO.md du dépôt avant toute mise en production S3.
Sources consultées
- Granite Switch 4.1: Chat, Decisions, and Speech from One Endpoint
- ibm-granite/granite-switch-4.1-8b · Hugging Face
- ibm-granite/granite-switch-4.1-30b · Hugging Face
- huggingface.co — huggingface.co
