📌 Points clés

  • Microsoft lance Copilot Vision, une IA capable de voir l’écran de l’utilisateur et d’agir sur les applications Windows.
  • La fonctionnalité est intégrée à Windows 12 et à Microsoft 365 Copilot Pro (30 $/mois).
  • Copilot Vision peut remplir des formulaires, comparer des tableaux Excel et naviguer sur le web de manière autonome.
  • La fonctionnalité concurrence directement le computer use d’Anthropic et l’Agent d’OpenAI.

Microsoft entre dans l’ère des agents visuels avec le lancement de Copilot Vision, une fonctionnalité qui permet à l’IA de voir ce qui s’affiche à l’écran et d’interagir avec les applications Windows comme le ferait un utilisateur humain. Intégrée nativement à Windows 12 et disponible pour les abonnés Microsoft 365 Copilot Pro, cette technologie transforme l’assistant IA en véritable opérateur informatique capable d’exécuter des tâches complexes de manière autonome.

Comment fonctionne Copilot Vision ?

Copilot Vision repose sur un modèle multimodal propriétaire baptisé Phi-5 Vision, entraîné spécifiquement sur des captures d’écran d’applications Windows, Office et des navigateurs web. L’IA prend des captures à intervalle régulier (jusqu’à 10 par seconde), les analyse et identifie les éléments interactifs — boutons, champs de saisie, menus, tableaux — pour planifier et exécuter des séquences d’actions.

En pratique, vous pouvez demander à Copilot de « comparer ces deux devis PDF et créer un tableau récapitulatif dans Excel » ou de « réserver le vol le moins cher pour Paris sur Kayak ». L’IA ouvre les applications nécessaires, navigue entre les fenêtres et produit le résultat final sans intervention humaine. Microsoft annonce un taux de réussite de 87 % sur les tâches bureautiques courantes.

Copilot Vision menace-t-il la vie privée des utilisateurs ?

La question de la confidentialité est centrale. Microsoft assure que les captures d’écran sont traitées localement sur les PC équipés d’un NPU (Neural Processing Unit) et ne sont jamais stockées ni envoyées vers le cloud, sauf demande explicite de l’utilisateur. Un indicateur visuel permanent signale quand Copilot Vision est actif, et l’utilisateur peut définir des zones d’exclusion (applications bancaires, messagerie privée) où l’IA ne pourra jamais regarder.

Ce lancement positionne Microsoft face au computer use de Claude (Anthropic) et aux agents autonomes d’OpenAI. La différence clé : l’intégration système profonde avec Windows donne à Copilot Vision un avantage d’accessibilité pour les 1,4 milliard d’utilisateurs Windows dans le monde.

FAQ

Copilot Vision est-il inclus dans l’abonnement Microsoft 365 standard ?

Non. Copilot Vision nécessite l’abonnement Microsoft 365 Copilot Pro à 30 $/mois ou l’abonnement Windows 12 Pro avec IA à 14,99 $/mois pour une version limitée aux applications Microsoft.

Faut-il un PC récent pour utiliser Copilot Vision ?

Oui, la fonctionnalité complète nécessite un PC « Copilot+ » équipé d’un NPU d’au moins 40 TOPS. Les PC sans NPU peuvent utiliser une version cloud avec un léger délai de traitement.

À suivre

Microsoft prévoit d’ouvrir Copilot Vision aux développeurs tiers via un SDK en mai 2026, permettant à toute application Windows de bénéficier de l’interaction visuelle IA. La Build 2026 de Seattle sera l’occasion de découvrir les premiers cas d’usage entreprise.