Google Gemini 3.5 Flash : l’IA qui contrôle votre écran arrive

L’ère des agents IA autonomes commence

Imaginez un assistant qui ne se contente pas de vous suggérer un restaurant, mais qui ouvre lui-même votre navigateur, compare les avis sur plusieurs sites, réserve une table et ajoute l’événement à votre agenda. Ce scénario, qui relevait encore de la science-fiction il y a quelques mois, devient réalité avec l’annonce de Google.

Le géant de Mountain View vient d’intégrer sa fonctionnalité « Computer Use » directement dans Gemini 3.5 Flash, son modèle d’IA optimisé pour la rapidité. Concrètement, l’intelligence artificielle peut désormais « voir » un écran d’ordinateur ou de smartphone, comprendre son contenu, puis agir de manière autonome : déplacer le curseur, cliquer sur des boutons, remplir des formulaires, naviguer entre les pages.

Cette intégration native marque une rupture stratégique. Là où Anthropic proposait Computer Use via un modèle séparé pour Claude depuis octobre 2024, Google fusionne vision, raisonnement et action dans un seul modèle. « Gemini excelle déjà dans l’appel de fonctions et l’utilisation d’outils, mais Computer Use va encore plus loin », explique Google dans sa documentation technique.

Des performances mesurées sur des environnements réels

Pour évaluer les capacités de ces agents IA, la communauté scientifique utilise OSWorld, un benchmark qui teste la capacité des modèles à naviguer et interagir avec des interfaces graphiques réelles sur Ubuntu, Windows et macOS. Gemini 3.5 Flash y obtient un score de 78,4 % sur la version « Verified », selon les sources techniques consultées.

Ce chiffre, bien que prometteur, mérite d’être contextualisé. Les benchmarks reflètent des conditions de test optimales, souvent éloignées de la complexité du monde réel. Les premiers retours d’utilisateurs, attendus dans les semaines à venir, seront déterminants pour évaluer la fiabilité pratique de ces agents.

Comment ça marche ? Vision, raisonnement, action

Le fonctionnement de Computer Use repose sur trois piliers techniques :

1. La vision par ordinateur : l’IA analyse des captures d’écran pour « voir » ce qui s’affiche. Elle identifie les boutons cliquables, lit le texte, reconnaît les formulaires et comprend la structure de la page.

2. Le raisonnement multimodal : Gemini 3.5 Flash combine cette information visuelle avec votre demande en langage naturel pour planifier une séquence d’actions. « Réserve-moi un vol pour Berlin » devient une série d’étapes : ouvrir le navigateur, aller sur un site de réservation, entrer les dates, comparer les prix, sélectionner une option.

3. L’exécution d’actions : l’IA génère des commandes d’interface utilisateur précises — coordonnées de clic, saisies clavier, défilements — que vous devez implémenter côté client. Google fournit l’intelligence ; c’est à vous (ou aux développeurs d’applications) de créer l’environnement d’exécution sécurisé.

Selon la documentation officielle de Google, « comme pour l’appel de fonction, vous devrez implémenter l’environnement d’exécution côté client ». Autrement dit, Computer Use n’est pas un bouton magique : il nécessite une infrastructure technique pour fonctionner en toute sécurité.

Qui peut utiliser cette technologie, et comment ?

À ce stade, Computer Use dans Gemini 3.5 Flash est réservé aux développeurs et aux entreprises via deux canaux :

• L’API Gemini : pour intégrer ces capacités dans des applications tierces
• La plateforme Gemini Enterprise Agent : pour déployer des agents IA dans des environnements professionnels

Google n’a pas encore communiqué de calendrier précis pour un déploiement grand public. Les premières phases de test, probablement en bêta limitée, permettront d’évaluer la fiabilité et d’affiner les mesures de sécurité.

D’après les sources techniques, l’accès gratuit via l’API Gemini Developer inclut des « jetons d’entrée et de sortie sans frais » avec des limites généreuses, mais les détails de tarification pour Computer Use restent à clarifier. Les entreprises devront probablement souscrire à des offres payantes pour un usage intensif.

Des cas d’usage prometteurs… sous surveillance

Les applications potentielles sont vastes. Dans le secteur bancaire américain, 70 % des dirigeants affirment déjà utiliser des agents IA, selon une enquête EY-MIT de 2025. Chez Renault, l’agent conversationnel « askrnlt » guide les clients sur le site web de manière proactive. Ces exemples montrent que l’IA agentique n’est plus une hypothèse : c’est une réalité en déploiement.

Pour les professionnels, Computer Use pourrait automatiser :

• La saisie de données répétitives entre plusieurs systèmes
• Le remplissage de formulaires administratifs complexes
• La recherche d’informations sur plusieurs sources et leur synthèse
• La gestion d’emails : tri, réponses automatiques, relances

Les estimations de gains de productivité oscillent entre 20 % et 40 % sur les tâches administratives, selon les premiers tests. Mais ces chiffres doivent être pris avec précaution : ils dépendent fortement du contexte d’utilisation et de la supervision humaine mise en place.

Les risques à ne pas sous-estimer

Cette autonomie nouvelle soulève des questions cruciales de sécurité et de vie privée. Un agent IA qui « voit » votre écran accède potentiellement à des informations sensibles : mots de passe, données bancaires, emails confidentiels, documents professionnels.

Premier risque : les erreurs d’exécution. Que se passe-t-il si l’agent clique au mauvais endroit, envoie un email à la mauvaise personne, ou effectue une transaction financière incorrecte ? La question de la responsabilité juridique reste floue. Google, l’entreprise utilisatrice, ou l’utilisateur final : qui est responsable ?

Deuxième risque : la sécurité des données. Quelles informations l’IA envoie-t-elle aux serveurs de Google pour fonctionner ? Les captures d’écran sont-elles stockées, analysées, utilisées pour améliorer les modèles ? Pour les entreprises soumises au RGPD ou à des réglementations sectorielles strictes (santé, finance), ces questions ne sont pas anecdotiques.

Troisième risque, moins discuté : le « prompt injection visuel ». Un site malveillant pourrait afficher des éléments visuels conçus pour tromper l’agent IA et lui faire exécuter des actions non désirées. Les mesures de sécurité actuelles (antivirus, firewalls) ne sont pas conçues pour ce type d’attaque. Un nouveau marché de cybersécurité devra émerger.

Une stratégie mobile-first qui en dit long

Le choix de Gemini 3.5 Flash (et non Pro ou Ultra) révèle la stratégie de Google : privilégier la rapidité et l’accessibilité mobile plutôt que la puissance brute. C’est un pari sur l’usage quotidien massif, sur l’intégration dans Android, pas seulement sur des tâches complexes occasionnelles réservées aux professionnels.

Cette orientation fait écho aux déclarations de Cristiano Amon, PDG de Qualcomm, au Computex 2026 : « Toute résistance est inutile. » Selon lui, le smartphone centré sur les applications est en train de mourir, remplacé par des appareils où l’agent IA devient l’interface principale. Google semble partager cette vision.

Mais cette transformation soulève une question rarement posée : si les agents IA naviguent comme des humains sur des interfaces existantes, les développeurs auront-ils encore intérêt à créer des APIs ou des interfaces optimisées ? Nous risquons de nous enfermer dans des paradigmes d’interface obsolètes (clic, formulaires) alors que des interactions IA-native pourraient être beaucoup plus efficaces.

Quelle régulation pour ces agents autonomes ?

L’AI Act européen, entré en application progressive depuis 2024, classe certains systèmes d’IA comme « à haut risque » et impose des obligations de transparence, de documentation et de supervision humaine. Les agents IA autonomes capables d’agir sur des systèmes informatiques entrent-ils dans cette catégorie ? La question reste ouverte.

Aux États-Unis, la régulation est encore plus fragmentée. Certains États comme la Californie avancent leurs propres cadres, mais il n’existe pas de législation fédérale unifiée. Cette incertitude juridique complique le déploiement à grande échelle, surtout pour les entreprises opérant dans plusieurs juridictions.

Les prochains mois seront déterminants. Les premiers incidents — s’ils surviennent — influenceront fortement la perception publique et la réponse réglementaire. Une erreur majeure d’un agent IA (transaction financière catastrophique, fuite de données sensibles) pourrait déclencher une réaction brutale des régulateurs.

Conclusion : révolution en marche, vigilance de mise

L’intégration de Computer Use dans Gemini 3.5 Flash marque une étape majeure dans l’évolution de l’intelligence artificielle : du chatbot conversationnel à l’agent autonome capable d’actions concrètes. Les gains de productivité potentiels sont réels, les cas d’usage prometteurs, et la technologie progresse rapidement.

Mais cette révolution s’accompagne de risques nouveaux : sécurité, vie privée, responsabilité juridique, dépendance technologique. Les entreprises et utilisateurs devront apprendre à superviser ces agents, comme on supervise un collaborateur humain, en vérifiant leur travail et en établissant des garde-fous clairs.

Une question demeure : sommes-nous prêts, collectivement, à déléguer une partie de notre autonomie numérique à des systèmes que nous ne comprenons qu’imparfaitement ? La réponse à cette question déterminera le rythme et la forme de l’adoption de ces technologies dans les années à venir.