Claude observe votre écran et apprend vos tâches : la fin des prompts ?

L’ère du « montre-moi » plutôt que « dis-moi »

Le 21 juillet 2026, Anthropic a franchi un cap symbolique dans l’évolution de l’intelligence artificielle conversationnelle. Avec le lancement de « Record a Skill » dans Claude Cowork, l’entreprise californienne inverse le paradigme traditionnel de l’automatisation : au lieu d’expliquer par écrit ce que vous voulez, vous le montrez simplement.

Concrètement, l’utilisateur active la fonction d’enregistrement depuis l’application de bureau Claude, effectue une tâche à l’écran tout en commentant vocalement ses actions, et Claude transforme cette démonstration en une compétence réutilisable. Selon Android Authority, qui a testé la fonctionnalité avec un compte Pro, le processus est étonnamment fluide : « Vous complétez le processus, expliquez en voz alta ce que vous faites et l’intelligence artificielle garde cette séquence pour la répéter quand elle sera nécessaire. »

Cette approche élimine la barrière du prompt engineering — l’art délicat de formuler des instructions précises pour obtenir les résultats souhaités. Pour Mike Krieger, co-fondateur d’Instagram et désormais Chief Product Officer chez Anthropic, cette évolution était inévitable : « Nous avons réalisé que demander aux gens d’apprendre un nouveau langage pour communiquer avec l’IA créait une friction inutile. Les humains enseignent naturellement par démonstration. »

Comment fonctionne l’apprentissage par observation

La technologie repose sur une combinaison de vision par ordinateur et d’apprentissage par démonstration (learning from demonstration). Pendant l’enregistrement, Claude capture non seulement les images de votre écran, mais analyse aussi :

• Les clics de souris et leur position précise
• Les frappes clavier et les séquences de texte saisies
• Les transitions entre applications et fenêtres
• Le contexte vocal fourni par l’utilisateur en temps réel
• Les métadonnées temporelles (durée entre chaque action)

D’après la documentation technique d’Anthropic, le modèle utilise Claude 3.5 Sonnet avec des capacités multimodales renforcées. Le système ne se contente pas d’enregistrer mécaniquement : il comprend l’intention derrière chaque action. Par exemple, si vous cliquez sur « Fichier > Enregistrer sous » puis tapez un nom de fichier structuré, Claude identifie le pattern de nommage et peut l’adapter aux contextes futurs.

Le fichier de compétence généré est stocké localement sur votre machine dans un format propriétaire, selon Les Numériques. Cette approche locale répond partiellement aux inquiétudes de confidentialité, bien que les détails précis du traitement des données restent flous dans la documentation publique.

Cas d’usage : de la comptabilité au marketing

Les premiers retours utilisateurs, compilés par Clubic et Frandroid, révèlent des applications concrètes variées :

Finance et comptabilité : Un cabinet comptable parisien a automatisé l’extraction de données depuis des relevés bancaires PDF. « Avant, nous passions 3 heures par semaine à copier-coller des montants dans Excel. Maintenant, je montre la tâche une fois à Claude et il traite 50 relevés en 10 minutes », témoigne un expert-comptable interrogé par Clubic.

Ressources humaines : Traitement de candidatures, extraction d’informations depuis des CV, remplissage semi-automatique de grilles d’évaluation.

Marketing digital : Génération de rapports hebdomadaires en compilant des données depuis Google Analytics, réseaux sociaux et CRM — une tâche typiquement chronophage et répétitive.

Administration : Classement automatique de documents selon des nomenclatures spécifiques, renommage de fichiers selon des conventions établies.

Cependant, tous les secteurs ne sont pas également enthousiastes. Les domaines hautement réglementés comme la santé ou la banque se montrent prudents, notamment en raison des exigences RGPD et de la sensibilité des données manipulées.

L’éléphant dans la pièce : vos données

La fonctionnalité soulève immédiatement une question cruciale : que voit exactement Claude, et que devient cet enregistrement ?

Selon Gameblog, « Anthropic reste étonnamment silencieux » sur plusieurs points critiques. L’entreprise confirme que les enregistrements sont traités localement, mais ne précise pas :

• Si des métadonnées sont envoyées vers les serveurs d’Anthropic pour améliorer le modèle
• Combien de temps ces enregistrements sont conservés
• Si l’utilisateur peut auditer précisément ce qui a été capturé
• Comment sont gérées les informations sensibles apparaissant accidentellement à l’écran (mots de passe, données personnelles de tiers)

Pour Anne-Sophie Taillandier, avocate spécialisée en droit du numérique interrogée par Clubic, « cette fonctionnalité pose des questions inédites au regard du RGPD. Si un salarié enregistre une tâche impliquant des données clients, l’entreprise devient responsable du traitement effectué par l’IA. La base légale n’est pas évidente. »

La CNIL française n’a pas encore publié de position officielle, mais plusieurs experts anticipent des lignes directrices strictes, notamment concernant l’information des personnes dont les données apparaissent dans les enregistrements.

Par ailleurs, l’intégration récente entre Claude et 1Password, annoncée parallèlement selon Blog Nouvelles Technologies, permet à l’IA d’utiliser des identifiants stockés « sans jamais y avoir réellement accès ». Cette approche de sécurité par compartimentage pourrait préfigurer des solutions pour limiter l’exposition de données sensibles lors des enregistrements d’écran.

Implications pour le travail de bureau

Au-delà des aspects techniques, cette innovation accélère une transformation profonde du travail tertiaire. Selon une étude Coface citée dans les sources connexes, lorsque plus de 30% des tâches d’un poste sont automatisables, l’emploi est en danger.

Or, Record a Skill abaisse drastiquement le seuil d’automatisation. Des tâches qui nécessitaient auparavant l’intervention d’un développeur pour créer un script ou configurer un outil RPA peuvent désormais être automatisées par n’importe quel employé de bureau en quelques minutes.

Cette démocratisation crée un paradoxe : elle libère du temps pour des tâches à plus haute valeur ajoutée, mais questionne simultanément la justification de certains postes. Un rapport du World Economic Forum 2025 estime que 85 millions d’emplois pourraient être déplacés par l’automatisation d’ici 2030, tandis que 97 millions de nouveaux rôles émergeraient — mais pas nécessairement pour les mêmes personnes.

Pierre Dubois, consultant en transformation digitale, observe : « Nous voyons émerger de nouveaux métiers comme ‘superviseur d’automatisations’ ou ‘auditeur d’IA’. Mais la transition sera douloureuse pour ceux dont le rôle se limitait à l’exécution de processus standardisés. »

La réponse de la concurrence

Anthropic n’est pas seul sur ce terrain. Selon ClaudeWorld, OpenAI a lancé en avril 2026 ses « Workspace Agents », successeurs no-code des GPTs personnalisés. Google développe parallèlement des assistants multimodaux capables d’interactions similaires.

Mais Anthropic semble avoir pris une longueur d’avance sur l’expérience utilisateur. Contrairement aux approches concurrentes qui nécessitent encore une configuration initiale complexe, Record a Skill mise sur la simplicité absolue : ouvrir l’app, cliquer sur « + », sélectionner « Record a Skill », et montrer.

Cette facilité d’accès pourrait être décisive. Comme l’a démontré l’histoire de la tech, ce n’est pas toujours la technologie la plus avancée qui gagne, mais celle qui réduit le plus la friction d’adoption. L’iPhone n’était pas le premier smartphone, mais le premier vraiment utilisable par le grand public.

Limites et zones d’ombre

Malgré l’enthousiasme, plusieurs limitations apparaissent dans les premiers tests :

Gestion des variations : Que se passe-t-il si l’interface d’une application change légèrement ? Si un formulaire ajoute un champ ? Les retours utilisateurs suggèrent que Claude peut s’adapter à des variations mineures, mais échoue face à des changements structurels.

Complexité des tâches : Les démonstrations actuelles concernent surtout des processus linéaires. Les tâches nécessitant des décisions contextuelles complexes restent problématiques.

Fiabilité : Aucun taux de réussite officiel n’a été communiqué. Un utilisateur sur Reddit rapporte : « Sur 10 exécutions d’une même tâche, j’ai eu 8 succès et 2 échecs inexpliqués. C’est impressionnant, mais pas encore assez fiable pour des processus critiques. »

Compatibilité : La fonctionnalité semble mieux fonctionner avec des applications standard (suite Office, navigateurs) qu’avec des logiciels métier spécifiques.

Perspectives : vers l’IA ambiante ?

Record a Skill préfigure probablement une évolution plus large vers ce que certains chercheurs appellent l’« IA ambiante » — des assistants qui observent passivement notre travail pour mieux nous aider, sans intervention explicite.

Microsoft a déjà annoncé des fonctionnalités similaires dans Windows 12 (prévu pour 2027). Apple explore des concepts d' »apprentissage contextuel » pour macOS. La question n’est plus « si » cette approche se généralisera, mais « comment » elle sera régulée.

À court terme (3-6 mois), attendez-vous à :

• Des clarifications réglementaires de la CNIL et des autorités européennes
• Des annonces concurrentes d’OpenAI et Google
• Des études de cas d’entreprises mesurant les gains de productivité réels
• Possiblement des controverses sur des fuites de données ou des usages détournés

À moyen terme (12-18 mois), deux scénarios se dessinent :

Scénario optimiste : adoption massive en entreprise avec création de nouveaux métiers de supervision d’IA, gains de productivité de 20-30% sur certaines fonctions, réduction du temps passé sur les tâches répétitives permettant de se concentrer sur la stratégie et la créativité.

Scénario pessimiste : scandales de confidentialité, réglementation restrictive limitant l’usage aux environnements contrôlés, résistance sociale face à l’automatisation accélérée, creusement des inégalités entre travailleurs capables de superviser l’IA et ceux dont le rôle devient obsolète.

Ce que vous devriez faire maintenant

Si vous êtes professionnel :

• Identifiez dès maintenant vos tâches répétitives automatisables (mais commencez par des processus non critiques)
• Documentez vos processus métier avant qu’ils ne soient automatisés — garder la connaissance explicite est crucial
• Établissez des protocoles de vérification : ne faites jamais confiance aveuglément aux résultats de l’IA
• Développez des compétences complémentaires non automatisables : jugement critique, créativité, négociation, vision stratégique

Si vous êtes dirigeant :

• Créez une gouvernance claire : qui peut créer des automatisations ? Quel processus de validation ?
• Évaluez les implications RGPD avec votre DPO avant tout déploiement impliquant des données personnelles
• Anticipez la gestion du changement : l’automatisation crée anxiété et résistance si mal accompagnée
• Mesurez rigoureusement les gains réels, pas seulement les promesses théoriques

Si vous êtes simple utilisateur :

• Testez avec des données non sensibles pour comprendre les capacités et limites
• Lisez attentivement les conditions d’utilisation concernant vos données
• Ne montrez jamais à Claude des écrans contenant des mots de passe, données bancaires ou informations confidentielles de tiers

Questions ouvertes

Plusieurs interrogations fondamentales restent sans réponse :

• Responsabilité juridique : Si Claude commet une erreur dans une tâche automatisée causant un préjudice, qui est responsable ? L’utilisateur qui a fait la démonstration ? L’entreprise ? Anthropic ?
• Biais et reproduction d’erreurs : Si vous faites une erreur pendant votre démonstration, Claude la reproduira-t-il systématiquement ? Comment corriger une compétence mal apprise ?
• Sécurité offensive : Un malware pourrait-il détourner cette fonctionnalité pour espionner ou manipuler des actions à l’insu de l’utilisateur ?
• Évolution du modèle économique : Cette fonctionnalité restera-t-elle accessible aux abonnés Pro (20$/mois), ou migrera-t-elle vers une offre Enterprise plus coûteuse ?
• Impact sociétal : Assiste-t-on à une nouvelle vague de « déqualification » où les travailleurs perdent la maîtrise des processus qu’ils automatisent ?

Une chose est certaine : Anthropic a ouvert une porte que personne ne pourra refermer. L’automatisation par simple démonstration n’est plus de la science-fiction, mais une réalité commerciale disponible dès aujourd’hui pour quelques dizaines de dollars par mois. Reste à savoir si nous saurons collectivement naviguer les opportunités et les risques de cette transformation.