90% du travail échappe aux tests d’IA : la grande illusion des benchmarks

Alors que l’industrie technologique promet l’automatisation massive du travail par l’IA, une étude de Mercor jette un pavé dans la mare : 90% des heures de travail aux États-Unis concernent des tâches que les tests d’IA actuels ne savent même pas évaluer. Une révélation qui remet en question l’ensemble des prédictions sur l’avenir de l’emploi.

Le grand écart entre promesses et réalité

L’étude publiée le 16 octobre 2026 par Mercor, spécialiste de l’analyse du marché du travail, révèle un décalage vertigineux. Selon leur méthodologie baptisée « Labor Index », 90% des heures de travail effectuées aux États-Unis concernent des activités professionnelles que les benchmarks d’intelligence artificielle actuels ne mesurent pas, ou mesurent très mal.

Pour comprendre l’ampleur du problème, il faut saisir ce que sont ces fameux benchmarks. Ces tests standardisés – comme MMLU qui évalue la capacité à répondre à des questionnaires à choix multiples, ou HumanEval qui teste la génération de code – ont été conçus pour la recherche académique, pas pour prédire l’automatisation du travail réel. Résultat : nous optimisons l’IA pour réussir des tests qui ne reflètent qu’une infime partie du travail quotidien.

La publication a immédiatement suscité un vif débat dans la communauté technologique, générant 437 points et 376 commentaires sur Hacker News, témoignant de l’importance du sujet pour les professionnels du secteur.

Le paradoxe de la mesurabilité

L’étude met en lumière ce que les chercheurs appellent désormais le « paradoxe de la mesurabilité » : ce qui est facile à benchmarker – répondre à des QCM, générer du code standardisé, reconnaître des images – est précisément ce qui a le moins de valeur économique dans le travail réel. À l’inverse, les tâches à haute valeur ajoutée résistent à la standardisation nécessaire pour créer des benchmarks.

Concrètement, selon Mercor, les benchmarks actuels excellent pour évaluer ce que les chercheurs appellent les « tâches transactionnelles » : répétitives, avec des règles claires et des résultats mesurables. Mais ils échouent totalement face aux « tâches transformationnelles » qui dominent le temps de travail : négocier avec un fournisseur difficile, adapter une présentation selon les réactions de l’audience, gérer une crise d’équipe, ou prendre des décisions dans des situations ambiguës.

D’après l’analyse, un employé de bureau américain typique passe la majorité de son temps sur des activités impliquant du contexte, du jugement situationnel et des interactions complexes – précisément les 90% absents des benchmarks. Les 10% restants concernent effectivement des tâches administratives standardisées, potentiellement automatisables.

Des implications majeures pour l’économie

Cette découverte a des répercussions considérables. Premièrement, elle suggère que les valorisations d’entreprises d’IA basées sur des hypothèses d’automatisation massive pourraient être largement surévaluées. Si l’IA ne peut réellement s’attaquer qu’à 10% des tâches professionnelles à court terme, le retour sur investissement des déploiements en entreprise sera beaucoup plus lent que prévu.

Pour les travailleurs, la nouvelle est paradoxalement rassurante. Selon l’analyse de Mercor, les emplois sont probablement moins menacés à court terme que les gros titres ne le suggèrent, particulièrement pour ceux dont le travail implique du jugement contextuel, de la négociation ou de l’adaptation constante. Les compétences « soft » – communication, résolution de problèmes complexes, gestion de situations ambiguës – deviennent encore plus précieuses précisément parce qu’elles se situent dans les 90% non mesurés.

L’étude révèle également ce que les chercheurs appellent un « biais de survivance inversé » : nous mesurons ce qui est mesurable, puis nous concluons que l’IA peut tout faire. C’est comme évaluer un chirurgien uniquement sur sa capacité à faire des nœuds, ignorer tout le diagnostic et l’interaction patient, puis conclure que les robots peuvent remplacer les chirurgiens.

Vers de nouveaux benchmarks ?

La communauté technologique commence à s’interroger sur la nécessité de créer une nouvelle génération de benchmarks, plus représentatifs du travail réel. Mais le défi est de taille : comment standardiser l’évaluation de compétences comme « gérer un client mécontent » ou « prendre une décision stratégique avec des informations incomplètes » ?

Certains experts évoquent désormais une « bulle des benchmarks », similaire à la bulle des tests standardisés en éducation. Tout comme le « teaching to the test » a déformé l’enseignement, le « training to the benchmark » pourrait déformer le développement de l’IA, créant des systèmes excellents sur des métriques artificielles mais inadaptés au travail réel.

À court terme, d’après l’analyse de Mercor, on peut s’attendre à un débat intense dans la communauté IA sur la validité des benchmarks actuels, et aux premières tentatives de création de tests plus représentatifs. Les entreprises d’IA pourraient également ajuster leurs discours marketing vers des promesses plus réalistes, abandonnant progressivement les scénarios d’automatisation massive.

Questions ouvertes et perspectives

L’étude soulève autant de questions qu’elle n’apporte de réponses. Quels sont précisément les 10% de tâches bien couvertes par les benchmarks actuels ? Existe-t-il des secteurs entiers dans cette catégorie ? Les benchmarks peuvent-ils être améliorés pour couvrir les 90% manquants, ou certaines tâches sont-elles fondamentalement impossibles à benchmarker ?

Une question particulièrement intrigante : existe-t-il une corrélation entre le salaire et la probabilité qu’une tâche soit dans les 90% non couverts ? Si oui, cela signifierait que les emplois les mieux rémunérés sont précisément ceux qui résistent le mieux à l’automatisation, renforçant potentiellement les inégalités existantes.

Pour les investisseurs, l’étude ouvre des opportunités dans trois directions : les entreprises développant des outils d’IA spécialisés pour des tâches professionnelles spécifiques plutôt que des solutions génériques ; les secteurs de formation aidant les travailleurs à se concentrer sur les compétences non automatisables ; et les technologies d’évaluation constituant la prochaine génération de benchmarks.

Conclusion : repenser l’automatisation

L’étude de Mercor nous force à reconsidérer fondamentalement notre compréhension du potentiel d’automatisation de l’IA. Elle suggère que nous sommes peut-être en train de planifier l’avenir du travail en ne cartographiant que 10% du territoire réel. Les décisions stratégiques d’entreprises, les politiques publiques et les choix de carrière individuels reposent sur des prédictions basées sur des données incomplètes.

Plutôt que de voir l’IA comme un remplaçant imminent, cette recherche invite à la concevoir comme un outil d’augmentation pour les tâches standardisées, libérant du temps pour les activités à haute valeur ajoutée qui constituent l’essentiel du travail humain. La question n’est peut-être pas « quels emplois l’IA va-t-elle supprimer ? » mais plutôt « comment mieux mesurer ce que l’IA peut réellement faire ? »

Une chose est certaine : tant que nous n’aurons pas de meilleurs outils pour évaluer les capacités réelles de l’IA face au travail réel, toute prédiction d’automatisation massive restera hautement spéculative.