Benchmarks IA : comment Anthropic et OpenAI manipulent les chiffres

La guerre éclair de septembre 2026

Le 1er septembre 2026, Anthropic dégaine Claude Fable 5.1. Quarante-huit heures plus tard, OpenAI réplique avec GPT-6 Astra. Deux lancements, deux communiqués triomphants, deux tableaux de benchmarks montrant chacun leur supériorité. Cette simultanéité n’est pas un hasard : elle révèle une guerre commerciale où le timing compte autant que la technologie.

Selon Artificial Analysis, qui a mené des évaluations pré-lancement pour Anthropic, Claude Fable 5.1 atteint un score de 66 sur leur Intelligence Index, devançant tous les modèles précédents. De son côté, OpenAI affirme que GPT-6 Astra obtient 99,9% sur le benchmark ARC-AGI-3, un test de raisonnement considéré comme particulièrement difficile. Problème : ces chiffres ne mesurent pas la même chose, et les conditions de test diffèrent radicalement.

Benchmark : mode d’emploi d’un outil marketing

Un benchmark, c’est comme un test de QI pour l’IA : on lui pose des questions de maths, de logique, de compréhension de texte et on note ses résultats. En théorie, cela devrait permettre de comparer objectivement les modèles. En pratique, c’est devenu l’arme marketing principale des éditeurs d’IA.

Le problème fondamental : chaque entreprise choisit les tests où elle performe le mieux. OpenAI met en avant ARC-AGI-3 et ExploitBench (où GPT-6 Astra atteint 100%), mais reste discret sur d’autres métriques. Anthropic valorise Terminal-Bench-Science (où Fable 5.1 double le score de Fable 5 avec 52,6% contre 24,7%) et GDPval-AA pour la valeur économique. Résultat : impossible de savoir qui gagne vraiment, car ils ne jouent pas sur le même terrain.

Selon plusieurs sources indépendantes, dont LLM-Stats et BenchLM, les écarts entre modèles de pointe sont souvent inférieurs à la marge d’erreur statistique. Un modèle qui affiche 82,58/100 contre 81,88/100 pour son concurrent n’a pas de supériorité démontrée : les intervalles de confiance se chevauchent. Pourtant, les communiqués de presse transforment ces nuances en victoires éclatantes.

Les astérisques qu’on ne lit jamais

Le diable se cache dans les notes de bas de page. Prenons l’exemple du score de 99,9% de GPT-6 Astra sur ARC-AGI-3. L’astérisque révèle que ce résultat a été obtenu avec un « harnais avec état » coûteux, permettant de multiples tentatives et ajustements. En mode API standard, sans ce dispositif, le score chute drastiquement. Mais le gros titre, lui, retient les 99,9%.

Autre exemple : les benchmarks de coding. GPT-6 Astra affiche 67 sur le Coding Agent Index d’Artificial Analysis, légèrement derrière Claude Fable 5.1 qui atteint 70. Mais Astra coûte moins de la moitié par tâche grâce à une meilleure efficacité en tokens. Qui gagne ? Cela dépend si vous optimisez pour la performance pure ou le rapport qualité-prix.

Les conditions de test varient aussi : effort maximum ou par défaut, avec ou sans cache, nombre de tentatives autorisées, taille des échantillons. Ces paramètres peuvent faire basculer un résultat du simple au double. Selon Artificial Analysis, Fable 5.1 en « effort maximum » utilise 1,7 fois plus de tokens de sortie que Fable 5, ce qui impacte directement le coût réel malgré la baisse affichée des tarifs.

Deux stratégies, deux paris sur l’avenir

Au-delà des chiffres, cette bataille révèle deux visions opposées du marché de l’IA. Anthropic mise sur l’optimisation : Claude Fable 5.1 maintient ses tarifs API à 10$/50$ par million de tokens (entrée/sortie) mais réduit de 75% le coût des lectures en cache, à 0,25$ le million. L’entreprise estime que cela diminue la facture typique de 25%, et jusqu’à 45% pour les tâches très agentiques. C’est un pari sur la commoditisation de l’IA : la performance brute deviendra moins différenciante que l’efficience économique.

OpenAI, de son côté, joue la carte de la puissance et du narratif. En annonçant « l’ère de l’AGI » avec GPT-6 Astra, l’entreprise tente de s’approprier un terme encore mal défini. L’AGI (Artificial General Intelligence) désigne théoriquement une IA capable de comprendre, apprendre et appliquer ses connaissances à n’importe quelle tâche intellectuelle, comme un humain. Mais les experts restent divisés : pour certains, nous en sommes encore très loin ; pour d’autres, GPT-6 franchit un seuil symbolique.

Cette bataille sémantique n’est pas anodine. Comme le soulignent plusieurs analystes indépendants, celui qui définit les termes contrôle le débat. Si OpenAI réussit à faire accepter que GPT-6 équivaut à l’AGI, tous les concurrents devront se positionner par rapport à cette définition, même si elle est discutable.

Comment lire un benchmark sans se faire avoir

Face à cette inflation de chiffres, voici les réflexes à adopter :

1. Vérifier qui mesure. Un benchmark publié par l’éditeur lui-même est une déclaration marketing, pas une vérité neutre. Les évaluations indépendantes (Artificial Analysis, Stanford AI Index, Papers with Code) sont plus fiables, mais peuvent aussi avoir des biais selon leurs financements.

2. Chercher les tests partagés. Quand deux modèles sont évalués sur exactement le même benchmark, avec la même méthodologie, la comparaison devient possible. Selon BenchLM, Claude Fable 5.1 et GPT-6 Astra ne partagent que 4 à 5 benchmarks communs sur leurs tableaux respectifs. C’est insuffisant pour trancher.

3. Lire les notes de bas de page. Effort utilisé (défaut, élevé, maximum), nombre de tentatives, taille de l’échantillon, conditions de cache : ces paramètres changent tout. Un score à « effort maximum » peut coûter 3 à 5 fois plus cher qu’annoncé.

4. Regarder les intervalles de confiance. Un modèle à 82,58 ± 11,5 contre un autre à 81,88 ± 11,5 n’a pas de supériorité statistiquement significative. Les chevauchements d’intervalles indiquent une égalité de fait.

5. Tester sur vos cas d’usage réels. Aucun benchmark ne remplace l’expérimentation sur vos propres tâches. Un modèle excellent en maths peut être médiocre en rédaction créative, ou inversement. Les deux entreprises proposent des essais gratuits : utilisez-les.

Et le coût réel, alors ?

Au-delà des performances, le nerf de la guerre reste économique. Claude Fable 5.1 et GPT-6 Astra affichent le même tarif API : 10$ par million de tokens en entrée, 50$ en sortie. Mais le coût réel dépend de votre usage :

Pour des tâches avec beaucoup de cache (contexte réutilisé, comme l’analyse répétée de longs documents), Claude Fable 5.1 devient 25 à 45% moins cher grâce à ses lectures en cache à 0,25$ le million. Pour des tâches ponctuelles sans cache, les deux se valent. Pour des workflows très longs, GPT-6 Astra peut être plus rapide (donc moins de tokens consommés en attente), compensant un coût unitaire identique.

Selon Artificial Analysis, GPT-6 Astra complète les tâches de coding environ 47% plus rapidement que GPT-5.6 Sol, son prédécesseur. Cette vitesse se traduit par moins de tokens de réflexion intermédiaire, donc une facture réduite à performance égale. Mais Claude Fable 5.1 compense par son efficience sur les longues sessions agentiques.

Le paradoxe : pour 80% des cas d’usage quotidiens (rédaction simple, résumés, questions-réponses), les modèles de 2024 (GPT-4, Claude 3) restent largement suffisants et coûtent beaucoup moins cher. L’upgrade vers Fable 5.1 ou Astra ne se justifie que pour des tâches complexes : coding assisté sur de gros projets, recherche scientifique, automatisation multi-étapes.

Qui gagne vraiment ?

Il n’y a pas de vainqueur absolu, et c’est précisément ce que les communiqués de presse occultent. Selon les évaluateurs indépendants :

Claude Fable 5.1 mène sur l’Intelligence Index général (66 vs ~60 pour les concurrents selon Artificial Analysis) et le Coding Agent Index (70 vs 67 pour Astra). Il excelle sur les tâches scientifiques en terminal (Terminal-Bench-Science : 52,6% vs 22-29% pour les autres) et les workflows longs avec cache. C’est le choix rationnel pour les équipes qui optimisent les coûts à grande échelle.

GPT-6 Astra domine sur les benchmarks de cybersécurité (100% sur ExploitBench), de raisonnement abstrait (99,9% sur ARC-AGI-3 avec harnais), et d’automatisation (72,6% sur OSWorld 2.0). Il est plus rapide sur les tâches courtes et porte le narratif marketing le plus fort avec l’annonce de l’AGI. C’est le choix pour les cas d’usage premium nécessitant la puissance maximale.

Pour les développeurs et entreprises, la vraie question n’est pas « lequel est meilleur » mais « lequel correspond à mon besoin ». Un cabinet de conseil automatisant l’analyse de milliers de documents choisira probablement Claude pour ses coûts de cache. Un labo de cybersécurité explorant des vulnérabilités complexes optera pour Astra.

Les questions qu’on ne pose pas assez

Au-delà de la bataille des chiffres, plusieurs angles morts méritent l’attention :

L’impact environnemental. Ces modèles toujours plus puissants consomment des quantités d’énergie colossales à l’entraînement et à l’inférence. Aucun des deux éditeurs ne communique sur l’empreinte carbone de Fable 5.1 ou Astra. Selon des études universitaires, l’entraînement d’un modèle de cette classe peut émettre autant de CO2 que plusieurs vols transatlantiques. L’optimisation des coûts d’Anthropic pourrait aussi réduire l’impact écologique, mais aucune donnée publique ne le confirme.

La définition de l’AGI. OpenAI annonce « l’ère de l’AGI » sans définir précisément ce terme. Pour certains chercheurs, l’AGI nécessite une conscience, une intentionnalité, une capacité à apprendre de façon totalement autonome. GPT-6 Astra, aussi impressionnant soit-il, reste un modèle statistique entraîné sur des données. Il ne « comprend » pas au sens humain. Cette appropriation sémantique prématurée risque de fausser le débat public sur ce que l’IA peut vraiment faire.

La standardisation à venir. Comme l’industrie automobile a dû normaliser les tests d’émissions après des scandales de triche, l’IA devra probablement accepter une régulation de ses allégations de performance. L’Union européenne, avec l’AI Act, pose déjà des bases. Des organismes indépendants pourraient émerger pour certifier les benchmarks, comme le fait l’EPA pour les voitures aux États-Unis.

Ce qu’il faut retenir

La bataille Claude Fable 5.1 vs GPT-6 Astra n’a pas de vainqueur net, malgré ce que clament les communiqués. Chaque modèle excelle sur des métriques différentes, dans des conditions de test différentes, pour des cas d’usage différents. Les benchmarks sont devenus un outil marketing sophistiqué, pas un arbitre objectif.

Pour les professionnels, la leçon est claire : testez sur vos propres données avant de migrer, lisez les notes de bas de page, calculez le coût réel selon votre volume et votre usage du cache. Pour le grand public, retenez que « meilleur modèle du monde » est une affirmation marketing, pas un fait vérifiable.

Et surtout : dans 80% des cas, vous n’avez probablement pas besoin de ces nouveaux modèles ultra-puissants. Les versions précédentes, moins chères et déjà très performantes, font très bien le travail. Ne cédez pas à la peur de rater quelque chose (FOMO) savamment orchestrée par les départements marketing.

La vraie question n’est pas « qui gagne », mais « de quoi ai-je réellement besoin ». Et cette réponse, aucun benchmark ne peut vous la donner : seule l’expérimentation sur vos cas d’usage réels le peut.