OpenAI reprend la tête face à Anthropic en ajustant deux paramètres : la guerre des benchmarks IA s’emballe

Anthropic pavoisait avec son Claude Opus 5, triple vainqueur sur le benchmark de raisonnement ARC-AGI-3. Quelques jours plus tard, OpenAI gâche la fête : en activant deux simples options de configuration, GPT-5.6 Sol pulvérise ce score. Au-delà de l’anecdote, cette passe d’armes révèle une vérité embarrassante sur la fiabilité des tests d’IA.

Un tweet de victoire qui tourne court

Tout commence par une annonce triomphale. Le 24 juillet 2026, Anthropic publie sur son compte officiel que Claude Opus 5 obtient 30,2 % sur ARC-AGI-3, un benchmark conçu pour mesurer le raisonnement abstrait des modèles d’IA. Ce score est présenté comme trois fois supérieur à celui du deuxième meilleur modèle, GPT-5.6 Sol d’OpenAI. L’argument porte d’autant plus que le résultat provient d’un tiers indépendant, la fondation ARC Prize, et non d’Anthropic elle-même.

ARC-AGI-3 teste la capacité d’un modèle à résoudre des puzzles visuels 2D dont les règles ne sont jamais explicitées. Contrairement aux benchmarks classiques de codage ou de mathématiques, il cherche à évaluer une forme de raisonnement général, proche de ce qu’on attend d’une intelligence flexible. Un score de 30,2 % constitue un record historique sur ce test réputé difficile.

Sauf que la célébration d’Anthropic sera de courte durée.

OpenAI dégaine : deux réglages, un renversement

Quelques jours plus tard, OpenAI publie un billet de blog au titre sans équivoque : « Comment l’activation de deux paramètres a triplé nos scores sur le benchmark ARC-AGI-3 ». La firme de Sam Altman explique que le harnais officiel utilisé par ARC Prize pour tester GPT-5.6 Sol présentait une limitation technique majeure : il réinitialisait le raisonnement du modèle après chaque action, l’empêchant de construire une réflexion continue sur plusieurs étapes.

En activant deux options déjà présentes dans ChatGPT et l’API Codex — conservation du raisonnement (« thinking persistence ») et compaction (réduction de la verbosité interne) — OpenAI affirme que GPT-5.6 Sol dépasse largement le score d’Anthropic. Selon François Chollet, co-fondateur d’ARC Prize, ces réglages sont légitimes dès lors qu’ils correspondent à des fonctionnalités disponibles pour tous les utilisateurs de l’API, et non à des optimisations spécifiques au benchmark.

La nuance est cruciale. Chollet distingue deux types de configurations : les harnais « sur mesure », conçus spécifiquement pour un test et contenant des connaissances sur son format (interdits), et les paramètres d’API génériques, accessibles à tous (autorisés). Dans cette grille de lecture, OpenAI aurait joué selon les règles — tout en pointant du doigt le fait que le harnais initial désavantageait son modèle.

Harnais : le mot-clé qui change tout

Le terme « harnais » (harness en anglais) désigne ici l’ensemble des paramètres de configuration qui encadrent la manière dont un modèle IA répond : nombre de tentatives autorisées, conservation ou non du contexte entre les étapes, stratégies de vérification, niveau de verbosité, etc. En sécurité ou en alpinisme, un harnais retient le corps ; en ingénierie logicielle, il orchestre l’exécution d’un programme.

Dans le monde de l’IA, le harnais peut faire autant de différence que le modèle lui-même. C’est comme donner à un étudiant plus de temps, le droit de vérifier ses réponses ou plusieurs essais : le même étudiant peut obtenir des résultats radicalement différents selon les conditions. OpenAI l’a compris et en a fait une arme de communication.

Selon plusieurs sources techniques, le harnais officiel d’ARC Prize réinitialisait la « pensée » du modèle après chaque action, forçant GPT-5.6 Sol à repartir de zéro à chaque étape d’un puzzle. En levant cette contrainte — ce que permet l’API standard — le modèle peut construire un raisonnement continu, comme un humain qui garde en tête les hypothèses précédentes pour affiner sa stratégie.

Une bataille de chiffres, un enjeu de crédibilité

Cette passe d’armes dépasse largement l’anecdote technique. Elle illustre un phénomène de fond dans l’industrie de l’IA générative : la guerre des benchmarks. Depuis le lancement de ChatGPT fin 2022, OpenAI, Anthropic, Google (Gemini), Meta (Llama) et d’autres se livrent à une escalade constante de revendications de supériorité, chacun brandissant des scores record sur tel ou tel test.

Le problème ? Les benchmarks ne sont jamais neutres. Leur conception, les données d’entraînement, les paramètres de test, tout influence les résultats. Lorsque les entreprises contrôlent elles-mêmes les conditions d’évaluation — ou peuvent ajuster finement les réglages — les comparaisons deviennent hautement discutables. C’est ce que révèle brutalement l’épisode OpenAI-Anthropic : un même modèle peut passer de « trois fois moins bon » à « meilleur » en modifiant deux lignes de configuration.

Plusieurs chercheurs indépendants soulignent que les modèles de pointe (GPT-5.6, Claude Opus 5, Gemini 2.0) se situent désormais dans une fourchette de performance très proche sur la plupart des tâches réelles. Les écarts spectaculaires affichés dans les annonces marketing relèvent souvent de l’optimisation pour le test plutôt que d’une supériorité fondamentale. Comme l’a résumé un analyste : « Nous sommes peut-être entrés dans l’ère de l’ingénierie des benchmarks plutôt que de l’ingénierie des modèles. »

Que faire de ces chiffres ?

Pour les entreprises qui choisissent un modèle d’IA, cette controverse livre une leçon claire : ne vous fiez pas aux scores bruts. Les benchmarks publiés par les éditeurs — même validés par des tiers — ne garantissent rien sur les performances que vous obtiendrez dans votre contexte spécifique. La configuration compte autant que le modèle.

Les experts recommandent de :

• Tester sur vos propres données : créez des benchmarks internes basés sur vos cas d’usage réels (rédaction de contrats, analyse de code, support client, etc.).
• Exiger la transparence : demandez quels paramètres ont été utilisés pour obtenir les scores annoncés (température, nombre de tentatives, conservation du contexte, etc.).
• Comparer à conditions égales : assurez-vous que les modèles testés utilisent des harnais identiques, sinon la comparaison n’a aucun sens.
• Privilégier les évaluations indépendantes : des plateformes comme LMSYS Chatbot Arena, où des utilisateurs réels comparent les modèles en aveugle, offrent une vision plus fiable que les annonces marketing.

Pour le grand public, le message est plus simple : quand une entreprise d’IA annonce « notre modèle est le meilleur », c’est comme un constructeur automobile qui vante la vitesse de pointe atteinte sur circuit fermé. Techniquement vrai, mais pas forcément représentatif de votre expérience quotidienne.

Vers une régulation des benchmarks ?

Cette affaire pourrait accélérer l’émergence de standards indépendants. Plusieurs voix appellent à la création d’organismes d’évaluation tiers, sur le modèle de Consumer Reports pour les produits de consommation ou des agences de notation financière. L’idée : définir des protocoles de test rigoureux, publics et reproductibles, que les entreprises ne pourraient pas contourner par des ajustements opportunistes.

François Chollet lui-même a réagi en précisant les règles d’ARC Prize : les harnais « faits sur mesure » ou contenant des connaissances sur le format du benchmark sont interdits, mais les paramètres d’API génériques sont autorisés. Cette distinction reconnaît implicitement que le harnais officiel initial désavantageait certains modèles — et que la fondation devra affiner ses protocoles.

Certains évoquent même une intervention réglementaire, sur le modèle de ce qui s’est passé après le scandale Dieselgate dans l’automobile : des tests d’émissions truqués avaient conduit à un durcissement des normes et à des contrôles indépendants. Si l’IA influence des décisions critiques (santé, justice, finance), des performances gonflées artificiellement pourraient avoir des conséquences graves.

Conclusion : au-delà des chiffres, l’usage réel

L’affrontement OpenAI-Anthropic sur ARC-AGI-3 restera comme un cas d’école. Il montre que dans l’IA de 2026, les performances annoncées dépendent autant de l’ingénierie des tests que de l’ingénierie des modèles. Un même système peut être « champion » ou « médiocre » selon les réglages appliqués.

Cette réalité soulève une question vertigineuse : si les benchmarks ne sont plus fiables, comment évaluer objectivement les progrès de l’IA ? La réponse tient peut-être dans un changement de paradigme : passer des scores de laboratoire aux démonstrations de cas d’usage concrets, mesurer la valeur créée plutôt que les pourcentages sur des tests artificiels.

En attendant, la guerre des benchmarks continuera. Anthropic publiera sans doute une contre-réponse optimisée, Google et Meta rejoindront peut-être la mêlée. Mais pour les utilisateurs — entreprises ou particuliers — la leçon reste la même : testez par vous-même, sur vos propres données, dans vos propres conditions. C’est la seule évaluation qui compte vraiment.