
Harnais d'agent : deux évaluations publiques, un écart de coût net et un écart de réussite plus discret
Du 5 au 18 novembre 2026, deux évaluations publiques comparent des harnais d'agent à modèle identique : celle de Garry Tan, sur Claude Opus 5.5 et GPT-6.1 Sol, puis le Harness Leaderboard, sur quatre modèles ouverts. Le coût par tâche résolue varie jusqu'à un facteur 2,2. Sur les modèles ouverts l'écart moyen de réussite est de 10 points. Le classement mesure aussi que le harnais n'ajoute que 2,8 points de désaccord au bruit des essais.
En bref
- Sur 52 tâches de code, cinq harnais sur six réussissent à moins de 15 points du harnais du modèle lui-même. Le coût par tâche résolue varie jusqu'à un facteur 2,2.
- Sur quatre modèles ouverts, le Harness Leaderboard mesure en moyenne de 42,7 % à 52,5 % de tâches résolues selon le harnais, à modèle constant. L'écart atteint 22 points sur un seul modèle.
- Relancer le même harnais change le résultat de 24,1 % des tâches, changer de harnais le modifie pour 26,9 % : le harnais n'ajoute que 2,8 points de désaccord au bruit des essais.
- Le « 18,4 points d'écart » qui circule figure bien sur le classement de Terminal-Bench 2.0, mais il oppose un harnais trouvé par recherche automatique à Claude Code. Selon une analyse du 12 octobre, l'écart médian entre le meilleur et le pire harnais d'un modèle est de 5,4 points sur les seules lignes vérifiées.
- Garry Tan publie aussi que les compétences de gstack, un outil à lui, n'ont pas été suivies par Opus 5.5 (0 session sur 46).
Ceci est un court extrait.
L'analyse complète et le podcast sont réservés aux abonnés. Le compte est gratuit.