METR mesure qu'Anthropic avance deux fois plus vite, et les preuves sont caviardées

Du 12 août au 29 octobre 2026, METR a eu accès aux données internes d'Anthropic. Conclusion publiée le 5 novembre : les capacités progressent environ deux fois plus vite qu'avant octobre 2025, et l'IA en explique la plus grande part. Anthropic a retiré du rapport public la majorité des preuves que METR jugeait les plus informatives.

En bref

• Du 12 août au 29 octobre 2026, METR a eu accès aux données internes d'Anthropic. Conclusion publiée le 5 novembre : les capacités progressent environ deux fois plus vite qu'avant octobre 2025, entre 1,3 et 3 fois, et l'IA en expliquerait la plus grande part.
• La comparaison repose sur l'historique des scores internes qu'Anthropic a ouvert ; la confiance « ce n'est pas le calcul » repose sur des preuves caviardées ; aucun goulot trouvé, d'après une analyse caviardée.
• Anthropic a caviardé la majorité des preuves que METR jugeait les plus informatives, avec des consignes transmises le 25 octobre et durcies du 27 au 29. METR : le public doit se fier à son jugement plus qu'il ne serait idéal.
• Mon avis : un chiffre qu'on ne peut pas rejouer est une annonce. Le caviardage est compréhensible et scandaleux. Et METR, qui ne prend pas d'argent des laboratoires, vit de l'accès qu'ils lui ouvrent.

← Toute la veille