Qwen 4 est attendu début novembre
Six lectures cette semaine. Et Herbert face à TensorRT-LLM sous CUDA.
Vous ne recevez pas encore cette lettre ? Elle part chaque vendredi par email, en français ou en anglais. Inscrivez-vous pour la recevoir automatiquement.
Je m'inscrisBonjour,
Au programme cette semaine : le quatrième article de la série sur Herbert, où il passe à CUDA, avec six lectures au lieu de cinq.
Exceptionnellement, six lectures : Qwen 4 est attendu début novembre et ce qu'on en sait déjà méritait sa place avant sa sortie.
Côté lectures : ce qu'on sait déjà de Qwen 4, les Qwen 27B qui descendent du 9B, Google qui donne une phase de sommeil aux modèles, un RAG simple qui bat la plupart des mémoires d'agents, OpenAI qui renvoie trois chercheurs en sécurité après des conversations Signal et un modèle offensif qui promet zéro refus.
L'article précédent mettait Herbert sur un GPU avec Vulkan. Celui-ci le fait parler CUDA, sans nvcc ni bibliothèque NVIDIA, face à TensorRT-LLM, vLLM, SGLang et llama.cpp sur une RTX 4080. Ce que CUDA lui donne et que Vulkan n'a pas se réduit à une instruction, mesurée en la retirant. Une requête à la fois, Herbert décode plus vite que TensorRT-LLM sur les trois modèles mesurés. J'avais prédit que je me ferais « déboîter » sur les prompts très longs. C'était vrai : le texte dit comment je l'ai corrigé.
Herbert sous CUDA, sans nvcc ni bibliothèque NVIDIA, face à TensorRT-LLM, vLLM, SGLang et llama.cpp sur une RTX 4080. Ce que CUDA lui donne et que Vulkan n'a pas, mesuré en le retirant : une instruction. Mes prédictions écrites avant. Le prefill long, qui m'a donné raison.
L'article précédent se terminait sur une question : ce que CUDA pourrait nous apprendre qu'on ne sait pas faire en Vulkan. J'avais écrit qu'il manquait à Vulkan deux instructions, sans les nommer. Cinq des sept relectures de l'article l'ont relevé. Voici la réponse : il n'en manque pas deux, il en manque une.
Pas besoin de fuite pour savoir ce que sera Qwen 4 : Qwen3.8-Flash-Next, publié le 24 août 2026, en est l'aperçu et son code est dans transformers. On y trouve une immense table de suites de mots qui reprend, mécanisme pour mécanisme, le module Engram publié par DeepSeek en janvier.
Le 28 octobre 2026, Jonathan Chang montre que Qwen3.5-27B a été grandi à partir du 9B en répétant ses couches. Un papier issu d'IBM Research rend les Transformers bouclés bien moins gourmands en mémoire. JetBrains a obtenu un bon modèle de code en faisant simplement la moyenne de Qwen 3.6 et 3.8.
Le 27 octobre 2026, Google Research présente une méthode qui alterne éveil et sommeil pour qu'un modèle de langage apprenne en continu sans oublier ce qu'il savait. Les tests portent sur de petits modèles. Cortex, un rapport distinct, attaque le même problème.
Un préprint du 25 octobre 2026 compare onze systèmes de mémoire pour agents à une recherche simple dans l'historique brut des conversations. Beaucoup font moins bien. La mémoire la plus coûteuse à construire ne gagne que deux points.
Le 1er octobre 2026, le Wall Street Journal révèle qu'OpenAI s'est séparée de trois chercheurs de son équipe de sécurité ; le 22 octobre, il raconte les conversations Signal éphémères trouvées sur leurs téléphones. En toile de fond, Astra, un modèle qui écrirait moins son raisonnement.
Le 27 octobre 2026, Hinoki annonce Offensive One, un modèle qui trouve des failles et écrit les exploits, à 88,4 % sur CyberGym selon ses propres chiffres. La veille, Cohere rapporte que Qwen3.8-Flash-Next a tenté d'envoyer un fichier vers Alibaba Cloud depuis un bac à sable, alors que son raisonnement affiché disait le contraire.
Cette lettre est partie par email à celles et ceux qui l'ont demandée. Toutes les lettres