Qwen 3.8 27B : le LLM idéal pour un agent autonome souverain ?

Qwen 3.8 27B est sorti le 14 août, et la question du modèle s’est réglée d’elle-même : 61,7 sur SWE-bench Pro et 84,3 sur OSWorld-Verified d’après sa carte officielle, dans un gabarit qui tourne sur un portable. C’est le nouveau leader incontesté de l’inférence locale, sur les home labs. La question que personne ne traite le jour d’une sortie, c’est celle d’après : quel moteur d’inférence le fait tourner. Nous avons mesuré onze configurations sur huit moteurs distincts, sur une même machine. Entre la meilleure configuration et la plus populaire, il y a un facteur deux. Et à fichier de poids identique au bit près, l’essentiel de l’écart tient à un seul drapeau de décodage, livré éteint presque partout.

Ce qu’un agent exige d’un moteur

Un agent n’est pas un chat. Il ne produit pas un long texte d’une traite : il enchaîne des dizaines de tours courts, et chaque tour relit tout ce qui précède. Le temps au premier jeton (TTFT, Time To First Token) compte donc plus que le débit de croisière, parce qu’il se paie à chaque tour. Le cache de préfixe compte encore plus, parce qu’un moteur qui ne sait pas réutiliser ce qu’il a déjà calculé repaie le prompt entier, tour après tour. Et la discipline vaut la vitesse : un appel d’outil bien formé, le bon outil choisi, et savoir ne rien faire quand rien ne convient.

Onze configurations, une machine

Une lecture s’impose sur la colonne du 56k à froid (premier passage sur un prompt de 55 839 jetons, cache vide) : elle mesure l’état du cache autant que le moteur. Optimized-Quality répond en 118 ms à chaud et en 100 secondes sur ce premier passage — même moteur, même version — puis revient à 498 ms dès que le tour se répète. Le dimensionnement du cache est un réglage d’opérateur, pas une propriété du moteur.

Les exposants marquent les lignes qui servent un fichier de poids bit à bit identique : entre elles, l’écart tient au moteur et à ses réglages, jamais au fichier. Deux moteurs à décodage multi-token natif, vmlx et vllm-mlx, n’ont pas pu être mesurés à temps : les déclarer absents vaut mieux que les omettre.

Deux faits portent ce tableau. Le premier : à fichier de poids identique et à réglages nus, changer de serveur ne fait rien. Deux des trois lignes marquées ¹ tournent sans drafter, et rendent 30,2 contre 28,8 jetons par seconde : 4,9 % d’écart, sous le bruit de la campagne. Ce qui fait réellement bouger les chiffres, c’est le décodage spéculatif (mlx-vlm, même fichier mais un drafter en plus : 43,3) et le cache de préfixe : faute de cache, la configuration la plus rapide en débit paie son premier jeton 23 fois plus cher que mlx-lm. Pour un agent, le vainqueur du débit est éliminé.

Le second fait est un interrupteur. Qwen 3.8 embarque une tête de prédiction multi-token dans ses poids : le modèle propose plusieurs jetons d’avance, le moteur les vérifie en une passe et garde ceux qui tiennent, sans changer la distribution de sortie. Du gain net. Presque tous les moteurs la laissent éteinte par défaut, deux sur huit l’activent d’origine, et aucune interface graphique ne montre le réglage. Mesuré sur LM Studio : 20 % de débit en plus en activant un seul drapeau, même fichier, même contexte. Des milliers de gens font tourner ce modèle sous sa vitesse sans avoir un moyen simple de le savoir.

La recommandation, et pourquoi ce n’est pas le plus rapide

Pour un agent autonome sur Mac : MTPLX avec le quant Optimized-Speed, décodage multi-token en profondeur 3, fenêtre de 262 144 jetons. 99 ms au premier jeton, mesuré sur MTPLX 2.6.0 avec le raisonnement coupé ; cache de préfixe au jeton près ; 27 Go de mémoire.

Ce n’est pas la ligne la plus rapide du tableau, et c’est un choix de fidélité. L’auteur des quantifications publie, pour chaque fichier, sa divergence au modèle d’origine : 0,00105 pour Optimized-Quality, 0,0220 pour Optimized-Speed, 0,0376 pour Bare-Speed. C’est sa mesure, que nous n’avons pas reproduite, mais c’est la seule mesure de fidélité qui existe sur ces fichiers, et Bare-Speed s’écarte d’un ordre de grandeur de plus que Quality. Pour un agent qui écrit des fichiers et envoie des messages, la fidélité au modèle d’origine vaut plus que douze jetons par seconde de mieux.

Ce que ces chiffres ne disent pas

Quatre limites, qui sont les conditions de validité du tableau. Les débits sont des débits de flux, mesurés sur des générations à longueur fixe de 400 jetons : aucune tâche n’y est menée au bout, et un agent qui « fait le travail » mobilise bien plus que ce que ces colonnes mesurent. Les mesures sont prises raisonnement désactivé : c’est nécessaire pour comparer les moteurs entre eux, ce n’est pas un réglage de déploiement — Qwen ne propose que trois niveaux d’effort (low, medium, xhigh), xhigh est le défaut, et sa documentation recommande de l’y laisser pour le travail agentique, un effort plus faible pouvant « conduire à une analyse insuffisante, à davantage d’échecs et à des reprises répétées ». Le régime recommandé n’est d’ailleurs pas mesurable sous ce protocole : un budget de sortie de 400 jetons ne tient pas un raisonnement plus une réponse. Ces chiffres disent l’écart entre moteurs, jamais la vitesse qu’un déploiement réel obtiendra. La machine était bridée à 50 % de processeur après deux minutes de charge : les chiffres sont des planchers, et l’auteur de MTPLX publie 58,7 jetons par seconde avec les ventilateurs forcés — il ne nous contredit pas, il mesure autre chose. Les quantisations diffèrent d’une ligne à l’autre, sauf entre les lignes marquées : seules celles-là comparent l’empaquetage à poids identiques. Et n = 3, avec un bruit mesuré jusqu’à 7,5 % entre deux exécutions identiques : tout écart sous 8 % ne veut rien dire.

Enfin, la qualité de jugement du modèle en situation d’agent, sur la durée, ne se lit pas ici : elle se mesurera en service, requêtes réelles et registres à l’appui. C’est seulement là que le titre de ce dossier cessera d’être une question.

Ce que ça change pour un déploiement souverain

Tout ceci tourne sur la machine, sans réseau : pas d’API, pas de fournisseur, pas de données qui sortent. Un portable fait tourner un modèle de 27 milliards de paramètres avec une fenêtre de 262 144 jetons, de quoi tenir un agent qui lit des documents longs et appelle des outils. La conséquence mérite d’être dite : la capacité d’un déploiement souverain ne dépend plus du modèle, qui est public et gratuit. Elle dépend de la compétence à le configurer. Un facteur deux entre deux moteurs qui lisent le même fichier de poids, c’est de l’ingénierie, pas de la licence.

Les chiffres sortent de la campagne asiai des 14-16 août : onze configurations, huit moteurs distincts, une machine, cartes de mesure certifiées. asiai est mon projet : ces mesures sont les miennes. Et MTPLX dispose de son propre format de poids, qui ne peut pas être rejoué sur un autre moteur. La version anglaise et les données brutes vivent sur asiai.dev.