À chaque sortie d’un nouveau modèle, tout le monde se jette sur le tableau des benchmarks. Je l’ai fait trop longtemps sans en tirer quoi que ce soit d’exploitable. Un classement vous dit quel modèle a obtenu le meilleur score sur les tâches de quelqu’un d’autre. Il ne vous dit pas auquel confier un refactoring riche en appels d’outils, une passe de QA sur un diff risqué ou une tâche de recherche dans votre propre base de code.
Mon hypothèse de départ : deux modèles ne se classent pas de la même façon sur tous les projets. Celui qui l’emporte dépend de la nature des tâches, des conventions et du contexte que votre dépôt charge dans chaque session. Un score global gomme tout cela dans une moyenne. La seule comparaison qui m’aide est donc celle qui tourne sur mon dépôt, avec des critères que je définis.
#Pourquoi c’est possible maintenant
Les sessions Claude Code peuvent communiquer entre elles. Chaque terminal qui exécute Claude reçoit un nom de session, et n’importe quelle session peut envoyer un message directement à une autre. Quelques terminaux deviennent ainsi un petit système multi-agents, sans aucune infrastructure supplémentaire.
#Étape 1 : les critères
J’ai ouvert une session Claude et défini avec elle ce qui fait réellement l’utilité d’un modèle sur un projet : la précision et la vitesse de recherche dans le code, l’énumération des cas limites, le rappel sans outils, les décisions selon les règles propres au dépôt, la QA sur un vrai commit, l’orchestration d’outils, l’usage de MCP, la recherche, la livraison de bout en bout d’une petite modification, la télémétrie des tokens et l’autocorrection.
Nous avons affiné le tout en un seul fichier markdown : 12 dimensions, chacune avec une question, une méthode de mesure et un évaluateur désigné. Ce fichier est le contrat, et il reste réutilisable le jour où le prochain modèle sortira.
Le fichier de critères
12 dimensions. Chacune a une question, une méthode de mesure et un évaluateur désigné. L’auteur d’une tâche n’est jamais noté sur elle ; les tâches communes sont scellées.
| Dim | Question | Mode de mesure | Noté par |
|---|---|---|---|
| D1Recherche + vitesse | Qui trouve plus vite et sans erreur des faits précis dans le code ? | Tâches à réponse unique (fichier:ligne + valeur). Temps et appels d’outils tirés du journal de session, pas autodéclarés. | auteur · clé scellée |
| D2Cas limites | Qui recense le plus de vrais cas limites pour une fonction donnée ? | Chaque cas est vérifié par le pair : réel, distinct, couvert ou non par les tests existants. −1 par cas inventé. | pair |
| D3Mémoire / rappel | Qui se souvient des faits du projet sans outils ? | Réponse de mémoire, déclarée, puis vérifiée dans le source. Une réponse recherchée vaut 0. | pair |
| D4Décisions | Qui décide le mieux dans un scénario réaliste ? | Scénario → décision, ordre, refus, vérifications. Noté sur la conformité aux règles propres au dépôt et sur les risques identifiés. | pair · cite la règle |
| D5QA | Qui trouve le plus de vrais défauts dans un vrai diff ? | Revue d’un commit de l’historique ; constats vérifiés dans le code ; le plan de test hors ligne doit être exécuté. Puis une campagne de mutants commune. | pair |
| D6Explications | Qui explique le pourquoi, pas seulement le quoi ? | Qualitatif. Une phrase par élément, pas de note chiffrée. | les deux |
| D7Orchestration d’outils | Qui exploite le mieux le harnais ? | Tâche en fan-out avec un agrégat vérifiable. Durée réelle, appels d’outils, sous-agents, appels inutiles, audités à partir du journal. | pair |
| D8Usage de MCP | Qui utilise les serveurs MCP correctement et sans risque ? | Tâches Jira / Confluence en lecture seule avec réponses vérifiables. Gestion des erreurs comptabilisée. Aucune écriture. | auteur |
| D9Recherche | Qui recherche le mieux des faits externes ? | Questions vérifiables par les sources. URL obligatoires ; le pair vérifie les sources ; affirmations non étayées pénalisées. | pair |
| D10Exécution de tâche | Qui livre le mieux une petite modification de bout en bout ? | Même spécification, worktree jetable propre à chacun. Tests écrits et exécutés, diff minimal. Le pair relit le diff. Aucun commit. | pair |
| D11Télémétrie | Coût et latence d’un même travail | Tokens et durée réelle par fenêtre de tâche, tirés du journal propre à chaque session, dédoublonnés par id de message. Coût monétaire non estimé. | les deux |
| D12Autocorrection | Qui vérifie avant d’affirmer, et se rétracte proprement ? | Affirmations corrigées ensuite par soi-même vs par le pair ; affirmations non vérifiées relevées. | les deux |
#Étape 2 : la configuration
Trois nouvelles sessions : une session orchestratrice, une sous Opus 5.5, une sous Fable 5.1, ces deux dernières en effort xhigh. L’orchestratrice a reçu un /goal permanent pointant vers le fichier de critères : pour chaque dimension, envoyer le même prompt aux deux instances, collecter les sorties, noter au regard des critères.
L’isolation était tout l’enjeu
- Base de code figée sur un seul commit dans un worktree git en lecture seule.
- Chaque modèle disposait de son propre worktree jetable pour tout ce qui impliquait des modifications.
- Chaque instance écrivait ses résultats dans son propre fichier markdown et ne lisait jamais celui de l’autre.
- Les réponses aux tâches communes étaient scellées : écrites dans un fichier, SHA-256 publié avant la révélation, vérifié après.
- MCP en lecture seule, aucun commit, aucun push, aucun changement d’état.
« Testé » signifie exécuté, avec la commande et la sortie collées. Un test listé n’est pas un test.
La télémétrie provenait du journal jsonl propre à chaque session, pas d’une autodéclaration.
#Le résultat n’est pas un gagnant
C’est une carte : sur ce projet, ce type de tâche revient à ce modèle. Autre projet, autre carte.
La carte de routage
Sur ce projet, ce type de tâche revient à ce modèle. Un seul tour, une seule zone du code. Autre projet, autre carte.
| Type de tâche | Privilégier | Pourquoi |
|---|---|---|
| Recherche rapide et précise de faits dans le code | Opus 5.5 | Même exactitude, moins d’appels d’outils, aucun raté dans le shell. |
| Énumération exhaustive des cas limites / de la résistance aux crashs | Opus 5.5 | Exécute chaque cas. A trouvé la faille fail-open. |
| Revue QA où la preuve compte | Opus 5.5 | Écrit et exécute des sondes, réfute ses propres hypothèses. |
| Repérer la conséquence opérationnelle qu’un diff dissimule | Fable 5.1 | A repéré que la valeur par défaut en prod effectuait des lectures en base à chaque fin de match sans rien écrire. |
| Décision d’incident dans un cadre de règles | l’un ou l’autreOpus | Les deux corrects. Opus pour la préservation des preuves : py-spy d’abord, validation explicite obligatoire. |
| Petit livrable de bout en bout | OpusFable | Opus pour le respect des conventions et des diffs fidèles à la spécification. Fable pour la robustesse de la CLI. |
| Long build en plusieurs étapes sur de nombreux fichiers | Fable 5.1 | Un tiers des tours, regroupement plus poussé, environ 15 % de tokens de sortie en plus. |
| Recherche MCP / web | l’un ou l’autre | Les deux exacts et en lecture seule. |
Et la carte ne reste pas sur le papier. Claude Code permet d’attribuer un modèle à chaque agent : un agent de revue QA sur un modèle, un agent de long build multifichier sur un autre, un agent de recherche rapide sur un troisième. Chaque ligne de la carte devient un fichier d’agent, et le routage est imposé par le harnais plutôt que par la mémoire.
#Où se trouve le gain
Vous cessez de dépenser le modèle le plus cher sur des tâches qu’un modèle moins coûteux gère tout aussi bien, et vous cessez de confier une tâche difficile à un modèle qui va y brûler des tours.
Chaque token va au modèle qui le convertit le mieux sur votre projet. Un meilleur résultat, moins d’appels inutiles, un coût réduit, et tout se relance le jour où le prochain modèle sort.
Publié d’abord sur X · 28 sept. 2026Écrit par Marchis Rares-Bogdan
