Toutes les notes5 min de lectureArticle

Comparer Opus 5.5 et Fable 5.1 sur un vrai projet

À chaque sortie d’un nouveau modèle, tout le monde se jette sur le tableau des benchmarks. Je l’ai fait trop longtemps sans en tirer quoi que ce soit d’exploitable. Un classement vous dit quel modèle a obtenu le meilleur score sur les tâches de quelqu’un d’autre. Il ne vous dit pas auquel confier un refactoring riche en appels d’outils, une passe de QA sur un diff risqué ou une tâche de recherche dans votre propre base de code.

Mon hypothèse de départ : deux modèles ne se classent pas de la même façon sur tous les projets. Celui qui l’emporte dépend de la nature des tâches, des conventions et du contexte que votre dépôt charge dans chaque session. Un score global gomme tout cela dans une moyenne. La seule comparaison qui m’aide est donc celle qui tourne sur mon dépôt, avec des critères que je définis.

#Pourquoi c’est possible maintenant

Les sessions Claude Code peuvent communiquer entre elles. Chaque terminal qui exécute Claude reçoit un nom de session, et n’importe quelle session peut envoyer un message directement à une autre. Quelques terminaux deviennent ainsi un petit système multi-agents, sans aucune infrastructure supplémentaire.

#Étape 1 : les critères

J’ai ouvert une session Claude et défini avec elle ce qui fait réellement l’utilité d’un modèle sur un projet : la précision et la vitesse de recherche dans le code, l’énumération des cas limites, le rappel sans outils, les décisions selon les règles propres au dépôt, la QA sur un vrai commit, l’orchestration d’outils, l’usage de MCP, la recherche, la livraison de bout en bout d’une petite modification, la télémétrie des tokens et l’autocorrection.

Nous avons affiné le tout en un seul fichier markdown : 12 dimensions, chacune avec une question, une méthode de mesure et un évaluateur désigné. Ce fichier est le contrat, et il reste réutilisable le jour où le prochain modèle sortira.

Le fichier de critères

12 dimensions. Chacune a une question, une méthode de mesure et un évaluateur désigné. L’auteur d’une tâche n’est jamais noté sur elle ; les tâches communes sont scellées.

DimQuestionMode de mesureNoté par
D1Recherche + vitesseQui trouve plus vite et sans erreur des faits précis dans le code ?Tâches à réponse unique (fichier:ligne + valeur). Temps et appels d’outils tirés du journal de session, pas autodéclarés.auteur · clé scellée
D2Cas limitesQui recense le plus de vrais cas limites pour une fonction donnée ?Chaque cas est vérifié par le pair : réel, distinct, couvert ou non par les tests existants. −1 par cas inventé.pair
D3Mémoire / rappelQui se souvient des faits du projet sans outils ?Réponse de mémoire, déclarée, puis vérifiée dans le source. Une réponse recherchée vaut 0.pair
D4DécisionsQui décide le mieux dans un scénario réaliste ?Scénario → décision, ordre, refus, vérifications. Noté sur la conformité aux règles propres au dépôt et sur les risques identifiés.pair · cite la règle
D5QAQui trouve le plus de vrais défauts dans un vrai diff ?Revue d’un commit de l’historique ; constats vérifiés dans le code ; le plan de test hors ligne doit être exécuté. Puis une campagne de mutants commune.pair
D6ExplicationsQui explique le pourquoi, pas seulement le quoi ?Qualitatif. Une phrase par élément, pas de note chiffrée.les deux
D7Orchestration d’outilsQui exploite le mieux le harnais ?Tâche en fan-out avec un agrégat vérifiable. Durée réelle, appels d’outils, sous-agents, appels inutiles, audités à partir du journal.pair
D8Usage de MCPQui utilise les serveurs MCP correctement et sans risque ?Tâches Jira / Confluence en lecture seule avec réponses vérifiables. Gestion des erreurs comptabilisée. Aucune écriture.auteur
D9RechercheQui recherche le mieux des faits externes ?Questions vérifiables par les sources. URL obligatoires ; le pair vérifie les sources ; affirmations non étayées pénalisées.pair
D10Exécution de tâcheQui livre le mieux une petite modification de bout en bout ?Même spécification, worktree jetable propre à chacun. Tests écrits et exécutés, diff minimal. Le pair relit le diff. Aucun commit.pair
D11TélémétrieCoût et latence d’un même travailTokens et durée réelle par fenêtre de tâche, tirés du journal propre à chaque session, dédoublonnés par id de message. Coût monétaire non estimé.les deux
D12AutocorrectionQui vérifie avant d’affirmer, et se rétracte proprement ?Affirmations corrigées ensuite par soi-même vs par le pair ; affirmations non vérifiées relevées.les deux

#Étape 2 : la configuration

Trois nouvelles sessions : une session orchestratrice, une sous Opus 5.5, une sous Fable 5.1, ces deux dernières en effort xhigh. L’orchestratrice a reçu un /goal permanent pointant vers le fichier de critères : pour chaque dimension, envoyer le même prompt aux deux instances, collecter les sorties, noter au regard des critères.

L’isolation était tout l’enjeu

  • Base de code figée sur un seul commit dans un worktree git en lecture seule.
  • Chaque modèle disposait de son propre worktree jetable pour tout ce qui impliquait des modifications.
  • Chaque instance écrivait ses résultats dans son propre fichier markdown et ne lisait jamais celui de l’autre.
  • Les réponses aux tâches communes étaient scellées : écrites dans un fichier, SHA-256 publié avant la révélation, vérifié après.
  • MCP en lecture seule, aucun commit, aucun push, aucun changement d’état.

« Testé » signifie exécuté, avec la commande et la sortie collées. Un test listé n’est pas un test.

La télémétrie provenait du journal jsonl propre à chaque session, pas d’une autodéclaration.

#Le résultat n’est pas un gagnant

C’est une carte : sur ce projet, ce type de tâche revient à ce modèle. Autre projet, autre carte.

La carte de routage

Sur ce projet, ce type de tâche revient à ce modèle. Un seul tour, une seule zone du code. Autre projet, autre carte.

Type de tâchePrivilégierPourquoi
Recherche rapide et précise de faits dans le codeOpus 5.5Même exactitude, moins d’appels d’outils, aucun raté dans le shell.
Énumération exhaustive des cas limites / de la résistance aux crashsOpus 5.5Exécute chaque cas. A trouvé la faille fail-open.
Revue QA où la preuve compteOpus 5.5Écrit et exécute des sondes, réfute ses propres hypothèses.
Repérer la conséquence opérationnelle qu’un diff dissimuleFable 5.1A repéré que la valeur par défaut en prod effectuait des lectures en base à chaque fin de match sans rien écrire.
Décision d’incident dans un cadre de règlesl’un ou l’autreOpusLes deux corrects. Opus pour la préservation des preuves : py-spy d’abord, validation explicite obligatoire.
Petit livrable de bout en boutOpusFableOpus pour le respect des conventions et des diffs fidèles à la spécification. Fable pour la robustesse de la CLI.
Long build en plusieurs étapes sur de nombreux fichiersFable 5.1Un tiers des tours, regroupement plus poussé, environ 15 % de tokens de sortie en plus.
Recherche MCP / webl’un ou l’autreLes deux exacts et en lecture seule.

Et la carte ne reste pas sur le papier. Claude Code permet d’attribuer un modèle à chaque agent : un agent de revue QA sur un modèle, un agent de long build multifichier sur un autre, un agent de recherche rapide sur un troisième. Chaque ligne de la carte devient un fichier d’agent, et le routage est imposé par le harnais plutôt que par la mémoire.

#Où se trouve le gain

Vous cessez de dépenser le modèle le plus cher sur des tâches qu’un modèle moins coûteux gère tout aussi bien, et vous cessez de confier une tâche difficile à un modèle qui va y brûler des tours.

Chaque token va au modèle qui le convertit le mieux sur votre projet. Un meilleur résultat, moins d’appels inutiles, un coût réduit, et tout se relance le jour où le prochain modèle sort.

Publié d’abord sur X · 28 sept. 2026Écrit par Marchis Rares-Bogdan

Vous ne savez pas encore où l’IA a sa place ? C’est là que nous commençons.