# J’ai interrogé une IA sur des médicaments et je lui ai fait prouver chaque phrase

Un chat sur les notices de médicaments de l’UE qui répond en roumain, cite le texte officiel et dit « Je ne sais pas » quand il le faut.

- Auteur : Marchis Rares-Bogdan (https://www.linkedin.com/in/marchis-rares-464245177/)
- Publié : 2026-10-20
- Genre : Démo en direct
- Démo : https://prove-every-sentence.x2labs.ai/?embed=1 (En direct : le vrai chat sur 450 notices de l’EMA. Chaque réponse est une recherche en direct ; ce que vous tapez est envoyé à Claude. Jusqu’à 20 questions par visiteur et par jour.)
- Page : https://x2labs.ai/fr/notes/prove-every-sentence

**En bref**

- **La question :** un modèle de langage peut-il répondre à des questions sur les médicaments sans jamais dire quelque chose que les documents officiels ne disent pas ?
- **Ce que j’ai construit :** un chat sur les notices de l’Agence européenne des médicaments, où du code vérifie chaque phrase par rapport à la source, mot pour mot, avant que vous ne la voyiez.
- **Le résultat :** sur 60 questions de test, Claude seul a cité 2 fois un texte qui ne figure pas dans le document et a répondu à 2 des 6 questions pièges qui lui ont été soumises. Après la vérification : 0 et 0, sans perdre aucune réponse correcte.
- **Mon avis :** ce n’est pas le modèle qui rend tout cela fiable. C’est la vérification. Prochaine étape : je remplace Claude par un modèle qui tourne sur notre propre serveur, pour que rien n’en sorte.

Posez à un chatbot une question sur la dose maximale d’un médicament et vous obtiendrez une réponse assurée et bien rédigée. Savoir si elle est juste est une autre question, et en médecine, cette question est tout l’enjeu. Une mauvaise dose est pire que pas de réponse du tout.

Les médecins et les pharmaciens en Roumanie ont déjà les bonnes réponses. Elles se trouvent dans les [informations sur les produits de l’Agence européenne des médicaments](https://www.ema.europa.eu/en/medicines) : de longs PDF, rédigés pour les autorités de réglementation, pénibles à fouiller un jour de grande affluence. Je voulais donc savoir une chose simple : pouvais-je placer un chat au-dessus de ces documents qui ne dise jamais, pas une seule fois, quoi que ce soit que les documents ne disent pas ?

Ce n’est pas seulement un problème médical. C’est ce que j’entends le plus souvent de la part des entreprises en ce moment. Elles veulent des réponses tirées de leurs propres documents, des réponses fiables, sans que leurs données disparaissent dans le système de quelqu’un d’autre. Il se trouve simplement que la médecine est le domaine où une mauvaise réponse est la plus facile à repérer, et la plus difficile à pardonner.

## Comment ça marche

J’ai commencé par lui fournir 450 médicaments autorisés dans toute l’UE, d’Abasaglar à Fabrazyme : des dizaines de milliers de pages de PDF en roumain, découpées en passages. Chaque passage reste à l’intérieur d’une seule section de son document, pour que « Doses » ne déborde jamais sur « Contre-indications ».

Ensuite, chaque fois que quelqu’un pose une question, quatre choses se produisent :

1. **Il cherche les bons passages,** de deux façons à la fois : par le sens, avec une recherche vectorielle utilisant le modèle [BAAI/bge-m3](https://huggingface.co/BAAI/bge-m3), et par les mots exacts, avec la [recherche plein texte de Postgres](https://www.postgresql.org/docs/current/textsearch.html). Les diacritiques roumains sont neutralisés, si bien que quelqu’un qui tape « contraindicatii » sur un téléphone trouve quand même « contraindicații ». Si vous nommez un médicament, il ne cherche que dans les documents de ce médicament.
2. **Il retient les cinq meilleurs.** Un petit modèle de classement, [BAAI/bge-reranker-base](https://huggingface.co/BAAI/bge-reranker-base), lit les meilleurs candidats et garde les cinq qui répondent le mieux à la question. Si même le meilleur passage est à peine pertinent, il s’arrête là et refuse, et rien n’est envoyé à Claude.
3. **Claude rédige la réponse.** Claude Haiku 4.5 reçoit votre question et ces cinq passages, et rien d’autre. Il doit joindre à chaque phrase qu’il écrit le texte exact qu’il cite.
4. **Du code vérifie chaque citation, sans exception.** C’est la partie qui m’importe. Du code, et non le modèle, cherche chaque citation dans son passage, mot pour mot. Si une citation n’y figure pas, la phrase est supprimée avant que vous ne la voyiez. Si rien ne subsiste, vous obtenez une phrase fixe : « Nu am găsit această informație în documente. »

La recherche tourne sur notre propre serveur. La seule chose qui sort, ce sont votre question et ces cinq passages, en route vers Claude, et chaque requête est journalisée avant d’être envoyée.

**Essayez :** demandez « Ce contraindicații are Abilify? » Puis demandez « Cât costă Abilify în farmaciile din România? » et regardez-le refuser, parce que la notice ne le dit tout simplement pas. Ouvrez « Detalii de verificare » sous n’importe quelle réponse pour voir exactement ce qui a été vérifié.

![Capture d’écran du chat répondant à « Cum se păstrează Abasaglar după prima utilizare? » avec trois phrases vérifiées, le passage de la notice d’Abasaglar dont elles proviennent, chaque citation surlignée, et les détails de vérification en dessous : 30 passages candidats, 5 retenus, 3 affirmations confirmées, 0 supprimée](https://x2labs.ai/_astro/abasaglar-app-screenshot.DWKt5KxO_Z23DcGv.webp)

*Capture d’écran de l’application : un exemple de réponse enregistré, généré par le vrai pipeline le 13 octobre 2026. Le texte surligné est ce que le code a trouvé dans le passage, mot pour mot. Texte source : informations sur le produit de l’EMA pour Abasaglar.*

## Comment je l’ai testé

J’ai rédigé 60 questions de test de deux types. 46 d’entre elles ont une vraie réponse quelque part dans les documents : doses, effets indésirables, conservation d’un stylo d’insuline une fois ouvert. Les 14 autres sont des pièges : des médicaments qui n’y figurent pas, comme Nurofen, des questions sur les prix et le remboursement, un médicament à usage humain demandé pour des chats, et deux ou trois questions sur le football et les sarmale.

Pour chaque question, j’ai vérifié trois choses. La recherche a-t-elle trouvé le document du bon médicament ? La réponse contenait-elle le fait attendu ? Et pour les pièges, a-t-il refusé au lieu d’inventer quelque chose ?

Puis j’ai fait tourner l’ensemble deux fois, sur notre serveur, le 12 octobre 2026, avec Claude Haiku 4.5 (claude-haiku-4-5-20251001) : une fois en regardant ce que Claude avait écrit seul, et une fois en regardant ce que le lecteur voit réellement après la vérification. C’est cette comparaison qui est intéressante.

**Les mêmes 60 questions, passées deux fois**

Sur notre serveur, 12 octobre 2026, Claude Haiku 4.5.

| Ce que j’ai compté                         | Claude seul                        | Après la vérification |
| ------------------------------------------ | ---------------------------------- | --------------------- |
| Phrases citant un texte absent du document | 2 sur 61                           | 0 sur 59              |
| Questions pièges ayant reçu une réponse    | 2 sur les 6 qui lui sont parvenues | 0 sur 14              |
| Réponses contenant le fait attendu         | 46 sur 46                          | 46 sur 46             |

8 des 14 pièges ne sont jamais parvenus à Claude : Nurofen, Augmentin, les sarmale et la question sur le football ont obtenu des scores si faibles dans la recherche que le serveur les a refusés de lui-même. Claude a vu les 6 autres et a répondu à 2 d’entre eux.

Même un bon modèle, faisant de son mieux, a parfois cité une phrase qui ne figure pas dans le document ou répondu à un piège sans aucun fondement. C’est rare, mais en médecine, rare ne suffit pas. Avec la vérification en place, chacun de ces écarts a été intercepté, et aucune réponse correcte n’a été perdue.

J’ai rédigé les questions avec l’aide de l’IA à partir des documents eux-mêmes, et aucun clinicien ne les a encore relues. C’est donc un test exigeant, pas un examen médical.

## Ce qui a mal tourné en chemin

**Mon premier modèle de classement était bien trop lent.** Sur mon ordinateur portable, [BAAI/bge-reranker-v2-m3](https://huggingface.co/BAAI/bge-reranker-v2-m3) était instantané. Sur un petit serveur à 2 cœurs, il prenait plus de dix secondes par question (13,4 s en médiane sur les 60 questions de test). Je suis passé à un modèle de classement plus petit, bge-reranker-base, qui examine moins de candidats, et la recherche est descendue à environ 3 secondes (2,96 s en médiane, même serveur, mêmes questions), tout en trouvant toujours le bon document pour les 46 questions ayant une réponse.

**Le même modèle donnait des réponses différentes selon le processeur.** Celui-ci m’a surpris. Pour tenir sur un petit serveur, j’ai compressé les deux modèles, celui de recherche et celui de classement, en 8 bits, je les ai testés sur mon portable, et ils correspondaient aux versions complètes. Sur le processeur du serveur, exactement le même fichier attribuait à certains passages des scores nettement plus bas, assez pour faire sortir la bonne section des cinq premiers, et « Ce contraindicații are Abilify? » a reçu un refus poli qu’il ne méritait pas. La solution pour l’instant est une règle : la meilleure correspondance par mots exacts reste toujours parmi les cinq premiers. La vraie solution consiste à faire tourner le modèle en taille réelle, ce qui exige un serveur plus gros pour rester rapide.

**Les questions vagues, c’était pile ou face.** « Ce știi despre Cialis? » obtenait tantôt une excellente réponse, tantôt un refus, parce que la recherche attrapait la section des mises en garde au lieu de celle qui explique à quoi sert le médicament. Désormais, quand vous nommez un médicament sans rien demander de précis, il cherche « qu’est-ce que c’est et dans quel cas est-il utilisé ».

**Les gens demandent ce qui n’y est pas.** La première chose que tout le monde a tapée, c’était Nurofen. Mais l’EMA ne couvre que les médicaments autorisés dans toute l’UE. Nurofen et le paracétamol sont autorisés pays par pays, ils ne figurent donc pas dans ces documents, et la réponse honnête est un refus.

**Ce qu’il faut pour le faire tourner :** un petit serveur et environ 0,4 centime par question pour Claude (lors du passage du 12 octobre, 52 des 60 questions sont parvenues à Claude et ont consommé 174 403 tokens en entrée et 3 537 en sortie, au prix catalogue de Haiku 4.5 ; les 8 autres ont été refusées sur notre serveur avant tout envoi ; il s’agit uniquement de l’API Claude, pas du serveur). Il n’y a pas de connexion, donc le chat limite le nombre de questions que chaque visiteur, et l’ensemble des visiteurs, peuvent poser par jour, ce qui garde la facture prévisible.

## Ce que cela signifie pour vous

Si votre produit répond à des questions à partir de vos propres documents, l’idée tient en une phrase : laissez le modèle citer, vérifiez les citations dans le code, et faites de « Je ne l’ai pas trouvé » une réponse que vous êtes fier de montrer.

## Mon avis

Ce qui est intéressant dans cette expérience, ce n’est pas l’IA. C’est environ 100 lignes de code tout simple qui refusent de vous montrer une phrase qu’elles ne trouvent pas dans le document. Avec elles, un modèle bon marché et rapide donne des réponses que je serais à l’aise de mettre sous les yeux d’un pharmacien. Sans elles, je ne le ferais pas.

Et cela change la suite. Si c’est la vérification qui rend les réponses fiables, le modèle qui rédige n’a pas besoin d’être le plus gros du marché. La prochaine étape consiste donc à retirer complètement Claude et à faire tourner un modèle ouvert sur notre propre serveur. La recherche y tourne déjà. La rédaction est la dernière chose qui en sort, et une fois que ce ne sera plus le cas, votre question, les documents et la réponse resteront tous au même endroit. La vérification reste exactement telle quelle, donc un modèle local plus petit n’aura droit à aucun passe-droit non plus. Ce que je ne sais pas encore, c’est à quelle fréquence un modèle local citera correctement, et donc à quelle fréquence il devra dire « Je ne sais pas ». C’est ce que montrera la prochaine série de tests.

Ensuite : le reste du catalogue de l’EMA, les notices nationales roumaines pour couvrir les médicaments du quotidien comme Nurofen, et un jeu de tests rédigé et relu par de vrais cliniciens.

Faut-il essayer quelque chose de ce genre ? Si vous répondez à des questions à partir de documents où une phrase fausse a un coût (médecine, droit, assurance, vos propres règles internes), oui. Si vos documents ne contiennent pas les réponses au départ, ce n’est pas la peine. Aucune vérification n’inventera ce qui n’y est pas. Le chat dira simplement « Je ne sais pas » plus souvent, ce qui, il faut l’admettre, vaut quand même mieux que d’inventer.
