Banc d'essai des modèles
Le catalogue de l’API (GET /v1/pricing) porte des chiffres mesurés par notre propre banc d’essai, et non un score
de benchmark public. Le sélecteur de modèle ne les affiche pas : sa fiche s’en tient au prix, aux capacités
et à une présentation de l’usage, que votre organisation peut réécrire. Cette page explique ce qui est mesuré, comment, ce que ça ne
mesure pas, les résultats du dernier relevé et ce que nous recommandons.
Pourquoi un banc maison
Section intitulée « Pourquoi un banc maison »Les benchmarks publics mesurent des exercices académiques sur des modèles nus. Ce que vous demandez au produit est autre chose : lire vos bases, filtrer sur vos facettes, appeler vos connecteurs, produire un classeur, chercher sur le web, et conclure sans inventer. Un modèle peut exceller aux premiers et échouer aux seconds. Nous mesurons donc les modèles sur le produit lui-même, avec ses outils, tous sur le même travail, le même jour, ce qui rend les chiffres comparables entre eux.
Trois règles tiennent l’instrument :
- Des faits, pas un jugement. Chaque cas est noté sur des jalons vérifiables (un montant exact, une période bien bornée, une source réellement consultée, l’absence d’invention), calculés à l’avance par le générateur du corpus. Aucun modèle ne note un autre modèle : un juge automatique apporterait sa propre variance dans l’instrument.
- Une source muette n’est pas un zéro. Si une base ne répond pas ou si un appel échoue pour une raison réseau, la question sort du dénominateur au lieu d’être comptée fausse. Un banc qui compte des pannes comme des fautes publie le réseau, pas le modèle.
- Le coût est celui qui a été facturé, lu dans les journaux de dépense, remise de cache comprise. Le tarif affiché ne prédit pas la facture : un modèle qui enchaîne les outils sans se borner coûte plusieurs fois un modèle affiché plus cher.
Ce qui est mesuré
Section intitulée « Ce qui est mesuré »Le banc documentaire (answered / of)
Section intitulée « Le banc documentaire (answered / of) »Dix questions posées sur une base de suivi de participations, avec outils, dont les
réponses sont lues en base de données avant de poser la question. Il mesure un
plancher : savoir trouver un fait dans une base quand on a les outils pour le faire.
Tout le catalogue y est à 8 sur 10 ou plus ; il ne départage donc presque plus, et
c’est une bonne nouvelle. Une des dix questions n’a pas de réponse dans la base :
c’est elle qui donne la colonne abstains, le modèle dit qu’il ne sait pas (true) ou
il invente une réponse (false).
Le banc complexe (complex)
Section intitulée « Le banc complexe (complex) »Huit cas sur un corpus de 889 documents générés (factures et avoirs, comptes rendus de suivi, fiches CRM, une fausse API de paiements), construit avec des pièges connus : homonymes, avoir à déduire, période à cheval sur deux exercices, affirmation fausse glissée dans la question, absence de compte rendu, contradiction entre le chiffré et le qualitatif. Les cas :
| Cas | Ce qu’il exerce |
|---|---|
| Montant et capacité à payer | agréger sur une période, croiser deux bases, conclure |
| Homonymes | distinguer deux structures au nom voisin |
| Période à cheval | borner sur l’exercice comptable, pas l’année civile |
| Prémisse fausse | corriger ce que la question affirme au lieu de le reprendre |
| Conclusion impossible | dire qu’il n’y a pas de compte rendu plutôt que d’en inventer un |
| Palmarès agrégé | un classement par somme, exact au centime |
| Classeur Excel | produire un fichier, relu octet par octet (feuille, en-têtes, types, aucune formule, ligne de total) |
| Recherche web | chercher, ouvrir une page et citer son adresse |
Trente et un jalons au total. C’est ce banc qui départage : de 17 à 30 jalons sur le même travail, pour des coûts de 0,03 € à 0,44 € et des durées de 40 secondes à 12 minutes. Le budget est de huit tours d’outils par cas : au-delà, la plupart des modèles se dégradent au lieu de s’améliorer.
La fidélité au contexte
Section intitulée « La fidélité au contexte »Un troisième protocole joue des questions deux fois, avec puis sans le document qui porte la réponse, et lit le couple usage (sait-il lire ce qu’on lui donne ?) et abstention (sait-il dire qu’il ne sait pas ?). Une seule des deux colonnes ne prouve rien : un modèle qui répond toujours « je ne sais pas » a 100 % d’abstention et ne sert à rien. Ce relevé nourrit nos recommandations pour les usages documentaires.
Ce que le banc ne mesure pas
Section intitulée « Ce que le banc ne mesure pas »- La qualité d’écriture (style, ton, concision). Elle se juge à l’usage, et les personnalités la règlent mieux qu’un choix de modèle.
- La variance. Chaque chiffre est une exécution par modèle. À température zéro, les fournisseurs ne sont pas déterministes : un écart d’un jalon entre deux modèles n’est pas significatif, les écarts de coût et de durée le sont largement.
- Vos données. Le corpus est représentatif d’un usage de suivi et de facturation ; un usage très différent mérite un essai sur vos propres cas, que le bac à sable du portail permet en quelques minutes.
Relevé du 9 septembre 2026
Section intitulée « Relevé du 9 septembre 2026 »Quinze modèles de chat, budget de huit tours, toutes capacités actives (fichiers, recherche web). Coût = ce qui a été facturé pour les huit cas complexes.
| Modèle | Documentaire | S’abstient | Cas complexes | Coût | Durée | Images |
|---|---|---|---|---|---|---|
gemma |
10 / 10 | oui | 30 / 31 | 0,12 € | 3 min | oui |
qwen-27b |
10 / 10 | oui | 30 / 31 | 0,37 € | 12 min | oui |
gpt-oss |
10 / 10 | oui | 29 / 31 | 0,06 € | 4 min | non |
qwen-large |
10 / 10 | oui | 29 / 31 | 0,27 € | 2 min | oui |
qwen-small |
10 / 10 | oui | 29 / 31 | 0,24 € | 5 min | oui |
qwen-9b |
9 / 10 | non | 29 / 31 | 0,06 € | 8 min | oui |
mistral-medium |
10 / 10 | oui | 28 / 31 | 0,44 € | 2 min | oui |
mistral-large |
9 / 10 | oui | 27 / 31 | 0,11 € | 2 min | oui |
ministral-14b |
10 / 10 | oui | 27 / 31 | 0,04 € | 2 min | oui |
ministral-8b |
9 / 10 | non | 27 / 31 | 0,04 € | 2 min | oui |
mistral-small |
9 / 10 | oui | 25 / 31 | 0,03 € | 53 s | oui |
gpt-oss-20b |
10 / 10 | oui | 25 / 31 | 0,03 € | 9 min | non |
codestral |
8 / 10 | oui | 24 / 31 | 0,04 € | 40 s | non |
llama-70b |
8 / 10 | non | 21 / 31 | 0,43 € | 2 min | non |
ministral |
9 / 10 | oui | 17 / 31 | 0,05 € | 3 min | non |
Ajout du 15 septembre 2026 — deepseek-v4-flash
Section intitulée « Ajout du 15 septembre 2026 — deepseek-v4-flash »Ce modèle a rejoint le catalogue après la passe ci-dessus. Il a été mesuré avec le même script, le même corpus et les mêmes jalons, mais lors d’une exécution distincte : un écart d’un jalon avec le tableau précédent ne se lit donc pas comme un classement.
| Modèle | Documentaire | S’abstient | Cas complexes | Coût | Durée | Images |
|---|---|---|---|---|---|---|
deepseek-v4-flash |
10 / 10 | oui | 29 / 31 | 0,19 € | 86 s | non |
Ce qui le distingue : il est rapide. Les autres modèles qui atteignent 29 jalons ou plus mettent de deux à douze minutes sur ces huit cas ; il les a traités en une minute et demie.
Ses deux limites, à connaître avant de le choisir : il ne lit pas les images, et il
coûte plus cher que gemma pour un jalon de moins. Les deux jalons qu’il manque sont
ceux que personne n’atteint (source-paiements, hors d’atteinte sur notre banc) ou que
peu atteignent (pas-le-montant-de-l-homonyme).
Ajout du 13 octobre 2026 : glm
Section intitulée « Ajout du 13 octobre 2026 : glm »GLM 5.3 (Z.ai), hébergé par Mistral sur son endpoint régional UE, rejoint le catalogue pour sa fenêtre d’un million de tokens. La version précédente, GLM 5.2, avait été retirée fin août : sur ce même banc, elle enchaînait jusqu’à 90 appels d’outils sur une seule question. La 5.3 a donc été rejouée avant de revenir, avec le même script, le même corpus et les mêmes jalons : sept appels d’outils au plus sur une question.
| Modèle | Documentaire | S’abstient | Cas complexes | Coût | Durée | Images |
|---|---|---|---|---|---|---|
glm |
10 / 10 | oui | 27 / 31 | 0,36 € | 4 min | non |
Ce qui le distingue est ailleurs : c’est le premier modèle servi en UE dont nous ayons mesuré
un contexte au-delà de 262 000 tokens (glm-flash et mistral-large-4, ajoutés le
23 octobre 2026, annoncent un million de tokens sans mesure de notre part ;
deepseek-v41-flash-ue, ajouté le 16 novembre 2026, a été mesuré à son tour, voir plus bas). Nous avons mesuré jusqu’où cette fenêtre se lit vraiment ;
le détail est dans Modèles & pricing. En bref : fiable jusqu’à
300 000 tokens environ, puis une valeur précise demandée au milieu du contexte revient
de plus en plus souvent fausse, sans avertissement.
Ses limites, à connaître avant de le choisir : il ne lit pas les images, il
réfléchit toujours avant de répondre (le raisonnement ne se coupe pas, il est
facturé en sortie, et un max_tokens trop serré rend une réponse vide), et son prix
d’entrée est parmi les plus élevés du catalogue souverain. Son cache d’entrée, facturé
10 %, compense sur une conversation longue : sur les dix questions documentaires,
il a coûté 0,23 €, contre 0,29 € pour mistral-medium dans la même passe.
Ajout du 23 octobre 2026 : glm-flash
Section intitulée « Ajout du 23 octobre 2026 : glm-flash »GLM 5.3 Flash (Z.ai), version allégée de GLM 5.3, hébergée elle aussi par Mistral sur son
endpoint régional UE, rejoint le catalogue avec Mistral Large 4. Il a été passé aux deux
bancs avec deepseek-v4-flash et gemma pour témoins, dans la même passe. Le banc des
cas complexes compte désormais onze cas et 51 jalons (huit cas et 31 jalons auparavant) :
ces chiffres ne se comparent qu’entre eux.
| Modèle | Documentaire | S’abstient | Cas complexes | Montants non sourcés | Coût des cas complexes | Durée | Images |
|---|---|---|---|---|---|---|---|
gemma |
9 / 10 | 46 / 51 | 0 | 0,27 € | 6 min | oui | |
deepseek-v4-flash |
10 / 10 | oui | 44 / 51 | 2 | 0,39 € | 8 min | non |
glm-flash |
10 / 10 | oui | 40 / 51 | 19 | 0,15 € | 5 min | oui |
glm-flash est le moins cher et le plus rapide des trois, et il lit les images. Mais il
avance des montants qu’aucune source consultée ne porte : 19 sur les onze cas, contre
2 pour deepseek-v4-flash et aucun pour gemma. C’est ce qui a fait retenir gemma comme
modèle par défaut de Miraca le même jour. mistral-large-4 n’a pas encore été passé aux
bancs.
Ajout du 16 novembre 2026 : deepseek-v41-flash-ue
Section intitulée « Ajout du 16 novembre 2026 : deepseek-v41-flash-ue »DeepSeek V4.1 Flash, la génération qui suit deepseek-v4-flash, hébergée par Mistral sur
son endpoint régional UE. Il a été passé aux deux bancs avec trois témoins dans la même
passe, sur les mêmes onze cas et 51 jalons.
| Modèle | Documentaire | S’abstient | Cas complexes | Montants non sourcés | Coût des cas complexes | Durée | Images |
|---|---|---|---|---|---|---|---|
deepseek-v41-flash-ue |
10 / 10 | oui | 47 / 51 | 1 | 0,23 € | 2 min 30 | oui |
deepseek-v4-flash |
10 / 10 | oui | 46 / 51 | 0 | 0,36 € | 4 min | non |
gemma |
non rejoué | 44 / 51 | 7 | 0,15 € | 7 min | oui | |
glm-flash |
10 / 10 | oui | 42 / 51 | 4 | 0,10 € | 6 min | oui |
Une seconde exécution de deepseek-v41-flash-ue a rendu 46 / 51 en moins de deux minutes,
avec 4 montants non sourcés. Les écarts de deux ou trois jalons entre modèles, et le
compte de montants non sourcés, varient d’une passe à l’autre (gemma en avait 0 le
23 octobre, 7 ici) : ce qui tient d’une passe à l’autre, c’est la vitesse et le
coût. À justesse égale avec deepseek-v4-flash, la V4.1 répond environ deux fois plus
vite pour 40 % de moins, lit les images, et accepte un million de tokens. Sur notre
relevé de cette fenêtre, une valeur précise est retrouvée juste jusqu’à 640 000 tokens
environ, fausse au-delà.
Trois enseignements à retenir avant de choisir :
- On ne paie pas plus cher pour être juste.
gemmaetgpt-ossfont partie des meilleurs et des moins chers ;mistral-mediumetllama-70bsont parmi les plus chers pour un résultat inférieur. - La vitesse et la fiabilité ne vont pas ensemble. Les plus rapides
(
codestral,mistral-small) rendent moins de jalons ; les plus fiables prennent deux à douze minutes sur huit cas. Une surface interactive et une tâche programmée n’ont pas le même bon choix. - Trois modèles inventent quand ils ne savent pas (
qwen-9b,ministral-8b,llama-70b). Sur un usage documentaire, c’est plus grave qu’un jalon manqué : la réponse fausse arrive avec l’assurance d’une réponse juste.
Nos recommandations
Section intitulée « Nos recommandations »| Usage | Recommandé | Alternative | À éviter |
|---|---|---|---|
| Discussion, questions simples, essais de l’API | mistral-small (rapide, le moins cher, lit les images) |
gpt-oss si le prix prime sur la latence |
|
| Analyse qui doit être juste : croiser des bases, enchaîner des outils, produire un fichier | gemma (30 / 31, s’abstient, images, 0,12 €) |
deepseek-v4-flash si le temps de réponse compte (29 / 31 en 86 s), qwen-small ou qwen-large |
ministral, llama-70b |
| Tâche programmée, traitement de volume | gpt-oss (29 / 31 pour 0,06 €, lent mais personne n’attend) |
gemma |
gpt-oss-20b (le plus lent) |
| Veille et rapports documentaires | un modèle qui s’abstient : gemma, gpt-oss, qwen-small |
qwen-9b, ministral-8b, llama-70b |
|
| Lecture d’images | gemma, mistral-small |
qwen-small |
gpt-oss, codestral, llama-70b, deepseek-v4-flash, glm (texte seul) |
| Très long document ou dossier, au-delà de 262 000 tokens | glm (mesuré en UE jusqu’à un million) |
deepseek-v41-flash-ue (mesuré juste jusqu’à 640 000 tokens environ), glm-flash ou mistral-large-4, qui annoncent un million sans mesure de notre part, ou une base de connaissance dès qu’il faut retrouver des valeurs précises |
les autres modèles servis en UE, qui s’arrêtent à 262 000 tokens |
| Génération de code | codestral |
gemma |
|
| Routage, classification, réponses très courtes | ministral (le moins cher) |
ministral-14b |
|
| Rester chez Mistral sur une demande complexe | mistral-large ou ministral-14b |
mistral-medium si le coût n’est pas un sujet |
Le modèle par défaut de l’assistant est gemma ; un administrateur d’organisation
peut en choisir un autre dans la politique de l’assistant, et restreindre la liste
proposée aux utilisateurs.
Lire une fiche
Section intitulée « Lire une fiche »Dans GET /v1/pricing (bloc bench) :
answeredsurof: réponses justes du banc documentaire, en compte et jamais en note, le compte montre sa granularité ;cost_euretseconds: coût réel et durée de ce banc ;abstains: sur la question sans réponse, il le dit (true) ou il invente ;complex.answeredsurcomplex.of,complex.cost_eur,complex.seconds: le banc complexe ;date: le jour de la mesure. Un catalogue bouge, une mesure vieillit.
null veut dire non évalué, jamais « mauvais » : un modèle qui vient d’entrer au
catalogue n’a pas encore été mesuré.
Quand et comment nous le rejouons
Section intitulée « Quand et comment nous le rejouons »Le banc est rejoué à chaque changement de la mécanique agentique, à chaque entrée ou changement d’hébergeur d’un modèle (un prix porte un déploiement, pas des poids : un même modèle chez deux hébergeurs peut se comporter différemment), et une fois par mois sans autre motif. Une passe complète coûte quelques euros et moins d’une heure ; les fiches sont mises à jour dans la foulée, avec la date du relevé.