Banc d'essai des modèles

Le catalogue de l’API (GET /v1/pricing) porte des chiffres mesurés par notre propre banc d’essai, et non un score de benchmark public. Le sélecteur de modèle ne les affiche pas : sa fiche s’en tient au prix, aux capacités et à une présentation de l’usage, que votre organisation peut réécrire. Cette page explique ce qui est mesuré, comment, ce que ça ne mesure pas, les résultats du dernier relevé et ce que nous recommandons.

Pourquoi un banc maison

Les benchmarks publics mesurent des exercices académiques sur des modèles nus. Ce que vous demandez au produit est autre chose : lire vos bases, filtrer sur vos facettes, appeler vos connecteurs, produire un classeur, chercher sur le web, et conclure sans inventer. Un modèle peut exceller aux premiers et échouer aux seconds. Nous mesurons donc les modèles sur le produit lui-même, avec ses outils, tous sur le même travail, le même jour, ce qui rend les chiffres comparables entre eux.

Trois règles tiennent l’instrument :

Des faits, pas un jugement. Chaque cas est noté sur des jalons vérifiables (un montant exact, une période bien bornée, une source réellement consultée, l’absence d’invention), calculés à l’avance par le générateur du corpus. Aucun modèle ne note un autre modèle : un juge automatique apporterait sa propre variance dans l’instrument.
Une source muette n’est pas un zéro. Si une base ne répond pas ou si un appel échoue pour une raison réseau, la question sort du dénominateur au lieu d’être comptée fausse. Un banc qui compte des pannes comme des fautes publie le réseau, pas le modèle.
Le coût est celui qui a été facturé, lu dans les journaux de dépense, remise de cache comprise. Le tarif affiché ne prédit pas la facture : un modèle qui enchaîne les outils sans se borner coûte plusieurs fois un modèle affiché plus cher.

Ce qui est mesuré

Le banc documentaire (`answered` / `of`)

Dix questions posées sur une base de suivi de participations, avec outils, dont les réponses sont lues en base de données avant de poser la question. Il mesure un plancher : savoir trouver un fait dans une base quand on a les outils pour le faire. Tout le catalogue y est à 8 sur 10 ou plus ; il ne départage donc presque plus, et c’est une bonne nouvelle. Une des dix questions n’a pas de réponse dans la base : c’est elle qui donne la colonne abstains, le modèle dit qu’il ne sait pas (true) ou il invente une réponse (false).

Le banc complexe (`complex`)

Huit cas sur un corpus de 889 documents générés (factures et avoirs, comptes rendus de suivi, fiches CRM, une fausse API de paiements), construit avec des pièges connus : homonymes, avoir à déduire, période à cheval sur deux exercices, affirmation fausse glissée dans la question, absence de compte rendu, contradiction entre le chiffré et le qualitatif. Les cas :

Cas	Ce qu’il exerce
Montant et capacité à payer	agréger sur une période, croiser deux bases, conclure
Homonymes	distinguer deux structures au nom voisin
Période à cheval	borner sur l’exercice comptable, pas l’année civile
Prémisse fausse	corriger ce que la question affirme au lieu de le reprendre
Conclusion impossible	dire qu’il n’y a pas de compte rendu plutôt que d’en inventer un
Palmarès agrégé	un classement par somme, exact au centime
Classeur Excel	produire un fichier, relu octet par octet (feuille, en-têtes, types, aucune formule, ligne de total)
Recherche web	chercher, ouvrir une page et citer son adresse

Trente et un jalons au total. C’est ce banc qui départage : de 17 à 30 jalons sur le même travail, pour des coûts de 0,03 € à 0,44 € et des durées de 40 secondes à 12 minutes. Le budget est de huit tours d’outils par cas : au-delà, la plupart des modèles se dégradent au lieu de s’améliorer.

La fidélité au contexte

Un troisième protocole joue des questions deux fois, avec puis sans le document qui porte la réponse, et lit le couple usage (sait-il lire ce qu’on lui donne ?) et abstention (sait-il dire qu’il ne sait pas ?). Une seule des deux colonnes ne prouve rien : un modèle qui répond toujours « je ne sais pas » a 100 % d’abstention et ne sert à rien. Ce relevé nourrit nos recommandations pour les usages documentaires.

Ce que le banc ne mesure pas

La qualité d’écriture (style, ton, concision). Elle se juge à l’usage, et les personnalités la règlent mieux qu’un choix de modèle.
La variance. Chaque chiffre est une exécution par modèle. À température zéro, les fournisseurs ne sont pas déterministes : un écart d’un jalon entre deux modèles n’est pas significatif, les écarts de coût et de durée le sont largement.
Vos données. Le corpus est représentatif d’un usage de suivi et de facturation ; un usage très différent mérite un essai sur vos propres cas, que le bac à sable du portail permet en quelques minutes.

Relevé du 9 septembre 2026

Quinze modèles de chat, budget de huit tours, toutes capacités actives (fichiers, recherche web). Coût = ce qui a été facturé pour les huit cas complexes.

Modèle	Documentaire	S’abstient	Cas complexes	Coût	Durée	Images
`gemma`	10 / 10	oui	30 / 31	0,12 €	3 min	oui
`qwen-27b`	10 / 10	oui	30 / 31	0,37 €	12 min	oui
`gpt-oss`	10 / 10	oui	29 / 31	0,06 €	4 min	non
`qwen-large`	10 / 10	oui	29 / 31	0,27 €	2 min	oui
`qwen-small`	10 / 10	oui	29 / 31	0,24 €	5 min	oui
`qwen-9b`	9 / 10	non	29 / 31	0,06 €	8 min	oui
`mistral-medium`	10 / 10	oui	28 / 31	0,44 €	2 min	oui
`mistral-large`	9 / 10	oui	27 / 31	0,11 €	2 min	oui
`ministral-14b`	10 / 10	oui	27 / 31	0,04 €	2 min	oui
`ministral-8b`	9 / 10	non	27 / 31	0,04 €	2 min	oui
`mistral-small`	9 / 10	oui	25 / 31	0,03 €	53 s	oui
`gpt-oss-20b`	10 / 10	oui	25 / 31	0,03 €	9 min	non
`codestral`	8 / 10	oui	24 / 31	0,04 €	40 s	non
`llama-70b`	8 / 10	non	21 / 31	0,43 €	2 min	non
`ministral`	9 / 10	oui	17 / 31	0,05 €	3 min	non

Ajout du 15 septembre 2026 — `deepseek-v4-flash`

Ce modèle a rejoint le catalogue après la passe ci-dessus. Il a été mesuré avec le même script, le même corpus et les mêmes jalons, mais lors d’une exécution distincte : un écart d’un jalon avec le tableau précédent ne se lit donc pas comme un classement.

Modèle	Documentaire	S’abstient	Cas complexes	Coût	Durée	Images
`deepseek-v4-flash`	10 / 10	oui	29 / 31	0,19 €	86 s	non

Ce qui le distingue : il est rapide. Les autres modèles qui atteignent 29 jalons ou plus mettent de deux à douze minutes sur ces huit cas ; il les a traités en une minute et demie.

Ses deux limites, à connaître avant de le choisir : il ne lit pas les images, et il coûte plus cher que gemma pour un jalon de moins. Les deux jalons qu’il manque sont ceux que personne n’atteint (source-paiements, hors d’atteinte sur notre banc) ou que peu atteignent (pas-le-montant-de-l-homonyme).

Ajout du 13 octobre 2026 : `glm`

GLM 5.3 (Z.ai), hébergé par Mistral sur son endpoint régional UE, rejoint le catalogue pour sa fenêtre d’un million de tokens. La version précédente, GLM 5.2, avait été retirée fin août : sur ce même banc, elle enchaînait jusqu’à 90 appels d’outils sur une seule question. La 5.3 a donc été rejouée avant de revenir, avec le même script, le même corpus et les mêmes jalons : sept appels d’outils au plus sur une question.

Modèle	Documentaire	S’abstient	Cas complexes	Coût	Durée	Images
`glm`	10 / 10	oui	27 / 31	0,36 €	4 min	non

Ce qui le distingue est ailleurs : aucun autre modèle servi en UE n’accepte plus de 262 000 tokens de contexte. Nous avons mesuré jusqu’où cette fenêtre se lit vraiment ; le détail est dans Modèles & pricing. En bref : fiable jusqu’à 300 000 tokens environ, puis une valeur précise demandée au milieu du contexte revient de plus en plus souvent fausse, sans avertissement.

Ses limites, à connaître avant de le choisir : il ne lit pas les images, il réfléchit toujours avant de répondre (le raisonnement ne se coupe pas, il est facturé en sortie, et un max_tokens trop serré rend une réponse vide), et son prix d’entrée est parmi les plus élevés du catalogue souverain. Son cache d’entrée, facturé 10 %, compense sur une conversation longue : sur les dix questions documentaires, il a coûté 0,23 €, contre 0,29 € pour mistral-medium dans la même passe.

Trois enseignements à retenir avant de choisir :

On ne paie pas plus cher pour être juste. gemma et gpt-oss font partie des meilleurs et des moins chers ; mistral-medium et llama-70b sont parmi les plus chers pour un résultat inférieur.
La vitesse et la fiabilité ne vont pas ensemble. Les plus rapides (codestral, mistral-small) rendent moins de jalons ; les plus fiables prennent deux à douze minutes sur huit cas. Une surface interactive et une tâche programmée n’ont pas le même bon choix.
Trois modèles inventent quand ils ne savent pas (qwen-9b, ministral-8b, llama-70b). Sur un usage documentaire, c’est plus grave qu’un jalon manqué : la réponse fausse arrive avec l’assurance d’une réponse juste.

Nos recommandations

Usage	Recommandé	Alternative	À éviter
Discussion, questions simples, essais de l’API	`mistral-small` (rapide, le moins cher, lit les images)	`gpt-oss` si le prix prime sur la latence
Analyse qui doit être juste : croiser des bases, enchaîner des outils, produire un fichier	`gemma` (30 / 31, s’abstient, images, 0,12 €)	`deepseek-v4-flash` si le temps de réponse compte (29 / 31 en 86 s), `qwen-small` ou `qwen-large`	`ministral`, `llama-70b`
Tâche programmée, traitement de volume	`gpt-oss` (29 / 31 pour 0,06 €, lent mais personne n’attend)	`gemma`	`gpt-oss-20b` (le plus lent)
Veille et rapports documentaires	un modèle qui s’abstient : `gemma`, `gpt-oss`, `qwen-small`		`qwen-9b`, `ministral-8b`, `llama-70b`
Lecture d’images	`gemma`, `mistral-small`	`qwen-small`	`gpt-oss`, `codestral`, `llama-70b`, `deepseek-v4-flash`, `glm` (texte seul)
Très long document ou dossier, au-delà de 262 000 tokens	`glm` (seul à l’accepter en UE, jusqu’à un million)	une base de connaissance dès qu’il faut retrouver des valeurs précises	les autres modèles servis en UE, qui s’arrêtent à 262 000 tokens
Génération de code	`codestral`	`gemma`
Routage, classification, réponses très courtes	`ministral` (le moins cher)	`ministral-14b`
Rester chez Mistral sur une demande complexe	`mistral-large` ou `ministral-14b`	`mistral-medium` si le coût n’est pas un sujet

Le modèle par défaut de l’assistant est gemma ; un administrateur d’organisation peut en choisir un autre dans la politique de l’assistant, et restreindre la liste proposée aux utilisateurs.

Lire une fiche

Dans GET /v1/pricing (bloc bench) :

answered sur of : réponses justes du banc documentaire, en compte et jamais en note, le compte montre sa granularité ;
cost_eur et seconds : coût réel et durée de ce banc ;
abstains : sur la question sans réponse, il le dit (true) ou il invente ;
complex.answered sur complex.of, complex.cost_eur, complex.seconds : le banc complexe ;
date : le jour de la mesure. Un catalogue bouge, une mesure vieillit.

null veut dire non évalué, jamais « mauvais » : un modèle qui vient d’entrer au catalogue n’a pas encore été mesuré.

Quand et comment nous le rejouons

Le banc est rejoué à chaque changement de la mécanique agentique, à chaque entrée ou changement d’hébergeur d’un modèle (un prix porte un déploiement, pas des poids : un même modèle chez deux hébergeurs peut se comporter différemment), et une fois par mois sans autre motif. Une passe complète coûte quelques euros et moins d’une heure ; les fiches sont mises à jour dans la foulée, avec la date du relevé.