Aller au contenu

Banc d'essai des modèles

Le catalogue de l’API (GET /v1/pricing) porte des chiffres mesurés par notre propre banc d’essai, et non un score de benchmark public. Le sélecteur de modèle ne les affiche pas : sa fiche s’en tient au prix, aux capacités et à une présentation de l’usage, que votre organisation peut réécrire. Cette page explique ce qui est mesuré, comment, ce que ça ne mesure pas, les résultats du dernier relevé et ce que nous recommandons.

Les benchmarks publics mesurent des exercices académiques sur des modèles nus. Ce que vous demandez au produit est autre chose : lire vos bases, filtrer sur vos facettes, appeler vos connecteurs, produire un classeur, chercher sur le web, et conclure sans inventer. Un modèle peut exceller aux premiers et échouer aux seconds. Nous mesurons donc les modèles sur le produit lui-même, avec ses outils, tous sur le même travail, le même jour, ce qui rend les chiffres comparables entre eux.

Trois règles tiennent l’instrument :

  • Des faits, pas un jugement. Chaque cas est noté sur des jalons vérifiables (un montant exact, une période bien bornée, une source réellement consultée, l’absence d’invention), calculés à l’avance par le générateur du corpus. Aucun modèle ne note un autre modèle : un juge automatique apporterait sa propre variance dans l’instrument.
  • Une source muette n’est pas un zéro. Si une base ne répond pas ou si un appel échoue pour une raison réseau, la question sort du dénominateur au lieu d’être comptée fausse. Un banc qui compte des pannes comme des fautes publie le réseau, pas le modèle.
  • Le coût est celui qui a été facturé, lu dans les journaux de dépense, remise de cache comprise. Le tarif affiché ne prédit pas la facture : un modèle qui enchaîne les outils sans se borner coûte plusieurs fois un modèle affiché plus cher.

Dix questions posées sur une base de suivi de participations, avec outils, dont les réponses sont lues en base de données avant de poser la question. Il mesure un plancher : savoir trouver un fait dans une base quand on a les outils pour le faire. Tout le catalogue y est à 8 sur 10 ou plus ; il ne départage donc presque plus, et c’est une bonne nouvelle. Une des dix questions n’a pas de réponse dans la base : c’est elle qui donne la colonne abstains, le modèle dit qu’il ne sait pas (true) ou il invente une réponse (false).

Huit cas sur un corpus de 889 documents générés (factures et avoirs, comptes rendus de suivi, fiches CRM, une fausse API de paiements), construit avec des pièges connus : homonymes, avoir à déduire, période à cheval sur deux exercices, affirmation fausse glissée dans la question, absence de compte rendu, contradiction entre le chiffré et le qualitatif. Les cas :

Cas Ce qu’il exerce
Montant et capacité à payer agréger sur une période, croiser deux bases, conclure
Homonymes distinguer deux structures au nom voisin
Période à cheval borner sur l’exercice comptable, pas l’année civile
Prémisse fausse corriger ce que la question affirme au lieu de le reprendre
Conclusion impossible dire qu’il n’y a pas de compte rendu plutôt que d’en inventer un
Palmarès agrégé un classement par somme, exact au centime
Classeur Excel produire un fichier, relu octet par octet (feuille, en-têtes, types, aucune formule, ligne de total)
Recherche web chercher, ouvrir une page et citer son adresse

Trente et un jalons au total. C’est ce banc qui départage : de 17 à 30 jalons sur le même travail, pour des coûts de 0,03 € à 0,44 € et des durées de 40 secondes à 12 minutes. Le budget est de huit tours d’outils par cas : au-delà, la plupart des modèles se dégradent au lieu de s’améliorer.

Un troisième protocole joue des questions deux fois, avec puis sans le document qui porte la réponse, et lit le couple usage (sait-il lire ce qu’on lui donne ?) et abstention (sait-il dire qu’il ne sait pas ?). Une seule des deux colonnes ne prouve rien : un modèle qui répond toujours « je ne sais pas » a 100 % d’abstention et ne sert à rien. Ce relevé nourrit nos recommandations pour les usages documentaires.

  • La qualité d’écriture (style, ton, concision). Elle se juge à l’usage, et les personnalités la règlent mieux qu’un choix de modèle.
  • La variance. Chaque chiffre est une exécution par modèle. À température zéro, les fournisseurs ne sont pas déterministes : un écart d’un jalon entre deux modèles n’est pas significatif, les écarts de coût et de durée le sont largement.
  • Vos données. Le corpus est représentatif d’un usage de suivi et de facturation ; un usage très différent mérite un essai sur vos propres cas, que le bac à sable du portail permet en quelques minutes.

Quinze modèles de chat, budget de huit tours, toutes capacités actives (fichiers, recherche web). Coût = ce qui a été facturé pour les huit cas complexes.

Modèle Documentaire S’abstient Cas complexes Coût Durée Images
gemma 10 / 10 oui 30 / 31 0,12 € 3 min oui
qwen-27b 10 / 10 oui 30 / 31 0,37 € 12 min oui
gpt-oss 10 / 10 oui 29 / 31 0,06 € 4 min non
qwen-large 10 / 10 oui 29 / 31 0,27 € 2 min oui
qwen-small 10 / 10 oui 29 / 31 0,24 € 5 min oui
qwen-9b 9 / 10 non 29 / 31 0,06 € 8 min oui
mistral-medium 10 / 10 oui 28 / 31 0,44 € 2 min oui
mistral-large 9 / 10 oui 27 / 31 0,11 € 2 min oui
ministral-14b 10 / 10 oui 27 / 31 0,04 € 2 min oui
ministral-8b 9 / 10 non 27 / 31 0,04 € 2 min oui
mistral-small 9 / 10 oui 25 / 31 0,03 € 53 s oui
gpt-oss-20b 10 / 10 oui 25 / 31 0,03 € 9 min non
codestral 8 / 10 oui 24 / 31 0,04 € 40 s non
llama-70b 8 / 10 non 21 / 31 0,43 € 2 min non
ministral 9 / 10 oui 17 / 31 0,05 € 3 min non

Ce modèle a rejoint le catalogue après la passe ci-dessus. Il a été mesuré avec le même script, le même corpus et les mêmes jalons, mais lors d’une exécution distincte : un écart d’un jalon avec le tableau précédent ne se lit donc pas comme un classement.

Modèle Documentaire S’abstient Cas complexes Coût Durée Images
deepseek-v4-flash 10 / 10 oui 29 / 31 0,19 € 86 s non

Ce qui le distingue : il est rapide. Les autres modèles qui atteignent 29 jalons ou plus mettent de deux à douze minutes sur ces huit cas ; il les a traités en une minute et demie.

Ses deux limites, à connaître avant de le choisir : il ne lit pas les images, et il coûte plus cher que gemma pour un jalon de moins. Les deux jalons qu’il manque sont ceux que personne n’atteint (source-paiements, hors d’atteinte sur notre banc) ou que peu atteignent (pas-le-montant-de-l-homonyme).

GLM 5.3 (Z.ai), hébergé par Mistral sur son endpoint régional UE, rejoint le catalogue pour sa fenêtre d’un million de tokens. La version précédente, GLM 5.2, avait été retirée fin août : sur ce même banc, elle enchaînait jusqu’à 90 appels d’outils sur une seule question. La 5.3 a donc été rejouée avant de revenir, avec le même script, le même corpus et les mêmes jalons : sept appels d’outils au plus sur une question.

Modèle Documentaire S’abstient Cas complexes Coût Durée Images
glm 10 / 10 oui 27 / 31 0,36 € 4 min non

Ce qui le distingue est ailleurs : c’est le premier modèle servi en UE dont nous ayons mesuré un contexte au-delà de 262 000 tokens (glm-flash et mistral-large-4, ajoutés le 23 octobre 2026, annoncent un million de tokens sans mesure de notre part ; deepseek-v41-flash-ue, ajouté le 16 novembre 2026, a été mesuré à son tour, voir plus bas). Nous avons mesuré jusqu’où cette fenêtre se lit vraiment ; le détail est dans Modèles & pricing. En bref : fiable jusqu’à 300 000 tokens environ, puis une valeur précise demandée au milieu du contexte revient de plus en plus souvent fausse, sans avertissement.

Ses limites, à connaître avant de le choisir : il ne lit pas les images, il réfléchit toujours avant de répondre (le raisonnement ne se coupe pas, il est facturé en sortie, et un max_tokens trop serré rend une réponse vide), et son prix d’entrée est parmi les plus élevés du catalogue souverain. Son cache d’entrée, facturé 10 %, compense sur une conversation longue : sur les dix questions documentaires, il a coûté 0,23 €, contre 0,29 € pour mistral-medium dans la même passe.

GLM 5.3 Flash (Z.ai), version allégée de GLM 5.3, hébergée elle aussi par Mistral sur son endpoint régional UE, rejoint le catalogue avec Mistral Large 4. Il a été passé aux deux bancs avec deepseek-v4-flash et gemma pour témoins, dans la même passe. Le banc des cas complexes compte désormais onze cas et 51 jalons (huit cas et 31 jalons auparavant) : ces chiffres ne se comparent qu’entre eux.

Modèle Documentaire S’abstient Cas complexes Montants non sourcés Coût des cas complexes Durée Images
gemma 9 / 10 46 / 51 0 0,27 € 6 min oui
deepseek-v4-flash 10 / 10 oui 44 / 51 2 0,39 € 8 min non
glm-flash 10 / 10 oui 40 / 51 19 0,15 € 5 min oui

glm-flash est le moins cher et le plus rapide des trois, et il lit les images. Mais il avance des montants qu’aucune source consultée ne porte : 19 sur les onze cas, contre 2 pour deepseek-v4-flash et aucun pour gemma. C’est ce qui a fait retenir gemma comme modèle par défaut de Miraca le même jour. mistral-large-4 n’a pas encore été passé aux bancs.

DeepSeek V4.1 Flash, la génération qui suit deepseek-v4-flash, hébergée par Mistral sur son endpoint régional UE. Il a été passé aux deux bancs avec trois témoins dans la même passe, sur les mêmes onze cas et 51 jalons.

Modèle Documentaire S’abstient Cas complexes Montants non sourcés Coût des cas complexes Durée Images
deepseek-v41-flash-ue 10 / 10 oui 47 / 51 1 0,23 € 2 min 30 oui
deepseek-v4-flash 10 / 10 oui 46 / 51 0 0,36 € 4 min non
gemma non rejoué 44 / 51 7 0,15 € 7 min oui
glm-flash 10 / 10 oui 42 / 51 4 0,10 € 6 min oui

Une seconde exécution de deepseek-v41-flash-ue a rendu 46 / 51 en moins de deux minutes, avec 4 montants non sourcés. Les écarts de deux ou trois jalons entre modèles, et le compte de montants non sourcés, varient d’une passe à l’autre (gemma en avait 0 le 23 octobre, 7 ici) : ce qui tient d’une passe à l’autre, c’est la vitesse et le coût. À justesse égale avec deepseek-v4-flash, la V4.1 répond environ deux fois plus vite pour 40 % de moins, lit les images, et accepte un million de tokens. Sur notre relevé de cette fenêtre, une valeur précise est retrouvée juste jusqu’à 640 000 tokens environ, fausse au-delà.

Trois enseignements à retenir avant de choisir :

  1. On ne paie pas plus cher pour être juste. gemma et gpt-oss font partie des meilleurs et des moins chers ; mistral-medium et llama-70b sont parmi les plus chers pour un résultat inférieur.
  2. La vitesse et la fiabilité ne vont pas ensemble. Les plus rapides (codestral, mistral-small) rendent moins de jalons ; les plus fiables prennent deux à douze minutes sur huit cas. Une surface interactive et une tâche programmée n’ont pas le même bon choix.
  3. Trois modèles inventent quand ils ne savent pas (qwen-9b, ministral-8b, llama-70b). Sur un usage documentaire, c’est plus grave qu’un jalon manqué : la réponse fausse arrive avec l’assurance d’une réponse juste.
Usage Recommandé Alternative À éviter
Discussion, questions simples, essais de l’API mistral-small (rapide, le moins cher, lit les images) gpt-oss si le prix prime sur la latence
Analyse qui doit être juste : croiser des bases, enchaîner des outils, produire un fichier gemma (30 / 31, s’abstient, images, 0,12 €) deepseek-v4-flash si le temps de réponse compte (29 / 31 en 86 s), qwen-small ou qwen-large ministral, llama-70b
Tâche programmée, traitement de volume gpt-oss (29 / 31 pour 0,06 €, lent mais personne n’attend) gemma gpt-oss-20b (le plus lent)
Veille et rapports documentaires un modèle qui s’abstient : gemma, gpt-oss, qwen-small qwen-9b, ministral-8b, llama-70b
Lecture d’images gemma, mistral-small qwen-small gpt-oss, codestral, llama-70b, deepseek-v4-flash, glm (texte seul)
Très long document ou dossier, au-delà de 262 000 tokens glm (mesuré en UE jusqu’à un million) deepseek-v41-flash-ue (mesuré juste jusqu’à 640 000 tokens environ), glm-flash ou mistral-large-4, qui annoncent un million sans mesure de notre part, ou une base de connaissance dès qu’il faut retrouver des valeurs précises les autres modèles servis en UE, qui s’arrêtent à 262 000 tokens
Génération de code codestral gemma
Routage, classification, réponses très courtes ministral (le moins cher) ministral-14b
Rester chez Mistral sur une demande complexe mistral-large ou ministral-14b mistral-medium si le coût n’est pas un sujet

Le modèle par défaut de l’assistant est gemma ; un administrateur d’organisation peut en choisir un autre dans la politique de l’assistant, et restreindre la liste proposée aux utilisateurs.

Dans GET /v1/pricing (bloc bench) :

  • answered sur of : réponses justes du banc documentaire, en compte et jamais en note, le compte montre sa granularité ;
  • cost_eur et seconds : coût réel et durée de ce banc ;
  • abstains : sur la question sans réponse, il le dit (true) ou il invente ;
  • complex.answered sur complex.of, complex.cost_eur, complex.seconds : le banc complexe ;
  • date : le jour de la mesure. Un catalogue bouge, une mesure vieillit.

null veut dire non évalué, jamais « mauvais » : un modèle qui vient d’entrer au catalogue n’a pas encore été mesuré.

Le banc est rejoué à chaque changement de la mécanique agentique, à chaque entrée ou changement d’hébergeur d’un modèle (un prix porte un déploiement, pas des poids : un même modèle chez deux hébergeurs peut se comporter différemment), et une fois par mois sans autre motif. Une passe complète coûte quelques euros et moins d’une heure ; les fiches sont mises à jour dans la foulée, avec la date du relevé.