Mistral Large 4 compte 1 000 milliards de paramètres, mais son efficacité repose sur ceux qu’il n’active pas

Mistral Large 4 ne mobilise qu’une fraction de ses paramètres pour chaque token grâce à son architecture à experts. Cette distinction aide à comprendre pourquoi la taille totale d’une IA ne suffit pas à mesurer son efficacité, ni à la comparer à un modèle fermé.

Par Antoine Lemaire · 31/10/2026 à 08h07

Une grande réserve de paramètres, une activation limitée

Le chiffre de 1 000 milliards de paramètres décrit la taille totale de Mistral Large 4. Il ne signifie pas que tout cet ensemble intervient pour chaque token. C’est la distinction centrale pour comprendre ce modèle : ce qu’il contient et ce qu’il active sont deux grandeurs différentes. Comparer uniquement le nombre total de paramètres peut donc donner une image trompeuse du travail effectué.

Mistral annonce 49 milliards de paramètres activés par token, un total porté à 52 milliards avec les couches d’entrée et de sortie. Ces deux chiffres ne décrivent pas deux modes de fonctionnement concurrents : leur périmètre diffère. Pour lire une comparaison technique, vous devez donc vérifier si elle porte sur l’ensemble du modèle ou sur sa partie active.

Le MoE fait travailler une sélection d’experts

L’abréviation MoE désigne une architecture à mélange d’experts. Mistral Large 4 dispose de 128 experts, mais ne les sollicite pas tous pour chaque token : quatre sont activés, auxquels s’ajoute un expert commun. Le principe consiste ainsi à utiliser une sélection au sein d’un ensemble beaucoup plus vaste, plutôt qu’à faire intervenir systématiquement toutes ses composantes.

Le mot « expert » désigne ici une composante du modèle, pas une personne. Vous pouvez retenir l’image d’une réserve de capacités dont seule une partie travaille à chaque passage. Cette organisation explique comment un modèle aussi volumineux peut limiter le nombre de paramètres mobilisés pour traiter un token, sans réduire son total à ces seuls paramètres actifs.

Cette sélection ne fait toutefois pas disparaître le reste du modèle. Sa version complète représente environ 1 060 Go. Limiter l’activation n’équivaut donc pas à rendre le modèle petit : le volume à stocker et la quantité de paramètres sollicités répondent à deux questions distinctes. Le premier décrit l’ensemble à conserver, la seconde le sous-ensemble utilisé lors du traitement.

Un modèle plus compact n’est pas automatiquement plus efficace

Face à un modèle fermé plus compact, le total des paramètres ne suffit pas à désigner le plus efficace. Un ensemble plus grand peut n’en activer qu’une fraction : c’est précisément ce que montre le fonctionnement de Large 4. Le caractère ouvert ou fermé concerne l’accès au modèle ; il ne renseigne pas, à lui seul, sur la quantité de paramètres mobilisés.

Il faut ensuite regarder la tâche accomplie et la quantité de tokens nécessaire pour la mener. Sur l’indice de programmation d’Artificial Analysis, Large 4 atteint 48 % et utilise, en moyenne par tâche, 47 % de tokens de moins que GLM-5.3. Ce résultat illustre une autre dimension de l’efficacité : ne pas seulement limiter ce qui travaille pour chaque token, mais aussi réduire le nombre de tokens consommés.

La portée de cette comparaison reste précise. GLM-5.3 est un modèle ouvert, et ce résultat concerne un indice de programmation. Il ne prouve pas que Large 4 surpasse tous les modèles fermés plus petits, ni qu’il sera plus rapide dans chaque situation. L’architecture explique pourquoi un très grand modèle peut être efficace ; une comparaison de performances doit encore le vérifier sur la tâche visée.

L’entraînement et les tests comptent autant que l’architecture

Le MoE n’explique pas à lui seul les performances. Après environ trois semaines d’entraînement supplémentaire par rapport à la préversion, le score de Large 4 sur Terminal-Bench 4.0 est passé de 28 % à 41 %. Cette progression rappelle que la manière d’entraîner le modèle compte aussi : connaître sa taille et son organisation ne permet pas de déduire directement ses résultats.

Le classement change également selon ce que le test mesure. Large 4 obtient 26 points à l’indice global d’Artificial Analysis et demeure derrière les meilleurs modèles ouverts chinois. Pour évaluer son efficacité, gardez donc trois repères séparés : les paramètres activés, les tokens consommés et la réussite sur la tâche. Aucun de ces indicateurs ne remplace les deux autres.