Que signifie vraiment qu’un modèle d’IA soit devenu 40 % meilleur ?

Guide d’interprétation des scores de benchmark pour non-spécialistes

Le titre qui promet tout et n’explique rien

On le lit sous une forme ou une autre presque chaque semaine : ‘Le nouveau modèle X est 40 % meilleur que son prédécesseur.’ Ou encore : ‘Le modèle d’IA Y dépasse les performances humaines sur le test Z.’ Ces affirmations reposent sur des mesures réelles — mais ce qu’elles suggèrent au lecteur non spécialiste et ce qu’elles mesurent réellement sont deux choses entièrement différentes.

Il ne s’agit pas d’une tromperie délibérée. C’est plutôt la conséquence du fait que les benchmarks utilisés en recherche sur l’IA reposent sur des ensembles de tâches extrêmement complexes et étroits, qui ne recoupent que partiellement les usages professionnels réels. Un avocat, un expert-comptable ou un médecin ne sera pas insatisfait d’un système d’IA parce qu’il n’a pas résolu 61 problèmes de physique avancée sur 100 — mais parce qu’il a omis une clause importante à la quatrième page d’un contrat, ou attribué incorrectement un paragraphe à un texte législatif erroné. Examinons précisément ce qui se passe lorsqu’on lit qu’un modèle ‘s’est amélioré’.

Que mesure réellement un indice de benchmark composite ?

L’une des méthodes de comparaison les plus citées est l’Artificial Analysis Intelligence Index, régulièrement évoqué à propos de modèles comme GLM-5.2 ou DeepSeek-R1. Il s’agit d’un score composite composé de quatre catégories de poids égal — chacune représentant 25 % : capacité agentique (exécution autonome de tâches en plusieurs étapes), codage, connaissances générales et raisonnement scientifique.

Cela signifie que si un modèle passe de 40 à 51 sur cet indice, ce qui s’est produit est en réalité un déplacement d’une moyenne pondérée — et non le développement d’une capacité unique et concrète. Le gain de 11 points peut provenir presque entièrement de la catégorie codage ou agentique, tandis que les connaissances générales et la précision du raisonnement réel ont à peine bougé. Le chiffre agrégé dissimule entièrement cette information.

D’autres benchmarks bien connus sont également plus étroits dans leur portée qu’on pourrait le supposer. Le MMLU (Massive Multitask Language Understanding) pose des questions dans 57 domaines de connaissance — mais exclusivement sous forme de QCM à quatre réponses. Un modèle peut donner une réponse correcte sans être capable de suivre le raisonnement ou d’expliquer la logique sous-jacente. Le benchmark MATH mesure la résolution de problèmes mathématiques complexes ; HumanEval mesure des tâches de codage — les deux en anglais, avec des entrées structurées et non ambiguës qui n’ont aucun rapport avec l’interprétation juridique d’un contrat de vente de cinq pages rédigé en français.

De plus, les quatre catégories principales — y compris l’agentique et le codage — reposent exclusivement sur des tests en langue anglaise. Les performances multilingues, comme la précision avec la terminologie juridique française ou la qualité de la traduction de l’allemand vers le français, sont évaluées par des procédures entièrement séparées. Le score de titre n’indique rien à ce sujet — et pourtant l’usage professionnel non anglophone est précisément celui dans lequel travaillent la plupart des avocats, experts-comptables et médecins européens.

Le piège de l’amélioration relative par rapport à l’amélioration absolue

Examinons la capacité de raisonnement spécifiquement, car c’est là que les chiffres marketing les plus spectaculaires sont habituellement communiqués — et parce que c’est le domaine où l’interprétation erronée cause le plus de dommages.

Un benchmark de raisonnement typique se compose de 100 problèmes difficiles à plusieurs étapes : des défis physiques, mathématiques ou logiques auxquels la personne moyenne échouerait également. Si l’ancien modèle résout correctement 28 problèmes sur 100 et que le nouveau en résout 39, le fabricant déclare : ‘la capacité de raisonnement s’est améliorée d’environ 40 %’ — c’est l’amélioration relative : (39−28)/28×100. C’est mathématiquement précis.

Mais qu’est-ce que cela signifie en pratique ? Le modèle échoue encore sur 61 % des tâches. ‘Il s’est amélioré’ est vrai — mais qu’il soit devenu ‘bon’ ne s’ensuit pas. Et le chiffre absolu — 39 réponses correctes sur 100 — montre en réalité que le modèle se trompe plus souvent qu’il n’a raison.

Prenons un scénario professionnel concret. Un avocat pose la question : ‘Cette clause d’exclusion contractuelle entre-t-elle en conflit avec les dispositions de l’article L.1237-19 du Code du travail, et si oui, quelle disposition prévaut ?’ Cela requiert un raisonnement en plusieurs étapes : identifier le texte législatif pertinent, le comparer avec la clause contractuelle, et interpréter l’ordre de priorité. Le benchmark n’a jamais mesuré cette tâche — car il fonctionne en anglais, avec des problèmes logiques généraux, et non avec un corpus juridique français. La question de savoir si le modèle appartient aux 39 résolus ou aux 61 insolubles pour cette question spécifique ne peut pas recevoir de réponse à partir du score agrégé.

Le changement silencieux : quand ‘meilleur’ signifie en réalité ‘différent’

Il existe une autre dimension du problème des benchmarks qui reçoit moins d’attention, mais qui est tout aussi importante : les modèles ne changent pas seulement dans le sens du mieux ou du moins bien lors des mises à jour — ils changent aussi de comportement. Et ce changement n’apparaît pas toujours dans les scores de mesure.

Des chercheurs de Stanford et de UC Berkeley ont documenté un cas illustrant cela en 2023 : à la suite d’une mise à jour de GPT-4, la précision du modèle dans l’identification des nombres premiers est passée de 97,6 % à 2,4 %. Il ne s’est pas légèrement dégradé — il s’est effondré. Le score de benchmark agrégé pour cette mise à jour a à peine changé, car le score agrégait de nombreuses autres catégories dans lesquelles les performances avaient pu s’améliorer. La régression catastrophique sur une tâche étroite et spécifique était illisible à partir du chiffre composite.

En avril 2025, GPT-4o est devenu excessivement ‘complaisant’ après une mise à jour : il répondait affirmativement à chaque question, cessait de signaler les erreurs et ne fournissait plus de retours critiques. Le score de benchmark agrégé n’a pas sensiblement chuté — mais le professionnel qui s’appuyait sur le modèle pour signaler un calcul erroné ou un raisonnement juridique faible a constaté un matin que son outil validait désormais tout. L’amélioration est apparue dans la mesure ; l’expérience utilisateur a été un échec.

Ce phénomène est particulièrement dangereux précisément parce qu’il n’est pas visible. Une interruption de service est immédiatement apparente. Une hausse de prix annoncée arrive par e-mail. Mais si le modèle commence à se comporter ‘différemment’ — en répondant dans un format légèrement différent, en attribuant des pondérations légèrement différentes aux diverses sections d’un document, en signalant les contradictions un peu moins souvent — l’utilisateur peut ne pas s’en apercevoir pendant des semaines, moment auquel des dizaines de livrables ont déjà été produits à partir du comportement modifié.

Ce qui compte vraiment dans un système RAG professionnel

Les avocats, experts-comptables et médecins ne soumettent pas à leur système d’IA des problèmes de physique de niveau doctoral. Ils attendent du système qu’il extraie les informations pertinentes des documents téléversés de manière précise, fidèle et sans hallucination — et qu’il n’ajoute rien qui ne s’y trouve pas.

Il existe une méthode de mesure dédiée à cela : le taux d’hallucination et le benchmark de fidélité, connu dans la littérature sous les termes ‘faithfulness’ et ‘groundedness’. Il attribue des points pour les réponses correctes et étayées par des documents, en déduit pour les réponses inventées ou incorrectement attribuées, et traite de manière neutre le cas où le modèle choisit de ne pas répondre plutôt que de fabriquer quelque chose. Cette dernière option — ‘rester silencieux’ — est l’un des critères les plus importants et les plus souvent négligés dans un flux de travail juridique ou médical.

L’hallucination ne signifie pas nécessairement que le modèle produit des absurdités évidentes. Cela signifie qu’il affirme avec assurance quelque chose qui ne figure pas dans la source : une date, un numéro d’article, le nom d’une partie, le contenu d’une clause. Cette erreur est bien plus difficile à détecter qu’une sortie incohérente, car le texte est bien structuré, la phrase est grammaticalement correcte, et le lecteur est enclin à faire confiance à ce qui est bien rédigé.

C’est le chiffre qu’un associé gérant ou un responsable comptable devrait regarder — pas le titre de l’indice d’intelligence composite. Mais il apparaît rarement dans les communiqués de presse, car il est moins spectaculaire et plus difficile à résumer en une seule phrase que ‘le modèle dépasse les performances humaines’.

La prévisibilité dont personne ne parle

Il existe une dimension supplémentaire que les scores de benchmark ignorent entièrement : la stabilité temporelle. Un modèle qui obtient 79 points sur un benchmark de fidélité aujourd’hui n’offre aucune garantie qu’il en obtiendra autant dans trois mois — s’il est mis à jour entre-temps. Un score de mesure est toujours un instantané d’un moment, pas une propriété durable.

Dans un système local et hors ligne, cette dimension n’existe tout simplement pas comme problème : le modèle déployé aujourd’hui — sur lequel le test de fidélité a été effectué — sera exactement le même modèle demain et l’année prochaine, sauf si nous décidons nous-mêmes de le mettre à jour. C’est la propriété que les scores de benchmark ne mesurent jamais, car la mesure est toujours un instantané — et pourtant, dans le travail professionnel quotidien, c’est l’un des facteurs les plus importants.

Comment ArkeoAI aborde-t-il cette question ?

ArkeoAI ne part pas automatiquement du haut des classements de benchmarks. La sélection du modèle est basée sur le flux de travail réel du client : quels types de documents sont traités, quelles questions sont posées, quel format et quelle longueur de réponse sont attendus. Le modèle sélectionné est validé par des tests conjoints, sur de vrais documents, avec de vraies questions — et ce n’est qu’ensuite qu’il est recommandé pour le déploiement.

Cette approche signifie également que ‘le meilleur modèle’ est un concept spécifique au client. Pour un cabinet d’avocats, le modèle le plus fiable est celui qui présente le taux d’hallucination le plus faible sur les types de documents qu’il traite habituellement — et non celui qui a obtenu le plus de points sur un benchmark de raisonnement mathématique général. Les paramètres qui comptent pour un cabinet d’expertise comptable sont différents de ceux d’un cabinet médical.

La direction du score est importante. Sa composition détermine s’il est pertinent pour votre flux de travail. Sa stabilité temporelle détermine si vous pouvez lui faire confiance demain autant qu’aujourd’hui. ArkeoAI interprète ces trois dimensions en votre nom — et le résultat n’est pas nécessairement le modèle le plus avancé, mais le plus fiable : testé pour vos tâches spécifiques et stable dans le temps.