Que signifient les chiffres des modèles d’IA ? 3B, 7B, 20B…
Quand la taille ne dit pas tout – et ce que ces chiffres signifient vraiment
Si vous vous êtes déjà intéressé à l’intelligence artificielle, vous avez certainement croisé des expressions comme « modèle 7B » ou « LLM 20 milliards de paramètres ». Mais que signifient réellement ces chiffres et surtout, sont-ils vraiment le critère le plus important pour choisir une solution IA ?
Des milliards – mais de quoi exactement ?
Lorsqu’un modèle d’IA porte un nom comme « 7B » ou « 70B », le « B » signifie billion et désigne précisément le nombre de paramètres du modèle. Mais qu’est-ce qu’un paramètre, concrètement ?
L’analogie la plus simple est celle d’un curseur ou d’un bouton de réglage : une petite valeur ajustable que le modèle fixe lui-même au cours de l’entraînement. Dans le cerveau humain, les neurones sont reliés par des synapses. Les paramètres jouent un rôle analogue dans l’IA. Ils ne sont pas codés à la main par des ingénieurs : le modèle « apprend » leurs valeurs optimales en s’entraînant sur des milliards d’exemples textuels.
Un paramètre, concrètement : qu’est-ce que c’est ?
Imaginons qu’il faille compléter une phrase : « Le chat est sur le… » Le mécanisme interne du modèle attribue alors des poids à tous les mots suivants possibles : « tapis », « toit », « canapé », etc. Ces poids – qui déterminent quelle suite est la plus probable – sont des paramètres.
Dans un modèle à 7 milliards de paramètres, 7 000 000 000 de telles valeurs de pondération sont stockées. Chacune représente une infime décision sur la façon dont les concepts, les mots et les structures grammaticales s’articulent entre eux. Prises ensemble, elles constituent la « connaissance » du modèle.
Point essentiel : les paramètres ne mémorisent pas des mots ou des phrases tels quels. Ils encodent des patterns statistiques – la façon dont certains concepts, expressions et relations co-apparaissent dans les données d’entraînement. Le modèle ne « se souvient » pas de textes ; il intègre la structure du langage.
Comment les paramètres « apprennent »-ils ?
Pendant l’entraînement, le modèle tente répétitivement de prédire le mot suivant dans une séquence. Lorsqu’il se trompe, un mécanisme de rétroaction appelé rétropropagation (backpropagation) ajuste légèrement les paramètres — des milliards de fois, à la suite. Le résultat est un réseau capable de générer des réponses qui ressemblent à du texte rédigé par un humain.
Plus il y a de paramètres, plus il est théoriquement possible de stocker de telles connexions. En pratique, la réalité est bien plus nuancée.
| Taille du modèle | Nombre de paramètres | RAM typique nécessaire | Cas d’usage courant |
| 3B | 3 000 000 000 | ~4 Go | Tâches simples, appareils mobiles |
| 7–8B | 7–8 000 000 000 | ~8–16 Go | Déploiement local professionnel |
| 13–20B | 13–20 000 000 000 | ~16–32 Go | Performance équilibrée |
| 70B+ | 70 000 000 000+ | 40–80+ Go | Solutions cloud grandes entreprises |
Pourquoi un modèle plus grand ne garantit pas de meilleures réponses
L’idée reçue est qu’un modèle plus grand est un modèle plus intelligent. Cette vision est réductrice et la pratique la dément régulièrement.
La qualité d’une réponse générée par un système d’IA dépend de trois facteurs principaux, et le modèle lui-même n’en est qu’un :
Qualité des données : ~45 % • Qualité du prompt : ~28 % • Taille du modèle : ~22 %
La qualité des données est le facteur le plus déterminant. Quels documents, réglementations et contenus professionnels le système consulte-t-il pour formuler sa réponse ? Pour une IA juridique, la précision et la pertinence de la jurisprudence, des textes de loi et des modèles de contrats comptent bien davantage que le nombre de paramètres.
La qualité du prompt est tout aussi décisive. Comment la question est-elle formulée ? Contient-elle du contexte, des contraintes, des exemples ? Une question mal posée produira une mauvaise réponse, même avec le meilleur modèle.
Le modèle lui-même – y compris son nombre de paramètres – n’arrive qu’en troisième position. Un modèle 7B bien configuré, alimenté par des données professionnelles précises et interrogé avec des questions bien formées, surpassera régulièrement un modèle généraliste 70B mal utilisé ou privé de contexte pertinent.
Contraintes matérielles : le critère souvent ignoré
Le nombre de paramètres ne conditionne pas seulement la capacité de connaissance : il détermine directement le matériel nécessaire pour faire tourner le modèle.
Faire fonctionner un modèle à 70 milliards de paramètres nécessite généralement 40 à 80 Go de RAM, optimisée pour GPU. Cela implique des serveurs d’entreprise ou une infrastructure cloud, avec des coûts de fonctionnement significatifs.
Un modèle 7–8B, en revanche, peut tourner confortablement sur un mini PC de bureau ou un ordinateur portable performant avec 16–32 Go de RAM, sur un réseau local, sans connexion internet. Dans les secteurs réglementés (droit, comptabilité, santé), cette capacité hors ligne représente un avantage considérable pour la protection des données et la conformité.
C’est précisément le choix fait par ArkeoAI : privilégier des modèles compacts, optimisés pour les données professionnelles de nos clients, plutôt que des modèles massifs dépendants du cloud. Non pas la taille pour elle-même, mais la précision et la souveraineté des données.
Tous les milliards ne se valent pas : l’architecture du modèle
Il existe une dimension supplémentaire rarement évoquée : le nombre de paramètres seul ne révèle pas comment le modèle est construit. Les architectures plus récentes – comme le Mixture of Experts (MoE) – peuvent être substantiellement plus efficaces que les modèles conventionnels de taille comparable.
Un modèle MoE à 20B n’active, à chaque instant, qu’une fraction de ses paramètres (par exemple 4–5 milliards), sélectionnés précisément pour la tâche demandée. Résultat : des performances comparables ou supérieures à un modèle monolithique 20B, pour une fraction du coût de calcul.
Le nombre de paramètres, c’est la capacité de stockage du modèle. L’architecture, c’est la façon dont il utilise cette capacité. Les deux comptent.
Ce à quoi faire attention lors du choix d’un modèle
Lorsqu’on évalue une solution IA, le nombre de paramètres ne doit pas être le premier critère. Voici les questions qui comptent vraiment :
| Question | Pourquoi c’est important |
| Sur quelles données le système fonctionne-t-il ? | La qualité des données est le premier moteur de performance |
| Comment les prompts sont-ils construits ? | La qualité des questions pèse autant que le modèle |
| Déploiement local ou cloud ? | Implications en matière de confidentialité, conformité et coût |
| Quelle architecture utilise-t-il ? | MoE vs. dense : efficacité et besoins en ressources |
| Pour quelle tâche a-t-il été optimisé ? | Usage généraliste vs. spécialisation sectorielle |
Plus de paramètres ne signifie pas automatiquement plus de pertinence. Ce qui compte, c’est l’adéquation entre le modèle, les données et le cas d’usage. Un système bien conçu avec un modèle modeste surpassera toujours un géant mal orienté. La puissance est dans la précision, pas dans la taille.
