Mit jelentenek az AI modellek számai? 3B, 7B, 20B…
Amikor a méret nem mond el mindent
Pontosan micsoda milliárdok?
A „B” a „milliárd” szót jelöli — és az adott modell paramétereinek számára utal. Egyszerűsítve: a paraméter egy olyan kapcsolat, amelyet a modell milliárdnyi szövegen alapuló tanulás során sajátított el. Minél több van belőlük, annál több általános tudást „memorizált” potenciálisan a modell.
Egy 3B-s modellnek 3 milliárd paramétere van. Egy 70B-snak hetven milliárd. Papíron a nagyobb jobbnak tűnik. A valóságban ez sokkal árnyaltabb kérdés.
Miért nem garantál jobb válaszokat egy nagyobb modell?
Egy válasz minősége három fő tényezőtől függ. Az adatok minősége az eredmény kb. 45%-át teszi ki — vagyis azok a dokumentumok, szabályozások és szakmai tartalmak, amelyeket a rendszer a válaszadáshoz felhasznál. A prompt minősége, azaz a kérdés megfogalmazása kb. 28%-ot jelent. Maga a modell csak kb. 22%-ban szerepel.
Vagyis: egy jól konfigurált 7B-s modell, amely pontos szakmai adatokra épül és jól megfogalmazott kérdésekkel dolgozunk, rendszeresen felülmúl egy rosszul használt, általános célú 70B-s modellt.
A hardverkorlátok: egy sokszor figyelmen kívül hagyott szempont
A nagy modellek jelentős erőforrásokat igényelnek. Egy 70B-s modell jellemzően 40–80 GB RAM-ot igényel — ami erős szervereket, felhőkapcsolatot és komoly költségeket jelent. Egy 7B-s vagy 8B-s modell futhat egy asztali mini PC-n, helyileg, internet nélkül, teljesen kielégítő teljesítménnyel célzott szakmai feladatokra.
Pontosan ezt a döntést hozta az ArkeoAI is: egy kompakt, az ügyfelek szakmai adataira optimalizált modellt részesítettünk előnyben ahelyett, hogy egy felhőtől függő, gigantikus modellt használnánk.
A lényeg
Több paraméter nem jelent automatikusan több relevanciát. Ami számít, az a modell, az adatok és a felhasználási eset közötti összhang. Egy jól megtervezett rendszer egy szerény modellel mindig jobb eredményt hoz, mint egy rosszul irányított óriásmodell.
Az erő a pontosságban rejlik, nem a méretben.
