Mit jelent valójában, hogy egy AI modell 40%-kal jobb lett?

Útmutató benchmark-számok értelmezéséhez nem szakembereknek

Az újságcím, amely mindent ígér, de semmit nem magyaráz

Szinte hetente olvasható valamilyen formában: ‘Egy adott új AI LLM modell 40 százalékkal jobb lett az előzőnél.’ Vagy: ‘Az Y mesterséges intelligencia modell felülmúlta az emberi teljesítményt a Z teszten.’ Ezek a mondatok valódi méréseken alapulnak – de az, amit a hozzá nem értő olvasónak sugallnak, és az, amit ténylegesen mérnek, két teljesen különböző dolog.

Ez nem szándékos félrevezetés. Inkább annak következménye, hogy az AI-kutatásban használt benchmark-mérések rendkívül összetett, szűk feladatsorokon alapulnak, amelyek a valódi, szakmai használattal csak részben fedik egymást. Az ügyvéd, a könyvelő és az orvos nem azért lesz elégedetlen egy AI-rendszerrel, mert az nem oldott meg 100-ból 61 emelt szintű matematikai vagy fizikai problémát, hanem mert a negyedik oldalon lévő fontos szerződéses kikötést kihagyta, vagy egy paragrafust helytelenül tulajdonított egy másik jogszabálynak. Nézzük meg pontosan, mi is történik, amikor azt olvassuk, hogy egy modell ‘jobb lett’.

Mit mér egy összetett benchmark-index?

Az egyik legelterjedtebb összehasonlítási módszer az Artificial Analysis Intelligence Index, amelyet az új GLM-5.2 vagy a DeepSeek-R1 kapcsán is rendszeresen idéznek. Ez egy összetett pontszám, amely négy egyenlő súlyú, azaz egyenként 25 százalékos kategóriából áll: 1. agentikus (önálló, többlépéses feladatvégzési) képesség, 2. kódolás, 3. általános ismeret és 4. tudományos érvelés.

Ez azt jelenti, hogy ha egy modell 40-ről 51-re javul ezen az indexen, ez valójában egy súlyozott átlag elmozdulása, nem pedig egyetlen, konkrét képesség fejlődése. A 11 pontos javulás jöhet szinte teljes egészében a kódolási vagy agentikus kategóriából, miközben az általános ismeret és a tényleges érvelési pontosság esetleg alig vagy semmit sem változott. Az összesített szám ezt az információt teljesen eltakarja.

Más ismert benchmarkok hasonlóan szűkebb fókuszúak, mint azt talán sejtenénk. Az MMLU (Massive Multitask Language Understanding) 57 különböző tudományterületen tesz fel kérdéseket, de ezek kizárólag négyválaszos, feleletválasztós formátumban érkeznek. Egy modell megadhat helyes választ anélkül, hogy a gondolatmenetet követni, vagy az összefüggéseket megmagyarázni tudná. A MATH benchmark komplex matematikai problémákat mér, a HumanEval pedig kódolási feladatokat, de mindkettő angolul, strukturált, egyértelmű bemenettel kerül vizsgálatra, amelynek semmi köze sincs egy ötoldalas, francia nyelvű adásvételi szerződés jogi értelmezéséhez.

Ráadásul mind a négy főkategória – beleértve az agentikust és a kódolást is – kizárólag angol nyelvű teszteken alapul. A többnyelvű teljesítményt, például a francia jogi terminológia pontosságát vagy a németről franciára fordítás minőségét, teljesen külön mérési eljárással értékelik. A fejléc-szám erről semmit nem mond – és éppen a szakmai, nem angol nyelvű használat az, ahol a legtöbb európai ügyvéd, könyvelő és orvos ténylegesen dolgozik.

A relatív és abszolút javulás csapdája

Nézzük meg az érvelési (reasoning) képességet konkrétan, mert a leglátványosabb marketingszámokat erre szokták kommunikálni – és mert pont ez az a terület, ahol a félreértelmezés a legtöbb kárt okozhatja.

Egy tipikus érvelési benchmark 100 nehéz, többlépéses feladatból áll: fizikai, matematikai vagy logikai problémákból, amelyeken az átlagember is megbukna. Ha a régi modell 100-ból 28-at old meg helyesen, az új pedig 100-ból 39-et, a gyártó így fogalmaz: ‘közel negyven százalékkal javult az érvelési képesség’ – ez a relatív javulás, az, amelyre hivatkoznak. Ez valóban matematikailag pontosan mérhető.

De mit jelent ez a valóságban? A modell a feladatok 61 százalékán ténylegesen még mindig nem boldogul. A ‘jobb lett’ tehát igaz – de hogy ténylegesen ‘jó lett-e’, az ebből nem következik. Sőt, az abszolút szám – a 39 helyes válasz 100-ból – valójában pontosan azt mutatja, hogy a modell többnyire hibázik.

Vegyünk egy konkrét, szakmai forgatókönyvet. Az ügyvéd felteszi a kérdést: ‘Ütközik-e ez a szerződéses kizárási záradék a Code du travail L.1237-19. cikkely rendelkezéseivel, és ha igen, melyik rendelkezés az irányadó?’ Ez egy többlépéses érvelési feladatot igényel: azonosítani kell a releváns törvényszövegeket, össze kell vetni a szerződéses kikötéssel, értelmezni kell a prioritási sorrendet. A benchmark ezt a feladatot soha nem mérte – mert a benchmark angolul, általános logikai problémákkal dolgozik, nem francia jogi korpusszal. Hogy a modell a 39 megoldott vagy a 61 megoldhatatlan csoportba esik ennél a kérdésnél, arra a szám önmagában nem ad választ.

A hallgatólagos változtatás: amikor a ‘jobb’ valójában ‘más’

Van a benchmark-problémának egy kevésbé tárgyalt, de legalább annyira fontos dimenziója is: a modellek nem csak jobb vagy rosszabb irányban változnak a frissítések során, hanem viselkedésükben is. És ez a változás nem mindig jelenik meg a mérési számokban.

A Stanford és a UC Berkeley kutatói 2023-ban dokumentáltak egy esetet, amely ezt jól szemlélteti: a GPT-4 egy frissítése következtében a modell pontossága prímszámok azonosításában 97,6 százalékról 2,4 (!) százalékra esett. Nem romlott kissé, hanem összeomlott. Az összesített benchmark-pontszám ennél a frissítésnél alig változott, mert a pontszám számos más kategóriából is összegzett, és azokban javult. A szűk, konkrét feladaton bekövetkezett katasztrofális visszaesés az összesített számból nem volt kiolvasható.

2025 áprilisában a GPT-4o egy frissítés után túlzottan ‘engedékeny’ lett: minden kérdésre igennel válaszolt, nem jelezte a hibákat, nem adott kritikus visszajelzést. Az összesített benchmark-szám nem csökkent jelentősen – de az a szakember, aki arra támaszkodott, hogy a modell szól, ha egy számítás hibás vagy egy jogi érvelés gyenge, egyik reggel azt tapasztalta, hogy az eszköze most már mindent helyesel. A ‘fejlődés’ mérési számként megjelent, de felhasználói élményként katasztrófa volt.

Ez a jelenség azért különösen veszélyes, mert nem látványos. Egy leállás azonnal feltűnik. Egy bejelentett áremelésről az értesítés megérkezhet egy e-mailben. De ha a modell ‘másképp’ kezd viselkedni, egy kicsit más formátumban válaszol, kicsit más súlyokat rendel a dokumentum egyes részeihez, kicsit kevésbé jelzi az ellentmondásokat – ezt a felhasználó esetleg hetekig észre sem veszi, ám addigra már felhasznált anyagok tucatjai születtek a megváltozott kimenetekből.

Mi az, ami ténylegesen számít egy szakmai RAG-rendszernél?

Az ügyvédek, könyvelők és orvosok nem PhD-szintű fizikai problémákat adnak a modelljüknek. Azt várják el, hogy a rendszer a feltöltött dokumentumokból pontosan, hűségesen, hallucináció nélkül emelje ki a releváns információt és ne tegyen hozzá olyat, ami nincs benne.

Erre van külön mérési módszer: a hallucináció-arány és a “hűség-benchmark”, amelyet a szakirodalom ‘faithfulness’ és ‘groundedness’ mérésként ismer. Ez pontokat ad a helyes, dokumentumból alátámasztható válaszért, levon a kitalált vagy tévesen hivatkozott válaszért, és semlegesen kezeli, ha a modell inkább nem válaszol, mintsem hogy kitaláljon valamit. Ez utóbbi – az ‘inkább csendben marad’ opció – az egyik legfontosabb és legtöbbet figyelmen kívül hagyott szempont egy jogi vagy orvosi munkafolyamatban.

A hallucináció nem feltétlenül azt jelenti, hogy a modell nyilvánvalóan ostobaságot ír. Azt jelenti, hogy magabiztosan állít valamit, ami nem szerepel a forrásban: egy dátumot, egy paragrafusszámot, egy szereplő nevét, egy záradék tartalmát. Ezt a hibát jóval nehezebb észrevenni egy adattömegben, mint egy értelmetlen kimenetet, mivel a szöveg jól szerkesztett, a mondat grammatikailag helyes, és az olvasó hajlamos bízni abban, ami jól van megírva.

Ez az a szám, amelyre egy irodavezető ügyvédnek vagy könyvelőnek figyelnie kellene – nem az összesített ‘intelligencia-index’ fejléce. De ez a szám ritkán kerül a marketingközleményekbe, mert kevésbé látványos, és nehezebb egyetlen mondatba sűríteni, mint azt, hogy ‘a modell az emberi szintet is felülmúlja’.

A kiszámíthatóság, amelyről senki nem beszél

Van még egy dimenzió, amelyet a benchmark-számok teljesen figyelmen kívül hagynak: az időbeli stabilitás. Egy modell, amely ma 79 pontot ér el a hűség-benchmarkon, nem garantálja, hogy három hónap múlva is ugyanennyit fog – ha közben frissítik. A mérési szám mindig az adott pillanat lenyomata, nem egy tartós tulajdonságé.

Egy helyi, offline rendszernél ez a dimenzió egyszerűen nem létezik problémaként: a modell, amelyet ma telepítünk, és amelyen a hűség-tesztet elvégezzük, holnap és jövőre is pontosan ugyanaz a modell lesz – hacsak mi magunk nem döntünk a frissítésről. Ez az a tulajdonság, amelyet a benchmark-számok soha nem mérnek, mert a mérés mindig egy pillanatfelvétel – de a napi munkában ez az egyik legfontosabb tényező.

Hogyan közelíti meg ezt az ArkeoAI?

Az ArkeoAI nem a benchmark-listák élén álló modellből indul ki automatikusan. A modellválasztás az ügyfél tényleges munkafolyamatán alapul: milyen típusú dokumentumokat dolgoz fel, milyen kérdéseket tesz fel, milyen formátumú és hosszúságú választ vár el. A kiválasztott modellt közös teszteléssel, valódi dokumentumokon, valódi kérdésekkel igazoljuk és csak ezután ajánljuk telepítésre.

Ez a megközelítés azt is jelenti, hogy a ‘legjobb’ modell ügyfélspecifikus fogalom. Egy jogi iroda számára a legmegbízhatóbb modell az, amelyik a legkisebb hallucináció-aránnyal dolgozik a rá jellemző dokumentumtípusokon, nem pedig az, amelyik a legtöbb pontot érte el egy általános matematikai érvelési benchmarkon. Egy könyvelőnél más paraméterek számítanak, mint egy orvosi rendelőnél.

A szám iránya fontos. Az összetétele dönti el, hogy releváns-e az Ön munkafolyamatához. Az időbeli stabilitása dönti el, hogy holnap is ugyanannyira bízhat-e benne, mint ma. Ezt a három szempontot az ArkeoAI értelmezi Ön helyett és ennek eredményeként nem feltétlenül a legmodernebb, hanem a legmegbízhatóbb, az Ön feladataira mért és időben stabil modell kerül az Ön rendszerébe.