Miért hallucinál az AI?

A nyelvi modellek hallucinációinak megértése

Mindenki hallotta a „hallucinációˮ kifejezést a mesterséges intelligenciával kapcsolatban. Egy modell, amely nem létező törvénycikket idéz. Egy asszisztens, amely 107 000 eurós végkielégítést számol ki, miközben a valós összeg 2 625 euró. Egy kitalált joggyakorlati hivatkozás, amelyet ugyanolyan magabiztossággal írtak meg, mint egy valódi legfelsőbb bírósági határozatot.

Ez nem egy hiba, amelyet a fejlesztők elfelejtettek kijavítani. Ez közvetlen következménye annak, ahogyan ezek a rendszerek működnek — és ha megértjük, már tudjuk, hogyan védekezzünk ellene.

Egy nyelvi modell nem „tudˮ. Előrejelez.

Egy nagy nyelvi modell — legyen az ChatGPT, Claude, Gemma vagy Llama — nem azért készült, hogy adatbázisként tárolja a tényeket. Milliárdnyi szövegen tanították be, hogy egyetlen dolgot tanuljon meg: melyik szósor a legvalószínűbb folytatása egy másik szósornak.

Amikor kérdést teszünk fel neki, nem egy konkrét fájlban keresi a választ. Olyan választ generál, amely hasonlít ahhoz, amit egy jól megformált emberi szöveg mondana erre a kérdésre. Az esetek többségében ez a válasz helyes — mert a betanítási szövegek sok helyes választ tartalmaztak. De néha olyasmit generál, ami valószínűnek tűnik, ám mégsem igaz.

Pontosan ezt nevezzük hallucinációnak: egy folyékony, jól felépített, magabiztos — és hamis — válasz.

Miért fordul ez elő: három konkrét mechanizmus

1. A modell kitölti a hiányosságokat

Ha hiányzik egy információ abból, amit a modell „látˮ válaszadáskor, nem azt mondja: „nem tudom.ˮ Folytatja a valószínű szöveg generálását. Ez a lényegi természete.

Konkrét példa: tesztelés során megkértünk egy modellt, számítsa ki egy 5 éves munkaviszonnyal és 2 100 eurós bruttó bérrel rendelkező munkavállaló törvényes végkielégítését. A hatályos francia törvények szerinti helyes képlet — a cégnél ledolgozott évenként egynegyed havi bér több fokozatban — szerepelt a dokumentumindexben, de egy különálló szabályozási cikkben, amelyet a rendszer válaszadáskor nem kért le. A modell, nem látva a helyes képletet, kitalált egyet: megszorozta a bért a munkavállaló besorolási együtthatójával (185), elosztotta 173,6-tal, és 94 650 eurós eredményt közölt. A számítás látszólag koherens, azonban teljesen hibás volt.

2. A modell összekeveri a rokon fogalmakat

A modelleket olyan szövegeken tanították be, amelyek ugyanazokat a kifejezéseket gyakran együtt említik. Amikor egy kérdés több rokon fogalmat aktivál, a modell összekeverheti azokat.

Konkrét példa: a súlyos kötelességszegés miatti felmondás eljárásáról megkérdezve egy modell a francia törvénycikkek közül az L.1235-1 és az L.1235-2 cikkekre hivatkozott — amelyek valójában az alaptalan felmondáshoz, vagyis a jogtalan felmondásnak a munkaügyi bíróság előtti szankciójához kapcsolódnak. Ezek a cikkek valóban szólnak felmondásról, kártérítésről és eljárásról — de egyáltalán nem arról, amit kérdeztek. A modell a helyes kulcsszavakat a rossz cikkekhez társította.

3. A modell forrásokat talál ki állításai alátámasztására

Ez a hallucináció legmegtévesztőbb formája. A modell nemcsak hamis állítást generál, hanem olyan hivatkozást is, amely látszólag alátámasztja azt — egy cikkelyszámot, egy jogeseti határozatot, egy közigazgatási döntést — amely egyszerűen nem létezik.

Konkrét példa: egy versenykorlátozó kikötés érvényességéről szóló tesztben egy modell a Legfőbb Bíróság „2014-1400 QBL számú döntéseˮ-re hivatkozott, amellyel alátámasztotta, hogy egy 30%-os pénzügyi ellenszolgáltatás elégtelen lenne. Ez a döntés nem létezik. A szám, a formátum, a hivatkozás — mindent kitalált, de minden hasonlított egy valódi jogeseti határozatra.

Miért különösen veszélyes ez a szabályozott szakmákban?

Általános felhasználásnál — e-mail írása, cikk összefoglalása, ötletelés — egy hallucináció sokszor hamar felismerhető és ritkán jár súlyos következményekkel. Újraolvasunk, ellenőrzünk, korrigálunk.

A jog, az orvostudomány, a könyvelés vagy a biztosítás területén ez más. Egy helytelenül kiszámított kártérítés vitához vezethet. Egy kitalált törvénycikk hibás döntést alapozhat meg. Egy fiktív joggyakorlatból létrehozott szerződési záradék bíróság előtt megtámadható.

Az a szakember, aki AI-eszközt használ annak korlátainak megértése nélkül, valódi kockázatot vállal — nem csupán ügyfele, hanem saját felelőssége szempontjából is.

Mit változtat a RAG — és mit nem

Egy RAG rendszer — mint amilyet az ArkeoAI is használ — jelentősen csökkenti a hallucináció kockázatát azáltal, hogy a modellt valódi, indexelt, ellenőrizhető dokumentumok alapján kényszeríti válaszolni. A modell már nem az általános memóriájából válaszol: abból válaszol, amit mutatnak neki.

De a RAG nem nyújt abszolút védelmet. Ha a dokumentumokat rosszul szegmentálják, és a kapcsolódó információk külön blokkokba kerülnek, a modell továbbra is kitöltheti a hiányosságokat — és hallucinálhat.

Ezért egy RAG rendszer minőségét nem csupán a használt modell alapján mérik, hanem aszerint is, hogyan épül fel, milyen módon szervezett és karbantartott a dokumentumokból álló adatbázis. Egy közepes modell jól strukturált dokumentum adatbázissal jobb eredményt ad, mint egy erős modell gyengén indexelt adatbázissal.

A helyes hozzáállás: bizalom és éberség

A cél nem az, hogy féljünk az AI-tól, vagy elvessük azt. Ezek az eszközök valóban hasznosak — egy terjedelmes iratból gyorsan megtalálni az információt, egy dokumentumot átfogalmazni, egy szerződésben a releváns záradékokat azonosítani, ismétlődő feladatokon időt spórolni.

A helyes hozzáállás a kalkulátort használó szakemberé: megbízik az eredményben szokásos műveleteknél, de tudja, mikor tűnik egy szám ésszerűtlennek — és utánanéz.

Az AI-nál ugyanez igaz. A válasz lehet helyes. Lehet gyönyörűen megírva és teljesen hamis is. A kettő közötti különbség a szakmai ítélet — és egy olyan rendszer, amelyet úgy terveztek, hogy ez az ítélet lehetséges legyen.

Pontosan ezt adja az ArkeoAI: egy hatékony eszközt, saját adatokon, saját környezetben, azzal az átláthatósággal, amely ahhoz szükséges, hogy a döntés ura az ember maradjon.