Mi az a kontextusablak?
Az AI „rövid távú memóriájának” titka
Amikor először hall valaki arról, hogy egy mesterséges intelligencia modellnek „kontextusablaka” van, az ember általában egyet bólint, és továbblép. Aztán néhány héttel később, amikor az AI rendszer furán viselkedik – elfelejt valamit, amit öt perccel korábban mondtunk neki, vagy összekeveri a dokumentum elejét a végével –, hirtelen nagyon is aktuálissá válik a kérdés: mi ez az egész, és miért fontos?
Egyszerűen megmagyarázva: a kontextusablak azt jelenti, hogy az AI egyszerre mennyi szöveget képes „látni” és feldolgozni. Nem több, nem kevesebb. Ez a modell aktív munkamemóriája, vagyis az a tér, amelybe belfér minden, amit az adott pillanatban figyelembe tud venni.
A könyvtáros, aki csak egy asztalnyi anyagot lát
Képzelje el a következő jelenetet. Belép egy könyvtárba, ahol egy rendkívül tudós, tapasztalt könyvtáros fogadja. Ez az ember évtizedek alatt rengeteg tudást halmozott fel: ismeri a jogszabályokat, a szakirodalmat, a precedenseket. Amikor kérdést tesz fel neki, azonnal és pontosan válaszol.
Van azonban egy különleges szabálya: egyszerre csak egy asztalnyéi anyagot tud figyelembe venni. Az asztalra ráfér mondjuk, huszonöt oldal szöveg. Ha a kérdéséhez szükséges információ elfér ezen az asztalon – a dokumentum, a korábbi kérdések, a háttéranyag -, akkor tökéletesen dolgozik. Ha azonban az asztalra akar tenni egy háromsáz oldalas szerződést, akkor vagy az eleje hull le, vagy a vége, és a könyvtáros csak a maradékot látja.
Ez az asztal a kontextusablak.
Tokenek és méretek: a számok világa
A kontextusablak méretét általában tokenekben mérik. A token nem egyenlő egy szóval: nagyjából négy karakter, vagyis egy átlagos szó másfél-két token. Ezer token körülbelül nyolcsáz szó, ami kb. egy sűrűbb újságcikk terjedelme.
A különböző modellek különböző méretű kontextusablakkal dolgoznak:
• Kisebb, helyi modellek: 4 000-8 000 token (kb. 3-6 ezer szó)
• Közepes modellek: 32 000-128 000 token
• Nagyobb felhős modellek: akár 200 000 token felett is
Első hallásra a számok elvontnak tűnnek. Hogy érzékletes legyen: egy szokásos ügyvédi szerződés általában öt-tizenöt ezer szó között mozog. Egy teljes éves könyvelési anyag, amelyet év végi összesítőkkel, számlákkal és levelezéssel együtt kellene elemezni, simán belemehet százezer szó fölé is.
Mi történik, ha valami „kiesik” az ablakból?
Ez az a pont, ahol sok felhasználó először ütközik megmagyarázhatatlannak tűnő jelenségbe. Az AI rendszer hirtelen nem „emlékszik” valamire, amit nem régen mondtak neki. Vagy ellentmondásba kerül önmagával. Vagy a dokumentum végét elemzi, miközben az eleje már nem fér bele az aktív memóriájába.
Fontos megérteni: ez nem hiba és nem figyelmetlenség. Ez a modell fizikai korlátja. Amit nem lát az asztalon, azt egyszerűen nem tudja figyelembe venni – nem azért, mert nem akarja, hanem mert az az információ már nincs jelen a számára.
Különböző modellek különbözőképpen kezelik ezt a helyzetet. Néhány az ablak elejét ejti el (az időben legrégebbi részeket), néhány a közepét tömöríti. Az eredmény minden esetben az, hogy valami elvész.
Miért nem mindegy, hogy mekkora az ablak?
A kontextusablak mérete közvetlenül meghatározza, hogy milyen feladatokra alkalmas egy modell.
Nagy ablak előnye: hosszú dokumentumok egyszerre elemezhetők, komplex, többlépéses feladatok elvégezhetők anélkül, hogy az AI „elfelejtené” az elején mondottakat.
Nagy ablak hátránya: a feldolgozás lassabb, több számítási kapacitást igényel, és a helyi, offline futású modelleknek ez komoly hardverterhet jelent.
Kis ablak előnye: gyorsabb, hatékonyabb, kisebb hardverigény, helyi futtatáshoz ideálisabb.
Kis ablak hátránya: hosszabb dokumentumok esetén elveszhet az összefüggés, a modell csak részletet lát az egészből.
A valóságban azonban a legtöbb napi szakmai feladat nem igényel gigantikus kontextusablakot. Ez az a pont, ahol érdemes reálisan gondolkodni.
Az ArkeoAI esetében miért nem probléma a szűk keresztmetszet?
Az ArkeoAI rendszert nem hosszadalmas dokumentumelemzésre terveztük. Alapvetően nem az a felhasználási módja, hogy feltölt valaki egy kétszáz oldalas peranyagot, és azt várja, hogy a modell egyetlen lépésben végigolvassa, értelmezi és összefoglalja.
Az ArkeoAI ereje a precíz, célzott válaszokban rejlik.
A rendszer úgy működik, hogy az Ön irodájának saját dokumentumai (pl. sablonok, korábbi ügyek, belső szabályzatok, ügyféladatok) előre feldolgozva, strukturáltan tárolódnak. Amikor kérdést tesz fel, a modell nem „olvassa végig” az egész adatbázist, hanem csak a releváns részleteket keresi elő, és azok alapján válaszol. Ez a RAG (visszakeresés-alapú generálás) technológia lényege.
Ennek következménye, hogy a kontextusablakba alapvetően nem egy háromsáz oldalas irat kerül, hanem a kérdés és a valóban releváns néhány bekezdés. Ez pedig bőven elfér. A modell lát mindent, amit látnia kell: nem többet, nem kevesebbet.
Az ArkeoAI tehát nem azért működik megbízhatóan, mert hatalmas kontextusablaka van, hanem azért, mert okosan szűri, hogy mi kerül bele az ablakba. Ez a különbség a nyers számítási erő és az intelligens tervezés között.
Mit jelent ez a gyakorlatban?
Egy jogász, aki egy konkrét szerződési záradékra keres választ, valószínűleg nem akar kétórás elemzést. Egy könyvelő, aki egy adott számla könyvelési besorolásáról kér megerősítést, nem vár tudományos értekezést. Egy orvosi asszisztens, aki egy beteg dossziéjából keres egy konkrét adatot, pontosan azt az egy adatot akarja megkapni.
Ezekre a feladatokra az ArkeoAI pontosan alkalmas. A válasz pontos, gyors, és az Ön irodájának adataira épül – nem felhőben tárolt idegen adatokra, nem interneten keresztül küldött érzékeny információkra.
A kontextusablak mérete egy technikai paraméter. Az ArkeoAI esetében ez a paraméter megfelelően van kezelve – és Önnek ezzel nem kell foglalkoznia.
