Mi van a fekete dobozban?

Tegyük be egy modellbe, hogy „Magyarország fővárosa…", és állítsuk meg a szóköznél. Mi történik a következő ezredmásodpercben? A modell gondolkodik végigfut a saját paraméterein, és kiszámolja, hogy a vokabulárium minden tokenjének mekkora a valószínűsége arra, hogy az kerüljön ide. Hogy pontosan hogyan épül fel ebből egy teljes válasz, azt a §3-ban bontjuk ki.

A modell életében két élesen különálló fázis van, és a kettő összemosása a leggyakoribb félreértés. A tanítás egyszer fut le, milliárd dolláros művelet, a végén a modell tudása rögzül. A használat azóta megy, milliárdszor naponta, fillérekért per kérdés. Ami a tanításba nem került bele, az a modell számára nem létezik. Amit most beszélünk vele, nem épül be holnapra. A chat-élmény folytonosnak tűnik, mégis minden válasz egy befagyott állapotú modellből jön.

Ha ezt a két fázist érted, akkor érted azt is, miért nincs értelme a modellt „megtanítani" arra, hogy „a mi cégünk így működik". Nem így megy. A modell felé minden cégspecifikus tudást a kontextusban kell odacsempészned, mert a tanításában nem volt benne, és a beszélgetésből nem marad meg.

Itt a Budapest 81%-on van, vagyis tízből nyolc-kilenc esetben ezt fogja választani. A Pest 9%, a Buda 4%, a többi szétoszlik. Egy modell nem mindig ugyanazt mondja, mert a választást nem mindig a legmagasabb valószínűségen szögezi le. A „hőmérséklet" (temperature) paraméter szabályozza, mennyit mer eltérni: 0-án mindig a legvalószínűbbet veszi, 0.7 körül egy kicsit mer, 1.0 fölött szabad asszociáció jön.

Mindez egy sokdimenziós térben zajlik. A modell nem szavakat lát, hanem vektorokat: minden token egy pötty egy több ezer dimenziós térben. Mi két dimenziót látunk egy papíron, a modell több ezret a fejében. Ebben a térben a jelentés a távolságból olvasható ki. Hogy ezt egyszerűbben lássuk, egy 2D-vetítés segít. A valóságban a tengelyek nem így néznek ki, de a klaszteresedés érzete pont ezt mutatja.

A „király" és a „királynő" közel állnak egymáshoz. A „Párizs" közel a „Franciaország"-hoz. A „bank" pénzügyi értelmében a „kölcsön" mellett ül, folyópart-értelmében a „víz" mellett. Ugyanaz a szó, két különböző hely a térben, attól függően, milyen szövegkörnyezetben került elő. Ezeket a kapcsolatokat a tanítás során alakította ki a modell, és innen jön az a tapasztalat, hogy nem szótár-keresgélést érzünk, hanem mintha értené, miről beszélünk.

Minden modellnek van egy dátuma, ameddig olvasott. Az ezt követő világról semmit nem tud, hacsak nem kapja meg külön. Ha ennek nem vagy tudatában, könnyű félreérteni, mikor lehet rá támaszkodni. Egy egyszerű kettéosztás eldönti.

A különbség egyetlen kifejezésen múlik: be tudod-e tenni a kontextusba, amit a modellnek tudnia kell. Be lehet másolni: PDF, e-mail, dokumentum, szerződés, riport-CSV. Be lehet kötni: a modell connectoron keresztül eléri a céges Drive-ot, a Slacket, a Gmailt, a Notion-t (lásd a 4. modult). És be lehet automatizálni: egy keresőrendszer megtalálja a releváns dokumentumokat, és a modell ezekből építi a választ. Ezt hívják retrieval augmented generation-nek, röviden RAG-nek.

A nyilvánosság szereti azt mondani, hogy „senki nem tudja, hogyan működik ez". Ez féligaz. Az egyes válaszok belső útját tényleg nem lehet utólag visszafejteni, hogy pontosan miért épp ezt mondta. Az alapelvek viszont ismerősek, és a lecke minden szakasza ezekre épült: predikció token szinten, attention a kontextus-ablakra, tanítás és használat szétválasztva, paraméter mátrixokban tárolva, a tokenek vektorként mozognak a sokdimenziós térben. Ami fekete a dobozban, az a részlet, a logikája megismerhető.

Hogy mit nem tud a modell, ezt egy mondatban is ki lehet mondani. Nincs benne logikai motor: nem ellenőrzi a saját következtetését. Nincs benne valóság-modell: nem tudja megmondani, hogy egy állítása igaz-e a fizikai világban. Nem néz frissen az internetre, csak ha külön eszközt kap rá. Numerikusan gyenge: nagy számokat rosszul szoroz, ezért adunk neki kalkulátor-eszközt. A reasoning modellek úgy tűnik, mintha gondolkodnának, és valóban hozzáadják a saját levezetésüket a kontextushoz, de a mechanizmus alapja ugyanaz: előre jósolt token, sokszor egymás után, csak most a saját gondolataival is.