Bár a GPT-5 bizonyos területeken fejlődést hozott, sok felhasználó és szakértő úgy érzi, az igazi áttörés elmaradt. Ez új kérdéseket vet fel a nagy nyelvi modellek (LLM-ek) jövőjével és a mesterséges általános intelligencia (AGI) elérésének lehetőségével kapcsolatban. Minderről Sabine Hossenfelder publikált egy videót, amelyben azt vizsgálja, vajon tényleg beleütköztünk-e egy falba, és hogy az AGI hajszolása nem pusztán egy délibáb kergetése-e, miközben tonnaszám szórjuk a pénzt útközben.

A videó két frissen megjelent kutatási tanulmány eredményeit foglalja össze, amelyek segítenek megérteni, miért lehet, hogy a méret növelése önmagában nem hozza meg a várt áttörést. Az első tanulmány épp azokat a skálázási törvényeket értékeli újra, amelyek korábban berobbantották az optimizmust az MI fejlődésével kapcsolatban. Ezekre a számításokra épültek azok a híres előrejelzések is, amelyek szerint 2027-re „intelligenciarobbanás” várható.

A kutatók most azonban rámutattak egy súlyos hiányosságra: az LLM-ek (tehát a ChatGPT-hez hasonló nagy nyelvi modellek) hibaarányának csökkentése sokkal nehezebb, mint ahogy korábban gondolták. Konkrétan, a modellhibák akár tízszeres csökkentése is körülbelül 10²⁰-szoros számítási kapacitást igényelne. Ez akkora energiaigény, hogy – ahogy a tanulmány tréfásan megjegyzi – „egy galaxis méretű naperőműre” lenne szükség a megvalósításhoz.

Mi következik mindebből?

Az, hogy elméletileg tényleg nincs felső határa a skálázhatóságnak, de a számítási igény olyan extrém, hogy az a gyakorlatban már átléphetetlen falat jelent.

Ez segít megmagyarázni, miért nő a szakadék az elméleti optimizmus és a valós felhasználói tapasztalatok között – még a legfejlettebb modellek is gyakran hibáznak, néha bosszantóan egyszerű helyzetekben is.

A második tanulmány az LLM-ek érvelési képességeit vizsgálja, különösen a „gondolatlánc”-módszert, amelynek célja, hogy a modellek többlépéses logikai folyamatok segítségével oldják meg a problémákat. Az eredmények ezen a területen is kiábrándítóak:

Az LLM-ek nem tudják általánosítani az érvelési képességeiket azon túl, amit a betanítás során láttak.

Így gyakran előfordul, hogy bár a modell helyesen követi a logikai lépéseket, rossz végső választ ad. Máskor pedig épp ellenkezőleg: rossz okokból ad jó választ.

A tanulmány szerzői így fogalmaznak:

„Az LLM-ek gondolkodása törékeny délibáb – kifinomult szövegszimuláció, nem valódi logikai megértés.”

Más szóval: az LLM-ek nem gondolkodnak, csak mintákat illesztenek egymáshoz. Ez a megállapítás összhangban áll az Anthropic kutatásaival is, amelyek kimutatták, hogy a modellek által generált gondolkodási lépések sokszor nem kapcsolódnak szorosan a végső eredményhez.

Mindez tehát elgondolkodtató a mesterséges intelligencia jövője kapcsán, de különösen borús képet fest azoknak a cégeknek, amelyek az általános mesterséges intelligenciát (tehát az oly áhított AGI-t) a modellek méretének növelésével szeretnék elérni. Mert mit jelent mindez? Azt, hogy a gondolkodás fejlődése nem jelenik meg „varázsütésre” – csak azért, mert több paramétert, több adatot vagy nagyobb számítási kapacitást adunk a modelleknek.

Éppen ezért a kutatók szerint az AGI nem lehetetlen, de az eléréséhez teljesen új megközelítésekre lesz szükség – a skálázás önmagában nem elegendő.

Egyre több szakértő – köztük a tanulmányokat bemutató Sabine Hossenfelder is – azon a véleményen van, hogy a nyelv alapú tanulás zsákutca. Ahogy Gary Marcus kognitív tudós is gyakran hangsúlyozza:

„A nyelv nem írja le pontosan a valóságot.”

Az igazi intelligencia feltételezi ugyanis a világgal való aktív interakciót, hipotézisek tesztelését és a folyamatos alkalmazkodás képességét. Ebből kiindulva a jövő az úgynevezett „világmodelleké” lehet – olyan mesterséges intelligencia-rendszereké, amelyek nemcsak szöveges adatokból tanulnak, hanem valós vagy szimulált környezetekben is képesek tapasztalatot szerezni.

Az egyik ígéretes példa a DeepMind Genie 3, amely lehetővé teszi, hogy az MI virtuális világokban tanuljon, ezzel közelebb kerülve a valódi megértéshez – túl a puszta mintautánzáson. A Genie 3 amúgy egy elképesztő modell: szöveges parancsból nem szöveget, nem is képet, hanem szabadon bejárható világot generál. Igaz, csak pár percig lehet ezekben a világokban bolyongani, de így is lenyűgöző, hogy a rendszer mire képes.

Mi tehát a jelenlegi helyzet két fő tanulsága?

• GPT-5 és az LLM-ek: lenyűgözőek, de alapvetően korlátozza őket a hibacsökkentés elképesztő költsége és a logikai érvelés törékenysége.
• A jövőbeli AGI: valószínűleg olyan rendszerekből születik meg, amelyek interaktív, fizikán alapuló világmodelleket használnak – nem pedig a végtelenül növelt nyelvi modellekből.

Egyszerűbben megfogalmazva: a valódi mesterséges intelligencia felé vezető út valószínűleg nem a jelenlegi modellek „felfújásában”, hanem teljesen új tanulási módszerek kidolgozásában rejlik – olyan rendszerekben, amelyek képesek aktívan kapcsolatba lépni a világgal, tanulni belőle, és valódi alkalmazkodóképességet fejleszteni.

(Kép: Pixabay/turzo_plays)