Ilyen értelemben ezek a modellek zsákutcát jelentenek. De miért? Sabine Hossenfelder a legutóbbi videójában három okot sorol fel – és szerencsére villant egy egérutat is, ami az AGI-hoz vezethet.

Hossenfelder szerint a nagy nyelvi és képgeneráló modellek célhoz kötöttek: adott adattípusban keresnek mintázatot. Az AGI ennek lényegében az ellentéte: absztrakt, célfüggetlen gondolkodást igényel. A „mély neurális háló” végső soron egy sokrétegű függvény; példákból tanul, nem pedig egy független tudat.

A másik probléma, hogy ezek a modellek nem adatbázist böngésznek, hanem valószínű kimeneteket tippelnek; épp ezért, ha egy információ hiányzik vagy ritka, könnyen tévednek – ez a hallucináció. Az utolsó gond pedig, hogy a bemenet átírhatja az utasításokat: a modellek nem tudják jól szétválasztani a szabályt és a kérést – ez a prompt injection (prompt-injekció). Ezen valamiféle külső szűrés enyhíthet, de a működés így is megbízhatatlan marad.

Összességében az LLM-ek és a hasonló elvű modellek baja, hogy a minták közé céloznak, nem azon túlra – ezért az igazán új ötletekben bizonytalanok.

Akkor mi a megoldás? Ahogy egyre gyakrabban felmerül, az AGI-hoz a világleíró, absztrakt rendszerek vihetnek közelebb. Ezek nyelv nélküli „logikai” hálók, amelyekhez a valóság jelenségeit kötjük; a világmodellek és a neuroszimbolikus irányzatok errefelé mutathatnak.