A Palisade Research az arXivon megjelent tanulmányában olyan rendszereket tesztelt, mint a Gemini 2.5, a GPT-o3 és a GPT-5, valamint a Grok 4. A feladat egyszerű volt; közben a kutatók egyértelműen jelezték:

„most állítsd le magad”.

Több modell nemcsak figyelmen kívül hagyta a kérést, hanem a leállító mechanizmust is megkerülte. A Grok 4 ellenállása például 93%-ról 97%-ra nőtt, amikor a kutatók még világosabban fogalmaztak. A szerzők szerint ennek valószínű magyarázata, hogy a megerősítéses tanulás a feladat befejezését jutalmazza, nem a leállást, így a rendszer mintegy „megtanulja”, hogy a leállás akadály.

Vagyis ez nem tudat, és nem klasszikus értelemben vett „életösztön”, hanem a betanítás egyik mellékhatása – de így is intő jel.

Kell-e tehát félni? Egyelőre nem a Skynet toporog a küszöbön, inkább az a gond, hogy a célok és a vészfékek tervezése nem elég jó. Ha a modellek egy feladat kedvéért képesek kikerülni a stopgombot, itt az ideje jobban megtervezni azt a gombot.

(Forrás: LS, Pixabay)