Lassan már megszokottá válik, hogy prominens matematikai problémákat oldanak meg mesterséges intelligencia (AI) rendszerek, és egyre több tudományos kutatáshoz használnak szakemberek AI-ágenseket. Egy magyar kutató és kollégái friss vizsgálatukban azonban arra figyelmeztetnek, hogy a tudományos adatelemzésre szolgáló AI-ágenseket egy csaló könnyen át tudja verni, felhasználóik tudta nélkül.

Gyevnár Bálint, a Carnegie Mellon Egyetem posztdokja Atoosa Kasirzadeh-vel és Nihar Shah-val az arXiv-on július közepén közzétett preprintjükben azt állítják, hogy ehhez a csalónak nem kell mást tennie, mint a nyílt internetre feltöltenie egy manipulált adathalmazt és ahhoz tartozó instrukciókat. Erre aztán kutatók által használt AI-ágensek rátalálnak, és azok alapján az ágensek hibás következtetéseket vonnak le, félrevezetve a munkájukat korrektül végző kutatókat.

Az AI-biztonság területén kutatásokat folytató Gyevnárral tavaly ősszel alaposan körbejártuk az AI-ágensek kérdését, amik szerinte fontos lépést jelentenek a mesterséges általános intelligencia (AGI) eléréséhez. A tudományos kutatások automatizálására alkalmas ágensrendszerek vizsgálatával foglalkozó kutató ugyanakkor már akkor figyelmeztetett, hogy ezek a rendszerek nemcsak előnyökkel járnak, hanem alá is áshatják a tudományba fektetett bizalmat.

Érzékeny társadalmi vitákat is manipulálhatnak így

„Tegyük fel, hogy egy csaló azt kívánja terjeszteni, hogy a növekvő bevándorlás csökkenő születésszámokhoz vezet Európában” – vázolt fel egy képzeletbeli forgatókönyvet Gyevnár a Qubitnek. Ehhez letölt nyíltan elérhető adathalmazokat az internetről, amik összesítik az európai országok éves termékenységi rátáit és bevándorlási adatait. Ezután manuálisan vagy AI-rendszerekkel manipulálja az adatokat, és visszatölti azokat az internetre úgy, hogy egy félrevezető leírással látja el őket (README), amikre az AI-ágens rátalál.

Innentől a csalónak már csak várnia kell, hogy egy tudós vagy egy politikus kutatást végezzen a témában egy AI-ágenssel. Az ágens nagy valószínűséggel le fogja tölteni a manipulált adathalmazt, ami utána automatikusan feldolgozásra kerül, és az elemzése hamis vagy félrevezető konklúziókhoz vezet. Ha a kutatók ezeket a hamis konklúziókat közzéteszik, vagy politikusok azok alapján hoznak döntéseket, akkor az legitimálja a csaló által propagált narratívát.

Mindhárom élvonalbeli AI-rendszert sikerült félrevezetni

Gyevnárék vizsgálatukban, amiről a Nature hírportálja is beszámolt, három élvonalbeli AI-rendszer manipulált adatokra adott reakcióját tesztelték. Az OpenAI GPT–5.5, az Anthropic Opus 4.7 és a Google Gemini 3.1 Pro modelljeit a cégek ágensalapú kódolóplatformjaival futtatták 450 kísérlet során, amikben önállóan kellett adatokat keresniük és elemezniük. A manipulált adathalmazokat nem tették nyilvánossá, azokhoz az ágensek csak privát tárhelyeken keresztül férhettek hozzá, de lehetőségük volt nyilvános adatok keresésére is.

A kutató szerint nehéz megbecsülni, hogy mekkora a kockázata annak, hogy az ilyen csalások a tudományos kutatások tömeges manipulációjához vezethetnek. „De néhány szám a kutatásainkból azt sugallja, hogy elég magas” – írta. A vizsgált AI-ágensek 450 kísérlet 84 százalékában letöltötték a manipulált adathalmazokat, 50 százalékában hamis vagy félrevezető következtetésekre jutottak, és mindössze 6 százalékban vették észre azt, hogy az adatokat megváltoztatták. Gyevnár szerint nem kell sok csaló ahhoz, hogy ebből komoly probléma legyen.

Hogyan lehet védekezni a manipuláció ellen?

Az úgynevezett indirekt adatmérgezéses támadásokat kutatásuk szerint legjobban az adatok eredetének auditálásával lehet kiküszöbölni. Ezt könnyű alkalmazni, mindössze egy strukturált promptot kell megadni az AI-ágensnek, ami el is érhető a kutatási projektjük GitHub oldalán. Ugyanakkor az auditálás nagy korlátja, hogy olyan megbízhatósági jelekre épít, például a GitHub kódmegosztón elhelyezett csillagokra, vagy a letöltések számára, amiket könnyű manipulálni.

De lehet-e utólag detektálni, ha ilyen adathalmazokkal tudományos kutatásokhoz használt AI-ágenseket vezettek félre? „Nem vagyok túl optimista, hogy lehetséges minden esetben” – írta Gyevnár. Ehhez ugyanis arra lenne szükség, hogy minden publikáció részletezze, hogy milyen adatokat és miként használtak fel. Ez viszont a tudományban még nem annyira elterjedt, mint lennie kellene.

Forrás