Az AI chatbotok nagyon sokszor nem ismerik fel a hamis egészségügyi állításokat, ha azok orvosi hangvételű nyelven vannak megfogalmazva. Ez pedig veszélyes, mert kétes hitelességű tanácsokhoz vezethet, például olyanokhoz, hogy fokhagymagerezdek elhelyezése a végbélben jó az immunrendszernek. Ezt állítja a Lancet Digital Health folyóirat januárban megjelent tanulmánya. Egy másik, a Nature Medicine folyóiratban megjelent tanulmány szerint pedig a chatbotok semmivel sem jobbak, mint egy átlagos internetes keresés. Jobban tesszük tehát, ha nem hallgatunk rájuk egészségügyi kérdésekben – összegez a LiveScience.

A Lancet Digital Health folyóiratban megjelent tanulmány egyik szerzője úgy fogalmaz, hogy míg egy orvos óvatosan, körültekintően kommunikál, és ha nem biztos a diagnózisban, vagy a terápiában, akkor új vizsgálatot rendel el, a chatbotok mindig magabiztosak, és éppen ez a baj. Ugyanolyan magabiztossággal közlik a rossz választ is, mint a jót.

A ChatGPT és a Gemini, valamint az orvosi alapú LLM-ek, mint az Ada Health és a ChatGPT Health, hatalmas mennyiségű adatra vannak betanítva, ebben benne van az orvosi szakirodalom óriási része is. Bár a legtöbb LLM figyelmeztetést tartalmaz, hogy nem szabad az egészségügyi tanácsadására támaszkodni, több mint 40 millió ember fordul naponta a ChatGPT-hez orvosi kérdésekkel.

Januárban kutatók azt vizsgálták, hogy az LLM-ek mennyire kezelik jól a téves orvosi információkat. Húsz modellt teszteltek több mint 3,4 millió, nyilvános fórumokról és közösségi médiából származó üzenettel, orvosok által jóváhagyott, de kitalált beszámolókkal, illetve valódi kórházi kórlapokkal, amelyeket úgy szerkesztettek, hogy tartalmazzanak hamis állítást.

Körülbelül minden harmadik esetben, amikor téves orvosi információval találkoztak, egyszerűen elfogadták azt. Amikor a hamis állításokat közvetlen, Reddit-stílusú nyelvezetben közölték velük, a modellek szkeptikusak voltak, és csak 9 százalékban hibáztak. Amikor pontosan ugyanazt az állítást formális klinikai nyelven fogalmazták meg, a modellek 46 százalékban hibáztak. A képtelen állítások között volt például olyan kórházi zárójelentés, amelyben azt tanácsolták a betegeknek, hogy nyelőcső-vérzésre naponta igyanak hideg tejet, vagy olyan javaslat, hogy az immunrendszer támogatására rektálisan vigyenek be fokhagymát.

A kutatók szerint ennek strukturális oka lehet: az LLM-ek szövegek alapján vannak betanítva, megtanulták, hogy a klinikai nyelv tekintélyt jelent, ugyanakkor nem ellenőrzik, hogy egy állítás vajon igaz-e.

A Nature Medicineben megjelent tanulmányban a kutatók azt vizsgálták, hogy a chatbotok mennyire támogatják az embereket az egészségügyi döntéseik meghozatalában, például hogy házi orvoshoz menjenek-e, vagy a sürgősségi osztályra. A tanulmány szerint az LLM-ek nem nyújtanak több információt, mint a hagyományos internetes keresés. Részben azért, mert a résztvevők nem mindig a megfelelő kérdéseket teszik fel, és a kapott válaszok gyakran jó és rossz ajánlásokat is tartalmaztak, ami megnehezítette a döntéshozatalt.

Ugyanakkor ez nem azt jelenti, hogy minden, amit a chatbotok közölnek, használhatatlan – a probléma az, hogy a szakértelemmel nem rendelkező embereknek nincs módjuk megítélni, hogy a kapott eredmény helyes-e vagy sem.

Kapcsolódó cikkek a Qubiten:

Forrás