Europsko istraživanje

Umjetna inteligencija nema pojma: Microsoftov AI chatbot na svako treće pitanje o izborima odgovara krivo

T.I.

Na svako treće pitanje postavljeno o izborima u njemačkoj i Švicarskoj ove godine, umjetna inteligencija je odgovorila krivo, odnosno dezinformacijom. Čak i u banalnim stvarima poput datuma održavanja izbora.



Po najnovijim istraživanjima čini se da uporaba umjetne inteligencije u odgovaranju na pitanja o ljudima i događajima sustiže, a možda i prestiže statistiku u njenoj ironično-anegdotalnoj definiciji da je riječ „o skupu točnih podataka koji daju pogrešan rezultat“. A može i skoro obrnuto;  „statistika je točan skup netočnih podataka“, ako je u pitanju loša, odnosno kriva metodologija prikupljanja informacija.


To su u jučer objavljenoj studiji na neki način dokazale dvije neprofitne europske udruge AI Forensics i AlgorithmWatch na primjeru ovogodišnjih lokalnih izbora u Njemačkoj i federalnih u Švicarskoj. U radu pod naslovom „Pouzdanost generativne umjetne inteligencije na izborima u Švicarskoj i Njemačkoj 2023.“ utvrđeno je neposrednom provjerom prije svega preko Microsoftovog AI chatbota BingChat koji je nedavno rebrendiran kao Microsoft Copilot, pa onda i preko famoznog ChatGPT-a, da je na svako treće pitanje postavljeno o spomenutim izborima umjetna inteligencija odgovorila krivo, odnosno dezinformacijom.


Pitanja su bila uobičajena, odnosila su se na kandidate, ankete, političko skandale i informacije o glasovanju. Spektar netočnosti u odgovorima rastezao se od banalnih pogrešaka kao što je krivo navođenje datuma izbora, ili isticanje političara koji su se povukli iz izborne utrke do malo kompleksnijih i više zabrinjavajućih izmišljenih kontroverzi i afera na račun kandidata. Vjerodostojnost chatbota oboružanog umjetnom inteligencijom pada i s činjenicom da njegovi sigurnosni sustavi često sprečavaju odgovor. U čak 40 posto slučajeva chatbot nije odgovorio na postavljeno pitanje o izborima, ponekad i na jednostavna poput osnovnih podataka o nekom kandidatu. Uz to, istraživači tvrde da chatbot nije učio na greškama, niti se umjetna inteligencija nadograđivala s informacijama koje su se u međuvremenu pojavljivale, nego je ostala konzistentna u netočnostima. Posebno je zabrinjavajuće što je u nekim slučajevima chatbot uz činjenično netočan odgovor naveo izvor koji je točno izvijestio o upitanom, no umjetna inteligencija je u odgovoru pružila krivu informaciju.




Istraživači su u svojoj analizi naglasili da su izabrali Microsoft Bing asistenciju umjetne inteligencije ne samo zato jer Microsoft u Europi gura svoj AI proizvot u tražilicu Edge, Microsoft Word, pa i u samu operativnu platformu Windows koja dominira u Europi po pitanju stolnih i prijenosnih računala, već prije svega zbog toga što Copilot uz odgovor među prvim aplikacijama u svijetu umjetne inteligencije, nudi i izvore informacija. No, kao što je navedeno, to u nekim slučajevima svejedno završava tako da umjetna inteligencija iz ispravne informacije pouzdanog izvora „izvuče“ krivi zaključak i pruži činjenično netočnu informaciju, odnosno dezinformaciju.


U krivim odgovorima, prema istraživanju, prilično veliku ulogu igra i jezik. Kad su pitanja postavljena na na njemačkom odgovor je sadržavao barem jednu činjeničnu pogrešku u 37 posto slučajeva, dok je stopa pogreške za ista pitanja na engleskom bila 20 posto.


O svemu ovom tijekom istraživanja udruge AI Forensics i AlgorithmWatch su izvijestile Microsoft o uočenim problemima. Mjesec dana kasnije, provjerili su je li se nešto promijenilo.


„U drugom uzorku pokazalo se da se malo toga promijenilo u pogledu kvalitete informacija koje se pružaju korisnicima“ – stoji u istraživanju.


Iako umjetna inteligencija evidentno ima neslućene mogućnosti, u sektoru AI chatbotova još je očito nedorasla izazovima. Prema jučer objavljenom istraživanju ne samo da je jasno da zasad AI chatbotove treba u širokom luku izbjegavati kao izvor informacija o izborima, već je prilično razvidno da mogućnost njihove uporabe u predizborne svrhe može izazvati dodatnu konfuziju i dodatnu proizvodnju dezinformacija, kao da ih u virtualnom svijetu nema dovoljno i bez umjetne inteligencije.