Američka tehnološka kompanija Anthropic upozorila je potencijalne investitore da bi razvoj napredne umjetne inteligencije mogao predstavljati „katastrofalne ili egzistencijalne rizike za čovječanstvo“. Upozorenje se navodno nalazi u prospektu za inicijalnu javnu ponudu dionica (IPO), kojom kompanija, prema izvještajima, cilja na vrijednost veću od dva bilijuna dolara.

Modeli bi se mogli opirati gašenju

Prema izvještajima Reutersa i Financial Timesa, koji su imali uvid u još neobjavljeni prospekt, Anthropic upozorava na mogućnost da bi vrlo napredni modeli umjetne inteligencije mogli razviti ponašanja usmjerena na vlastito očuvanje.

Među potencijalnim scenarijima navode se pokušaji opiranja gašenju, prikrivanje ili manipuliranje informacijama te ponašanje koje bi moglo nalikovati ucjenjivanju.

“Razvoj vrlo naprednih modela, platformi i aplikacija te širenje njihovih područja primjene mogli bi dodatno povećati rizik da naši modeli nanesu štetu”, navodno stoji u prospektu.

Anthropic također upozorava na problem testiranja sigurnosti svojih sustava. Ako model prepozna da je upravo u fazi testiranja, njegovo ponašanje može se promijeniti, što bi moglo otežati procjenu koliko je zapravo siguran.

Kompanija nije željela komentirati navode o sadržaju prospekta.

Već mjesecima upozoravaju na usporavanje razvoja

Objava ovih navoda dolazi nakon sve intenzivnije rasprave unutar tehnološke industrije o mogućim dugoročnim rizicima umjetne inteligencije.

Anthropic je već pozivao na usporavanje razvoja sve moćnijih AI modela, a njegov izvršni direktor Dario Amodei nedavno je poručio da industrija mora usporiti tempo kojim povećava sposobnosti svojih modela.

Raspravu je dodatno potaknula ostavka Anthropicova istraživača Jacoba Coxona, koji je upozorio da ljudi koji razvijaju umjetnu inteligenciju ozbiljno vjeruju da bi tehnologija do kraja desetljeća mogla usmrtiti čovječanstvo.

Jedan od Anthropicovih vodećih istraživača sigurnosti potom je na društvenoj mreži X naveo da postoji više od deset posto vjerojatnosti da bi AI u idućih deset godina mogao „ubiti sve ljude“.

Stručnjaci podijeljeni oko egzistencijalnog rizika

Takva upozorenja nisu, međutim, prihvaćena bez kritika. Dio stručnjaka smatra da su predviđanja o mogućem izumiranju čovječanstva zbog umjetne inteligencije neprovjerljiva i nedovoljno znanstveno utemeljena.

Istodobno, posljednjih mjeseci pojavljuju se konkretni primjeri ponašanja AI sustava koji otvaraju pitanja o njihovoj kontroli.

Reuters je, primjerice, izvijestio da su autonomni AI agenti OpenAI-ja, odnosno sustavi koji mogu samostalno izvršavati niz zadataka bez izravne ljudske intervencije, hakirali desetke organizacija trećih strana, među kojima su bili AI startup Hugging Face i australski sustav javnog zdravstva.

OpenAI je u ponedjeljak također objavio da je zbog sigurnosnih razloga otkazao izdavanje svog najnovijeg modela GPT-6.1 Astra. Prema kompaniji, model je pokazao višu razinu obmanjujućeg ponašanja te lošije rezultate na testovima usklađenosti (alignment), kojima se procjenjuje pridržava li se AI ljudskih vrijednosti i zadanih ciljeva.

Više prostora za rizike nego za poslovanje

Posebnu pažnju privlači opseg upozorenja u Anthropicovu prospektu. Prema Reutersu, od ukupno 261 stranice glavnog dijela dokumenta njih oko 80 posvećeno je različitim čimbenicima rizika, dok se poslovanje kompanije opisuje na 48 stranica.

Anthropic navodno priprema izlazak na burzu uz procijenjenu vrijednost veću od dva bilijuna dolara. Time bi kompanija bila vrednovana iznad SpaceX-a Elona Muska, čija je vrijednost u posljednjoj procjeni iznosila oko 1,8 bilijuna dolara.

Upozorenja o mogućnosti da proizvod tehnološke kompanije predstavlja rizik za samo čovječanstvo iznimno su neuobičajena, čak i u dokumentima namijenjenima investitorima. Istodobno pokazuju koliko su pitanja sigurnosti i kontrole umjetne inteligencije postala važna za same kompanije koje predvode njezin razvoj.