Kako zapravo funkcioniraju AI chatbotovi poput ChatGPT-a? Portal Science Alert izdvojio je pet točaka koje je važno znati za bolje razumijevanje ove tehnologije i njezinih mogućnosti.

1. Treniraju uz pomoć ljudskog nadzora

Proces treniranja započinje tzv. pre-treningom, gdje model uči predviđati sljedeću riječ u velikim skupovima tekstova, čime stječe opće razumijevanje jezika i činjenica. Međutim, kako bi odgovori bili sigurni i korisni, ljudski treneri usmjeravaju modele prema etički prihvatljivim i neutralnim odgovorima, što se naziva “poravnavanje” (alignment). Bez tog ljudskog nadzora, AI bi mogao davati neprimjerene ili opasne informacije.

2. Chatbotovi ne uče riječi, već “tokene”

Za razliku od ljudi koji uče jezik kroz riječi, AI koristi manje jedinice zvane tokeni, koji mogu biti riječi, dijelovi riječi ili nizovi znakova. Tokenizacija može ponekad biti neočekivana, što pokazuje složenost kako AI interpretira jezik. Vokabular modernih AI modela obično se sastoji od 50.000 do 100.000 tokena.

3. Znanje im se ne ažurira se automatski

ChatGPT, primjerice, ima zadnju točku ažuriranja podataka u lipnju 2024. Za informacije o događajima nakon tog datuma koristi pretraživanje interneta kako bi pružio ažurirane odgovore. Ažuriranje modela je složen i skup proces, pa je trenutno rješenje kombinirati trenirani model s pretraživanjem u stvarnom vremenu.

4. AI često “halucinira” i daje besmislene informacije

Chatbotovi ponekad s velikom sigurnošću iznose pogrešne ili izmišljene tvrdnje jer generiraju tekst na temelju statističkih obrazaca, a ne stvarne provjere činjenica. Iako postoje alati za provjeru istinitosti i posebni upiti koji mogu smanjiti ove pogreške, one se ne mogu u potpunosti eliminirati. Korisnici bi stoga trebali AI informacije uzimati kao početnu točku, a ne nepobitnu istinu.

5. Za matematičke zadatke koriste ugrađene kalkulatore

AI chatbotovi koriste tzv. “chain of thought” (lanac razmišljanja) pristup, gdje rješavaju problem korak po korak. Za složene izračune, poput kombinacije množenja i oduzimanja, koriste ugrađeni kalkulator koji im omogućuje precizne rezultate, čime se povećava pouzdanost u rješavanju matematičkih problema.