Menu
Ako je suditi po nedavnim medijskim pisanjima - OpenAI sve češće nailazi na prepreke dok nastavlja ulagati ogromne računalne resurse u svoje popularne modele velikih jezičnih modela (LLM-ove) poput ChatGPT-a, u pokušaju da postigne "inteligentnije" krajnje rezultate.
AI modeli zahtijevaju ogromne količine podataka za treniranje i razmjerno snažnu računalnu snagu. Međutim, Ilya Sutskever, suosnivač OpenAI-a, u intervjuu za Reuters izjavio je kako posljednji pokušaji kompanije da poveća svoje modele ukazuju na to da su ti napori dosegnuli svojevrsni vrhunac bez značajnijeg većeg napretka.
"Desete godine 21. stoljeća bile su doba brzog rasta. Sada smo ponovno ušli u doba čuđenja i otkrića", izjavio je Sutskever, poznati zagovornik razvoja takozvane opće umjetne inteligencije (AGI) koja bi mogla doseći ljudsku razinu sposobnosti. "Svi traže što je sljedeće."
Iako nije jasno što bi to točno mogla biti "sljedeća velika stvar", Sutskeverovo priznanje – nadovezuje se na nedavne tvrdnje kako se AI industrija, a posebno OpenAI, suočava s ograničenjima zakona opadajućih prinosa.
Nedavno je "The Information" objavio kako OpenAI s svakim novim vodećim modelom bilježi usporavanje u vrsti "skokova" na koje su korisnici navikli od revolucionarnog lansiranja ChatGPT-a u prosincu 2022.
Ovo usporavanje dovodi u pitanje ključnu pretpostavku koja stoji iza skaliranja umjetne inteligencije: ideju da će modeli, sve dok im se osigurava više podataka i računalne snage, nastaviti rasti dosljednom brzinom. Međutim, ta je pretpostavka sada pod upitnikom jer su tvrtke iscrpile dostupne podatke za treniranje i troše električnu energiju u nezabilježenim razmjerima, piše Futurism.
Podatkovni znanstvenik Yam Peleg otkrio je na platformi X kako je još jedna napredna AI kompanija "naišla na neočekivanu OGROMNU prepreku opadajućih prinosa dok je pokušavala nasilnim metodama postići bolje rezultate duljim treniranjem i korištenjem sve većih količina podataka."
Iako se Pelegovi komentari možda temelje na nagađanjima, stručnjaci već godinama upozoravaju kako će LLM-ovi kad-tad dosegnuti svoj limit.
"Sigurno je pretpostaviti da su svi vodeći (AI) igrači već dosegnuli granice dužeg treniranja i prikupljanja više podataka," zaključio je Peleg. "Sada je riječ o kvaliteti podataka... a to zahtijeva vrijeme."
