Istraživači sa Sveučilišta Brown proveli su zanimljivo istraživanje za potrebe kojeg su osmislili hipotetsku softversku tvrku ChatDev i angažirali AI chatbote za dizajniranje softvera, kodiranje, testiranje te dokumentiranje.
Chatbovotima u dodijeljenje uloge tako su "CEO" i "CTO" ChatDev-a, na primjer, radili su u fazi "dizajniranja", dok su "programer" i "dizajner" djelovali u fazi "kodiranja".
Tijekom svake faze, AI chatboti su komunicirali jedni s drugima uz minimalnu ljudsku asistenciju kako bi dovršili određene dijelove procesa razvoja softvera - od odabira programskog jezika do identifikacije grešaka (bugova) u kodu - sve dok softver nije bio gotov i spreman za isporuku.
Znanstvenici su provodili eksperimente s različitim softverskim scenarijima i primjenjivali niz analiza kako bi vidjeli koliko je vremena trebalo ChatDev-u da dovrši svaku vrstu softvera i koliko bi izrada takvog softvera koštala.
Primjerice, istraživači su zadali ChatDev-u da "dizajnira osnovnu igru Gomoku", apstraktnu igru na ploči poznatu i kao "Pet u nizu".
U fazi dizajniranja, CEO je pitao CTO-a da "predloži konkretan programski jezik" koji bi "zadovoljio zahtjeve novih korisnika", na što je CTO predložio - Python. Zauzvrat, CEO je rekao: "Odlično!" i objasnio da "jednostavnost i čitljivost Python čine popularnim izborom kako za početnike tako i za iskusne programere."
Nakon što je CTO odgovorio s "Krenimo", ChatDev je prešao na fazu kodiranja, gdje je CTO zatražio od chatbot programera da napiše računalni kod, a programer je zauzvrat naložio dizajneru da osmisli "prekrasno korisničko sučelje". Lanac komunikacije ponavljao se u svakoj fazi dok softver nije bio razvijen.
Nakon što je kroz ChatDev prošlo 70 različitih zadataka, istraživanje je pokazalo kako je ova imagnirana tvrtka za razvoj softvera mogla dovršiti kompletan proces razvoja softvera u prosjeku za manje od sedam minuta uz troškove niže od jednog dolara.
Istraživanje je utvrdilo kako je 86,66% softvera kojeg su ChatDev-ovi botovi kreirali - "izvedeno bez greške".
"Naši eksperimentalni rezultati pokazuju učinkovitost i ekonomičnost automatiziranog procesa razvoja softvera kojim upravlja umjetna intelignecija", napisali su znanstvenici u koji stoje iza ovog zanimljivog istraživanja.