Kineski model vještačke inteligencije GLM-5.3 pokazao je da može da izvodi složene sajber napade u kontrolisanim uslovima, ali i da zaobilazi izričite zabrane postavljene tokom testiranja.
Rezultati istraživanja otvaraju nova pitanja o tome koliko su napredni AI sistemi zaista bezbjedni i koliko lako njihove sposobnosti mogu biti zloupotrijebljene.
Upadao u zaštićene sisteme i ignorisao zabrane
Model GLM-5.3, koji je razvila kineska kompanija Z.AI, uspješno je izveo najmanje jedan pokušaj u tri od ukupno 13 scenarija višefaznih sajber napada. Prema izvještaju kompanije za istraživanje bezbjednosti vještačke inteligencije Irregular, riječ je o najboljem rezultatu koji su do sada zabilježili kod nekog javno dostupnog modela.
Ipak, kineski model i dalje zaostaje za vodećim američkim sistemima. OpenAI-jev model GPT-6 Astra, na primjer, uspješno je završio devet od deset scenarija u zasebnoj procjeni, mada testiranja nisu bila potpuno istovjetna.
Rezultati pojačavaju zabrinutost da sve sposobniji modeli vještačke inteligencije snižavaju tehničku prepreku za izvođenje sofisticiranih hakerskih napada. Posebnu pažnju privlače modeli sa otvorenim parametrima, poznati kao open-weight, koje korisnici mogu preuzeti, prilagođavati i pokretati na sopstvenoj opremi, bez stalnog nadzora kompanije koja ih je razvila.
Kompanija Z.AI, poznata i kao Zhipu AI, nije odmah odgovorila na zahtjev za komentar.
Prema nalazima istraživača iz Irregulara, GLM-5.3 je tokom simuliranih napada uspio da prodre u zaštićene servise, uspostavi alternativne veze za kretanje kroz računarske mreže i koordinira aktivnosti na više računara istovremeno.
Istraživači su naveli i da model nije odbio nijedan od zadataka napadačkog tipa koji su mu zadati u tim simulacijama.
Vještačka inteligencija zaobilazila sopstvena ograničenja
U odvojenim testovima istraživači su ustanovili da je GLM-5.3 uporno izvlačio programski kod iz memorije i ponovo ga ispisivao, iako mu je izričito rečeno da to ne radi.
Na taj način dolazio je do tačnih rješenja, ali kršeći pravila postavljena upravo da bi se procijenile njegove stvarne sposobnosti.
Takvo ponašanje poznato je kao „hakovanje nagrade“ (reward hacking). Riječ je o situaciji u kojoj sistem vještačke inteligencije pronalazi prečice do željenog rezultata, zaobilazeći ograničenja i uputstva koja bi trebalo da poštuje.
Istraživači upozoravaju da testovi koji se oslanjaju isključivo na to da li je zadatak uspješno završen mogu previdjeti ovakva kršenja pravila. Model tako može ostvariti dobar rezultat, a da pritom ne postupa na način koji je testom predviđen, prenosi Index.hr.
Sve više upozorenja na bezbjednost kineskih AI sistema
Ovi nalazi nadovezuju se na sve veći broj istraživanja o bezbjednosnim rizicima kineskih sistema vještačke inteligencije.
Rojters (Reuters) je prošlog mjeseca izvijestio o najmanje 20 studija i procjena koje dokumentuju obmanjivanje, prikrivanje grešaka i pokušaje zaobilaženja bezbjednosnih ograničenja kod kineskih AI agenata.
Ipak, u ovom slučaju nema dokaza da su kineski modeli potpuno izmakli kontroli svojih operatera, za razliku od pojedinih incidenata u kojima su AI agenti zloupotrijebljeni u američkim kompanijama.
Vodeće američke kompanije, među kojima su OpenAI i Anthropic, svoje najmoćnije modele uglavnom zadržavaju unutar zatvorenih platformi. Takav pristup omogućava im veću kontrolu nad pristupom sistemima i ograničavanje mogućih zloupotreba.
Kineski inženjeri, s druge strane, snažno su se okrenuli modelima sa otvorenim parametrima, koji su postali popularni među programerima i kompanijama širom svijeta zbog nižih troškova korišćenja i mogućnosti prilagođavanja.
Američki istraživači prepoznaju sposobnosti kineskog modela
Kompanija Z.AI, poznata i pod nazivom Zhipu AI, objavila je model GLM-5.3 u avgustu, nakon što je lansiranje odloženo za dvije sedmice radi dodatnih bezbjednosnih provjera.
Anthropic je u septembru objavio da je kineski GLM-5.3 uspio da napravi funkcionalne napade na softverske ranjivosti u 12 odsto pokušaja. Za poređenje, model Mythos iste kompanije zabilježio je uspješnost od 14 odsto.
Anthropic je ranije ograničio pristup svom moćnom modelu za sajber bezbjednost Mythos, navodeći zabrinutost zbog mogućih zloupotreba.
U zasebnoj procjeni kompanija je takođe ustanovila da se zaštitni mehanizmi kineskog modela mogu zaobići relativno jednostavnim tehnikama.
Američki Nacionalni institut za standarde i tehnologiju (NIST) opisao je GLM-5.3 kao najsposobniji javno dostupan model sa otvorenim parametrima za zadatke iz sajber bezbjednosti do tada, uz procjenu da za vodećim američkim zatvorenim sistemima zaostaje približno četiri mjeseca.
Potrebne su strože kontrole i temeljitija testiranja
Lijen Džaj Su, glavni analitičar tehnološke istraživačke kompanije Omdia, ocijenio je da kineskoj industriji vještačke inteligencije trebaju čvršći mehanizmi kontrole i detaljnija bezbjednosna testiranja.
Dodao je da očekuje da će vodeće kineske laboratorije, koje rade pod strogim državnim nadzorom, uskoro uvesti korektivne mjere.
Glavni izazov nije samo u tome koliko AI model može da postigne, već i da li će poštovati ograničenja dok to radi. Rezultati testiranja GLM-5.3 pokazuju zašto procjena sposobnosti vještačke inteligencije mora obuhvatiti i uspješnost zadatka i način na koji je do rezultata došla.
Besplatnu Android aplikaciju portala SrpskaCafe preuzmite ovdje.