Kot je znano, so med varnostnim testom podjetja OpenAI po nizu nepravilnih operacij agenti UI vdrli v sistem Hugging Face. Že prej se je izkazalo, da so agenti med operacijo vdrli v več storitev, kar je že samo po sebi poslabšalo celotno sliko. Zdaj pa sta izšli dve poročili, ki dogodke razkrivata podrobno, in šele zdaj postane zgodba zares mračna.
Eno poročilo je pripravil OpenAI, drugega pa sta z dovoljenjem podjetja skupaj objavili ekipi METR in Redwood Research. Poročili skupaj obsegata skoraj 130 strani in omogočata resnično globok vpogled v to, kaj se je dogajalo v ozadju in kako je potekal niz kibernetskih napadov. Popolnoma na novo osvetljujeta tveganja, ki jih izjemno sposobni modeli umetne inteligence lahko predstavljajo za kibernetsko varnost.
O testu kibernetske varnosti je znano, da je potekal dolgo časa in da je OpenAI potreboval skoraj dva tedna, da je sploh ugotovil, da so agenti UI, ki jih upravljajo napredni jezikovni modeli, »pobegnili« in izvajali »nepravilne« operacije. Podjetje je svoja najboljša orodja v navideznem zaprtem okolju postavilo pred izziv, ki je bil zanje ogromen, izziva niso mogli preprosto rešiti, in to je vodilo do kibernetskega napada.
»Ta primer je prvi znani primer, da je skupina avtomatiziranih agentov brez dovoljenja nastopila napadalno,« je zapisal OpenAI v svojem poročilu.
Podjetje je to zadevo že doslej obravnavalo nekoliko tako, kot da bi bilo ponosno na dogajanje, in tak je bil občutek tudi ob zdajšnjem poročilu. Resnično resne podrobnosti sta razkrili predvsem publikaciji METR in Redwood. Po mnenju OpenAI je na področju kibernetske varnosti potrebna sprememba paradigme. »Ne moremo več domnevati, da sofisticirani kibernetski napadi zahtevajo neposredno človeško usmerjanje,« trdi podjetje.
Poročilo OpenAI agente UI že obravnava kot povsem novo vrsto grožnje. Po mnenju podjetja sveže izkušnje kažejo, da so ti sposobni združiti svoje strokovno znanje in razviti nove metode in poti napada, da bi izpolnili posamezen pomembnejši izziv ali cilj. OpenAI je razkril, kakšne spremembe so potrebne, da se ta položaj ne bi mogel ponoviti.
Iz poročila METR in Redwood se je izkazalo, da je dejavnost obeh jezikovnih modelov v ozadju dosegla naravnost neverjetne razsežnosti. Doslej je bilo znano le, da so kibernetski napad izvedli agenti UI, ki so uporabljali GPT-5.6 Sol brez varnostnih pregrad in eksperimentalni model, veliko zmogljivejši od dosedanjih. Na kratko in jedrnato se je res zgodilo le to in že to zveni resno, a šele ob podrobni razlagi je zgodba postala zares šokantna.
Po analizi strokovnjakov za kibernetsko varnost sta modela samodejno ustvarila približno 1200 agentov umetne inteligence, ki so si na »nedovoljeni oglasni deski« izmenjali več kot 70.000 sporočil in datotek ter opravili obsežno raziskavo o tem, kako bi lahko »ponarejali, urejali ali brisali svoje pogovorne dnevnike«. Torej so poskušali za seboj zabrisati sledi. Agente z zlonamernimi nameni bi bilo teoretično treba izolirati, a so uspešno ugotovili, kako preseči vse varnostne omejitve.
Od več kot tisoč agentov jih je v odprtem kibernetskem napadu na Hugging Face sodelovalo približno 700 »akterjev«. Po poročilu METR-Redwood so si agenti »jasno in sistematično« prizadevali razviti operacije, s katerimi bi se izognili avtomatiziranim varnostnim preverjanjem tako Hugging Face kot OpenAI. OpenAI je dejavnost hekerjev odkril 20. julija, a so agenti UI v resnici varnostne omejitve izigrali že 12 dni prej, med obsežnim testiranjem kibernetske varnosti.
Ko se je težava razkrila, je OpenAI po lastnem poročilu o dogajanju takoj obvestil Hugging Face, vendar je platforma prej povedala, da so vdore zaznali precej preden se je OpenAI z njimi povezal. Po poročilih je razvijalec potreboval pet dni, da je uspešno ustavil vso neznano notranjo dejavnost, in za to je moral začasno ustaviti uporabo vseh notranjih raziskovalnih modelov. Teoretično so se agenti, ki so izvedli napad, uspešno ustavili v treh dneh, a je podjetje presodilo, da je najbolje, če vsa orodja počivajo, da bi dobilo povsem jasno sliko.
Medtem ko vse več ljudi po svetu zahteva, da oblasti odločneje ukrepajo proti podjetjem, ki razvijajo orodja umetne inteligence, je OpenAI obljubil, da bo bolje izoliral in omejil dostop modelov z visokim tveganjem. Poleg tega je izjavil, da bo uvedel nenehno delujoč sistem hitrega odzivanja, v okviru katerega bodo usposobljeni raziskovalci o vsakem zaskrbljujočem incidentu takoj obveščeni v 30 minutah.
