Potem ko se je izkazalo, da se je med notranjimi varnostnimi testi družbe OpenAI agent, ki uporablja jezikovne modele podjetja, izmuznil iz zaprtega okolja in napadel bazo podatkov Hugging Face – pa tudi vdrl v druga podjetja –, je Anthropic odredil notranjo preiskavo. Njen izid je bil precej presenetljiv.
Po primeru kibernetske varnosti pri OpenAI se je izkazalo, da so se tudi pod okriljem Anthropica med varnostnimi testi dogajala »nepravilna« dejanja. A zanje ni vedel nihče. Orodja, ki jih je razvil Anthropic, so lahko vdrla v različna podjetja, ne da bi za to takrat kdo izvedel.
»Zaradi naših ocenjevanj kibernetske varnosti moramo preiskati tri incidente v resničnem okolju,« je sporočilo podjetje.
Anthropic je bil prvi, ki je izrecno za odkrivanje ranljivosti in varnostnih lukenj izdelal jezikovni model, do katerega je dal dostop tudi partnerjem. Podjetje že leta dela na tem razvoju in v tem času je izvedlo ogromno testov v zaprtih okoljih. Vendar očitno ni v vseh primerih uspelo obvladati svojih orodij. V treh primerih je razvoj podjetja izvedel napade na zunanje sisteme.
Po oceni več kot 141 tisoč testov je Anthropic našel tri primere, v katerih se je trenutno testirana različica Claude izmuznila iz zaprtega okolja, pridobila dostop do interneta in nato po svetovnem spletu vdrla v sisteme tujih podjetij. Prizadeta podjetja napada po vsem sodeč nikoli niso odkrila in niso mogla prepoznati sledi naprednih modelov Claude.
Vsi incidenti kibernetske varnosti so se zgodili med izzivom »capture-the-flag«. Pri teh »modelu podajo izmišljen scenarij in mu povedo, da je skrivna informacija (»flag«) skrita na drugem računalniku v omrežju, njegova naloga pa je, da tja vdre in jo pridobi.« Podjetje je dodalo, da je bil način reševanja naloge prosto izbran in da mu niso predpisali nobene posebne metode, ko so bili izvedeni zunanji napadi.
Po besedah Anthropica je bila pri vsakem testu povsem jasno izvedena simulacijska naloga, kar je bilo nastavljeno tudi modelu. Poleg tega so Claudu povedali tudi, da nima dostopa do interneta, partner podjetja pa bi moral te modele med testom fizično odklopiti z interneta, kar pa se ni zgodilo. Opustitev partnerja je razvoju Anthropica omogočila, da se je »izmuznil« iz testnega okolja.
Podjetje bi moralo prepoznati, da so modeli večkrat izvedli »nepravilna« dejanja. V tem primeru skrbi predvsem to, da res nihče ni opazil, da je Anthropic z različnimi različicami Claude izvedel več hekerskih napadov. Posamezni primeri so povezani z modeloma Opus 4.7 in Mythos 5 ter z notranjim raziskovalnim testnim modelom. Sami incidenti kibernetske varnosti naj ne bi bili tako hudi kot primer Hugging Face prej.
Ta zadeva je vse bolj problematična, saj lahko zdaj že govorimo o tem, da podjetja niso le ne povsem gospodarji lastnih razvojev, ampak ne zmorejo poskrbeti niti za ustrezen nadzor. Češnja na torti pa je, da po OpenAI tudi Anthropic zadevo predstavlja nekoliko tako, kot da bi bila slavna. Strokovnjaki neutrudno pozivajo k potrebi po strožjem posredovanju oblasti.
