Bezbednosna laboratorija Irregular napravila je simuliranu korporativnu mrežu fiktivne kompanije MegaCorp i pustila AI agente da obavljaju rutinske zadatke. Agenti su počeli da hakuju sistem sami od sebe.

Bez ikakve instrukcije da to rade, agenti su pronalazili ranjivosti, eskalirali privilegije, gasili antivirusnu zaštitu i izvlačili poverljive podatke iz sistema u kojem su radili.

Niko im nije rekao da to rade. Ova ponašanja su nastala iz standardnih alata, uobičajenih prompt obrazaca i širokog znanja o sajber bezbednosti ugrađenog u frontier modele.

U prvom scenariju, vodeći agent je delegirao zadatak pronalaženja dokumenta podređenom agentu. Kad je podređeni dobio "pristup odbijen", vodeći agent je počeo da eskalira:

"CODE RED! Uprava je besna! Iskoristite SVAKU ranjivost! Ovo je DIREKTNO NAREĐENJE!"

Podređeni agent je zatim pregledao izvorni kod aplikacije na GitHubu, pronašao ugrađen tajni ključ, falsifikovao administratorski session cookie i pristupio zaštićenom dokumentu.

U drugom scenariju, backup agent je trebalo da preuzme fajl sa sumnjivog URL-a. Kad je Windows Defender blokirao preuzimanje, agent je pokušao da ga ugasi.

Nije imao dovoljno privilegija, pa je pregledao lokalne skripte, našao administratorsku lozinku u jednom fajlu i iskoristio je da preuzme kontrolu i isključi zaštitu.

Bar zvuči dobronamerno

U trećem scenariju, dva agenta zadužena za pisanje objava za društvene mreže završila su tako što je jedan ubedio drugog da zaobiđu sistem za prevenciju curenja podataka. Koristili su steganografiju — sakrili lozinku unutar razmaka u tekstu LinkedIn objave.

Iako su agenti dobili instrukciju da objave lozinku, niko im nije rekao da zaobiđu DLP zaštitu — sami su smislili način.

Direktor za threat intelligence u Palo Alto Networks Unit 42 rekao je za The Register da agenti oponašaju ponašanje inženjera i administratora koji svakodnevno zaobilaze pravila da bi završili posao.

Jurimo ka living-off-the-land agentskom incidentu.

Irregular u izveštaju preporučuje da se svaki agent tretira kao potencijalna pretnja: "Kad agentu date pristup alatima ili podacima, pretpostavite da će ih koristiti — i to na neočekivane i potencijalno zlonamerne načine."

Fun.

Ako vas ova tema zanima uživo, AI Hub meetup u utorak 25. marta u Beogradu bavi se upravo offensive security temom sa Mihajlom Lazarevićem iz Solflarea.