"Halucinacije nisu problem, one se podrazumevaju": Kako je jedan cybersecurity inženjer automatizovao ogroman deo svog posla AI agentima — ali stvarno

U sredu 25. marta održali smo jedanaesti AI Hub meetup u Beogradu — do tog trenutka tehnički najdublji u celom serijalu. Tema je bila oblast u kojoj AI istovremeno pravi i problem i rešenje: cybersecurity.

Ovaj pregled objavljujemo sa malim odstojanjem od samog događaja, ali se može i ovako posmatrati — na kraju marta je ovo bila izuzetno pionirska praksa, koju bi se retko ko usudio da primeni. Sa ove distance, sadržaj ispod sada ne samo da može, nego možda i mora da se čita kao uputstvo, pre nego kuriozitet.

AI nam je doneo ovo — sa jedne strane, napadači danas prave napade brže i jeftinije nego ikad. Sa druge, branioci prvi put mogu da automatizuju dobar deo te odbrane.

Sa tom krovnom temom na umu, gost nam je bio Mihajlo Lazarević, security inženjer u Solflareu — kripto novčaniku u kom korisnici čuvaju svoj novac, pa je cena bezbednosnog propusta vrlo bukvalna.

U security vodama je više od dve decenije, po struci je offensive security ekspert: neko ko bezbednost sistema proverava napadom na njega rađe nego štikliranjem kvadrata u compliance dokumentima.

Jedna ranjivost na svakih 11 minuta

Da bismo razumeli šta je Mihajlo napravio, prvo treba razumeti šta security inženjere drži budnim dok mi ostali mirno spavamo. Ukratko, stotine novih opasnosti dnevno i ako ti samo jedna promakne samo jednom, ti si izgubio sve do čega je tvojoj firmi stalo. Otprilike.

Svaka novootkrivena, javno prijavljena ranjivost u nekom softveru dobija svoj CVE (Common Vulnerabilities and Exposures) — identifikator pod kojim se vodi u globalnim katalozima poput NVD baze.

Uz njega ide CVSS ocena, broj koji govori koliko je pretnja ozbiljna, i KEV status — oznaka da se ranjivost već aktivno koristi u napadima.

Tempo kojim se ti katalozi pune je otprilike jedna nova ranjivost na svakih 11 minuta. I ne, ne smeš da obrađuješ samo one sa visokom ocenom:

Hakeri ne idu samo na kritične ranjivosti. Oni uzmu nekoliko manjih i povežu ih u lanac — i tako stignu do kritičnog pristupa.

Ne smeš da pomisliš: niska ocena, ovo ne moram da patchujem. Neko lancem tih malih može da dobije mnogo veći nivo pristupa tvom sistemu.

A obim posla ne određuje samo tvoja postavka. Solflare mora da prati i pretnje koje tehnički uopšte nisu njihove:

Ne pratimo samo ono što je u našoj infrastrukturi.

Izađe ogromna iOS zakrpa — mi iOS ne pokrivamo, to nije naš posao. Ali moramo da kažemo korisnicima: ovo instalirajte juče.

Jer ako neko izgubi novac iz našeg novčanika, izgubio ga je iz našeg novčanika — i kad je propust bio Appleov.

Pre AI-a, ovaj posao se radio praćenjem kanala, ključnih reči i vesti — i ručnom trijažom svega što liči na relevantno.

Dobar deo dana odlazio je na stvari koje se ispostave nebitnim, ali koje ne smeš da preskočiš, jer ne možeš da se kockaš time koja od njih je prava.

Agenti koji rade dok on šeta do posla

Mihajlovo rešenje je sistem u kom autonomni agenti rade ceo taj ciklus: skupe sve novo, procene šta se od toga tiče Solflarea, pa pokušaju da to stvarno eksploatišu — da bi na kraju predložili zakrpu.

Ceo proces — prikupljanje, korelacija sa našim okruženjem, provera da nije halucinacija, validacija — spao je sa dana, nekad i nedelja, na sate.

I rade non-stop. Ne spavaju, ne plaćaš ih, nemaju umor. Samo haluciniraju — a to uračunaš i za to napraviš proces.

Umesto da se pravi da halucinacije ne postoje, sistem ih tretira kao ulaznu pretpostavku: svaku pretnju koju agenti proglase relevantnom, drugi agenti pokušavaju da dokažu delom — u izolovanom okruženju.

Konkretno, tri faze: prikupljanje iz svih izvora (NVD, CISA KEV katalog, bezbednosne vesti, nalozi istraživača), zatim trijaža u kojoj model procenjuje relevantnost i hitnost, i na kraju validacija u kontejnerima.

Za trijažu je Mihajlo napravio sopstveni sistem bodovanja — CVSS ocena je samo jedan od faktora, uz to da li se ranjivost već koristi u napadima, kolika je Solflareova napadna površina i koliki je potencijal za ulančavanje.

U slajdovima su bili pravi CVE brojevi iz njihovog sistema.

Izlaz trijaže je strukturirani zapis koji uopšte nije namenjen ljudima:

To ne čitaš ti — to čita sledeći agent u lancu.

Ceo sistem orkestrira jedan "dirigent" agent koji za svaku relevantnu pretnju paralelno pokreće specijalizovane pod-agente.

Za orkestraciju koristi Agent Zero, open source okvir za pokretanje i koordinaciju agenata — uz napomenu da je to bio dobar izbor u trenutku kad je krenuo, a da danas već ima boljih alternativa.

Kao radni model bira Sonnet, jedan od Anthropicovih modela:

Testirao sam mnogo: svoj privatni klaster, OpenAI, sve velike.

Sonnet je prihvatljiv. Nije najbolji, ali za ovaj posao je odnos cene i kvaliteta presudan — cifre na računu vrlo brzo mogu da postanu petocifrene.

Ono što prođe ceo levak završava kao pravilo u alatima kojima Solflare stvarno skenira svoju infrastrukturu.

Kontejner koji se sam sklopi da bi bio napadnut

Kako agent sam sebi napravi poligon za proveru ranjivosti?

Prvo AI mora da shvati koji softver je u pitanju i da nabavi baš tu ranjivu verziju — zato je ovo ograničeno na open source.

Ne možeš da skineš SolidWorks i kreneš.

Kad razume sve zavisnosti, sklopi najminimalniji mogući Linux, neki Alpine, u kome taj softver uopšte može da radi.

Pa tek onda pušta agenta koji napada.

I prvo validira da kontejner stvarno radi, sa tom verzijom i svim zavisnostima. Za DevOps deo — Claude zaslužuje aplauz za to kako ga radi.

Ako ranjivost u toj kutiji uspe, to više nije teorijska pretnja nego dokazana rupa — i popravlja se odmah.

Kolega iz publike je bio iskren: "Iznenađen sam da to uopšte radi tako dobro. Morao bih svojim očima da vidim." Odgovor:

Ne znam šta da vam kažem — cela moja laboratorija se za poslednjih mesec dana poboljšala više nego za prethodnih deset godina. Sa Claude Codeom.

I verujte mi, ja je stvarno skeniram. Jednu stvar implementiram, pa je nedelju dana napadam. Pa opet. To je ta iteracija.

Na kraju ovog procesa sistem predlaže i konkretnu zakrpu — plus dodaj ovo, minus skloni ono — ili pravilo kojim se eksploatacija blokira, ili prosto uputstvo da se pređe na noviju verziju.

Mihajlo kaže da ih je u poslednja tri-četiri dana pred događaj proizveo pet-šest. Uz ogradu koju je ponovio više puta:

Pročitaj tu zakrpu i razumi šta radi. Nemoj samo: prihvatam, pravo u produkciju. Niko nema vremena za to.

Jutarnji brifing: 186 članaka, jedan podkast

Drugi sistem koji je pokazao nastao je iz ličnog problema: preko 100 RSS feedova koje je svako jutro preletao da bi znao šta se u svetu bezbednosti desilo preko noći.

Ideja je bila da sve to spakujem u šetnju do posla.

Pipeline se sam pokrene u šest ujutru: pokupi sve vesti iz prethodna 24 sata, ukrsti ih između izvora — što više izvora prenosi istu priču, to je priča bitnija — i izdvoji samo ono na šta treba da obratim pažnju.

To onda pošaljem u NotebookLM, koji mi od svega napravi podkast koji slušam dok hodam do kancelarije.

NotebookLM je Googleov alat koji od gomile dokumenata sklopi generisani audio.

Pokazao nam je konkretan primer: u utorak 17. marta sistem je progutao 186 članaka, našao 20 priča koje je prenelo bar pet izvora, i od toga napravio podkast od 25 minuta.

Pustio nam je i insert — glasovi zvuče kao sasvim pristojan tech podkast koji postoji samo za njega.

Iz publike je stigao komentar da posle inflacije LinkedIn objava stižemo i do inflacije podkasta. Mihajlo se nije branio:

Verovatno. Ali ja zbog prilično ozbiljnog ADHD-a ovako mogu sve to da ispratim — slušam, ne odlutam, i mnogo lakše upijem.

A kad stignem u kancelariju, pitam: ovo što sam čuo, uputi me. I onda čitam samo ono što stvarno zaslužuje pažnju.

Njegova jedina preporuka za poneti kući bila je upravo ova:

Ako jednu stvar ponesete odavde: provucite ovu prezentaciju kroz svoj Claude Code i tražite da vam sklopi nešto slično za vaše okruženje.

Makar kao vežbu — da vidite kako blue timovi rade u AI eri.

Blue tim je, za normije među nama, strana koja brani sistem; red tim je ona koja ga za vežbu napada.

"A šta ako Claude podmetne ranjivost?"

Jedan posetilac je priznao da je svoja pitanja pripremao celu nedelju.

Njegovo pitanje je bilo ono koje visi nad celom industrijom: svi manje-više slepo prihvatamo kod koji nam agenti generišu. Šta ako u njemu stigne ranjivost koju nećemo naći na vreme?

Nikad ne želiš da pustiš agente potpuno slobodno. OpenClaw je za mene bezbednosni košmar — ne sviđa mi se sama ideja onoga što predstavlja.

Želiš ograde i kontejnerizaciju.

Kad mi pravimo eksploite, aktivno sve zatvorimo — nema načina da izađe napolje i uradi bilo šta u stvarnom svetu.

Kad završi, dobijemo izveštaj i kod, ali to ne napušta tu kutiju.

OpenClaw je, za one koji su ga propustili, open source AI agent koji dobija punu kontrolu nad računarom i radi na njemu sve što bi i čovek — moćno, i upravo zato, iz ugla bezbednosti, zabrinjavajuće. Nastavak njegovog odgovora:

Iskreno? Još nismo provalili kako se ovo rešava do kraja. Voleo bih da imam savršen odgovor, ali istina je da stavljamo flastere.

Probao sam tri-četiri huka koji pre izvršenja traže prompt injection — i okidaju na sve živo, samo ne na prave stvari.

AI ti daje moć da radiš stvari koje ne znaš da radiš.

Prvo traži od njega da te nauči — pa ih onda radite zajedno.

Nemoj slepo da kažeš: napravi mi eksploit, sutra smo milioneri.

Prompt injection je napad u kom se agentu kroz naizgled bezazlen tekst podmetne skrivena instrukcija; huk je automatska provera koja se okine pre nego što agent nešto uradi.

Poenta odgovora je da ni jedno ni drugo još nije pouzdana brana.

Na moje pitanje ko onda garantuje da generisani kod koji ulazi u Solflare nije šund ili rizik, pokazao je na kolegu u publici, EM-a Nikolu, pa opisao ulogu svog tima:

Security je poslednjih par meseci u režimu: upucaću te u nogu ako mi doneseš kod koji ovde ne želim.

Mi smo trenutno kočnica — developeri mogu da izguraju mnogo više koda nego što sme da prođe.

Znam gde stanuješ. Naći ću tvoj commit. I nećeš se dobro provesti.

Ceo sistem: 600 dolara mesečno, dok pojedini programeri troše i po 30.000 dolara

Najmanje filozofsko, a možda najkorisnije pitanje večeri glasilo je: dobro, koliko sve ovo košta?

Može da te košta i ništa, ako si grafičke kupio na vreme.

Ja sam prvo sve ovo vrteo na dve 3090-ke — to je danas oko hiljadu evra.

Sad koristim Sonnet. Kad firma plaća — što da ne?

Trenutna postavka: oko 600 dolara mesečno — bez detalja o implementaciji u ovom članku, pošto su osetljivi. Sa publikom na licu mesta ipak su podeljeni, što je razlog više da nam se na ovim događajima pridružujete uživo.

Ako pitaš mog CEO-a da li je 600 dolara previše za security — reći će da nije.

Ali ako potrošiš 2.500 dolara za dva dana, e, to već podiže obrvu.

Mihajlo je izračunao i koliko bi njegova potrošnja koštala po API cenama, bez pretplate: 34.000 dolara.

Iz publike je neko podelio sopstveno iskustvo sa istim odnosom cena, uz opasku da Anthropic verovatno subvencioniše sve nas koji pretplatu koristimo do daske — i pitanje da li je Mihajlova postavka uopšte u duhu uslova korišćenja.

Publika se smejala, a suštinski odgovor je bio ozbiljan:

Ovo je i dalje proof of concept.

Da bismo ovo terali u punoj produkciji, prešli bismo na API — i onda računica mora da se radi ozbiljno: koliko ovo vredi tvojoj firmi.

Uvek možeš da smanjiš broj signala, smanjiš infrastrukturu ili koristiš lokalne modele. Ceo sistem je fleksibilan po tom pitanju.

Na pitanje da li bi sužavanje opsega — recimo, samo ranjivosti relevantne za tvoj konkretni stack — pomoglo, odgovor je bio da bi značajno smanjilo i troškove i količinu podataka, i da je takvo filtriranje trivijalno da se doda.

Uz to sam podelio i podatak koji je do mene stigao tih dana: da u jednoj beogradskoj firmi postoje inženjeri koji troše po 30.000 dolara mesečno na tokene (bilo je neograničeno neko vreme svima; međuvremenu su ih veoma ograničili).

"Koliko bi bilo teško ovo prodati vama?" — "Veoma."

Jedan posetilac je došao sa tri pitanja, od kojih je poslednje glasilo: koliko je ovako nešto teško prodati compliance ljudima — onima koji brinu da sve bude po regulativi i standardima?

Mihajlo je umesto odgovora pogledao pravo u čoveka iz publike za kog se ispostavilo da je kolega koji se bavi upravo time bavi i pitao ga koliko bi bilo teško to prodati baš njemu. Odgovor je bio rečit: "Veoma."

Za one koji bi svoj kod ili platformu da provere ovakvim sistemom, imao je i praktičan savet: tako nešto već radi svakodnevno, ali skill — uputstvo kojim agenta specijalizuješ za zadatak — ne sme da bude skinut sa interneta i pušten u rad:

Skill ne može da bude: našao sam nešto na internetu, ti si sad security, kreni. Moraš da ga krojiš za sebe.

Pre par dana je izašao AutoResearch, Karpatijev alat — ljudi ga već koriste da svoje skillove treniraju, kao neki reinforcement learning za skill.

Još ga učim, ali obećava.

Karpati je Andrej Karpati, jedno od najpoznatijih imena u AI-u — bivši šef veštačke inteligencije u Tesli i jedan od osnivača kompanije OpenAI.

Šta dalje

Prijavite se za obaveštenja o ovim našim nedeljnim događajima, a usput pogledajte i druge članke gde su nam gosti bile Mihajlove kolege.

• Vidor Gencel, suosnivač i CEO, o AI transformaciji koju direktor vodi lično;
• Nikola Kolevski, head of engineering, o tome kako su redizajnirali tehnički intervju kad svaki kandidat može da koristi AI;
• Marija Mladenović, o tome kako se rad njihovog product design tima transformisao sa AI — recap uskoro izlazi, ovo je rani pregled;
• više o Solflareu i njihovoj podršci razvoju domaće IT zajednice.

AI Hub meetupi se nastavljaju svake nedelje, u Beogradu i Novom Sadu — naredne događaje i prijave nađi na AI Hub stranici.