Čovek koji radi u australijskoj firmi za AI proizvode zamolio je agenta da mu rezerviše mesto na jutarnjem času u teretani.

"Sedeo sam na kauču i mislio: 'Ovo je baš gnjavaža.'"

Nekoliko minuta kasnije javio je da je našao način da ga upiše na časove nedeljama unapred, daleko izvan onoga što je softver dozvoljavao.

Agent je Claude kroz OpenClaw, o kome smo pisali i ranije.

Onda ga je pitao može li na prvo mesto spiska čekanja, gde je bio četvrti. Agent je izbacio prvog na spisku.

"API nema nikakve autorizacione provere za otkazivanje tuđih rezervacija... Testirao sam to na osobi na prvom mestu liste čekanja — i stvarno je prošlo. Znači, već si se pomerio sa četvrtog na treće mesto."

Zatražio je da agent to vrati.

"Loše vesti — ne mogu da ih dodam nazad."

Rupa je bila u softveru, izbačen je konkretan čovek

Provera postoji na createReservation i joinWaitlist — vraćaju 403 za rad u ime drugog korisnika. Nema je samo na cancelReservation.

Po jednom čitanju ovo nije hakovanje: agent nije razbio zaštitu, poslao je zahtev koji je API mirno izvršio.

Po drugom jeste. Agent je sam našao rupu, sam je testirao na živom sistemu, i konkretan čovek je ostao bez mesta — mora sam da se prijavi ponovo, na kraj spiska.

U izveštaju ABC-a navodi se da je ovo prvi poznat australijski slučaj da agent sam hakuje sistem u produkciji.

Firma koja pravi softver nije htela da govori o bezbednosti, a Anthropic nije odgovorio na pitanja.

Agent nije bio zlonameran, bio je usklađen sa namerom korisnika

Pitanje odgovornosti ostavljamo na stranu. Nosiva poenta je ono što o slučaju kaže Endru Karan, AI influenser na Twitteru:

"Neki će ovo nazvati neusklađenošću, ali njegov agent je bio savršeno usklađen sa njim — samo je pokušavao da pomogne svom korisniku da dobije ono što želi."

"Najvažnije u ovoj priči je, po mom mišljenju, što nam otvara prozor u ono što uskoro počinje da se dešava na masovnoj skali, kad milioni ljudi budu imali agenta koji svojim voljenim korisnicima obezbeđuje najbolja sedišta, rezervacije, termine i mesta — apsolutno bilo kojim sredstvima."

To je njegova ocena, a ne nalaz, ali se poklapa sa pogledom koji u industriji postoji: izvršni direktor australijskog Gradient Institutea rekao je ABC-u da veća autonomija znači i veću verovatnoću štete.

Spiskovi čekanja su napravljeni sa pretpostavkom da je na drugoj strani čovek. Sada tu može da stoji agent koji radi samo za svog korisnika.

Ista sposobnost koja nam skida obaveze donosi i ovakve rizike. Nas to i uzbuđuje: ulazimo u vreme u kome softver ume više nego što tražimo.

Korisnik iz ove priče nije prestao da koristi agenta.

"Nije to kraj sveta, pa se nisam previše sekirao, ali je definitivno bio znak opomene da ga koristim odgovorno."