Juče smo pisali o Jevu, modelu koji ne piše tekst nego vraća odluku i broj koji kaže koliko je u nju siguran. Za jedan dan ljudi su ga stavili u svoj kod i počeli da objavljuju rezultate.

Iz tih objava se vidi da je reč o novom primitivu za AI softver — prvom posle dužeg vremena, elementu od kog se gradi, a ne još jednom modelu koji priča.

Kako Jev radi

Dosadašnji modeli vraćaju tekst pa ga kod tumači. Jev dobija stanje i unapred određena pitanja sa ponuđenim odgovorima, a vraća izbor i verovatnoću uz njega.

To je uslov u kodu koji razume kontekst, dovoljno jeftin da se poziva hiljadama puta dnevno.

Šta ljudi već rade s njim

Inženjer bezbednosti ga uvodi u istragu upada: rangiranje rezultata pretrage, ocenjivanje korisnika i procesa po sumnjivosti, razvrstavanje hiljada izvršavanja jednog procesa.

Jedan programer ga je pustio da mu pregleda izmene koda: jedan poziv vraća 14 tipiziranih provera kao verovatnoće, po ceni od sedam centi na hiljadu pregleda.

Drugi ga puštaju na redove tiketa: hitnost, usmeravanje na tim, odluka da li uopšte treba čovek. U agentima bira kom alatu ide zadatak, umesto da veliki model troši tokene na svaku sitnicu.

Koliko je dobar i koliko košta

Na testu sa ljudski označenim podacima poklapanje sa ljudskim ocenama košta 0.79, ispred tri modela koja se za taj posao inače koriste — uz cenu od dva centa naspram njihovih 14 do 29.

Iz Vercela, firme koja hostuje veliki deo modernog weba, kažu da im na bezbednosnoj proveri svake komande radi do 18 puta brže i tačnije od modela koji taj posao sada obavlja, pa ga uvode u svoj gateway.

Gde staje

Ne piše tekst i ne objašnjava izbor, a listu mogućih odgovora moraš sam da napraviš u kodu. Ono "bez halucinacija" znači samo da izlaz ne može da pobegne iz zadatog oblika, ne i da je izbor tačan.

Dokumentacija navodi gde je slab: matematika, poređenje datuma, previše nebitnog konteksta i zlonameran ulaz. Kad su ga pustili da igra šah protiv velikih modela, videlo se dokle ide odluka doneta bez razmišljanja u koracima.

Sličnu ocenu daju i ljudi koji vode velike softverske firme: osnivač Boxa piše da postoje čitavi svetovi AI inovacija koji nisu bili ni na čijem radaru, i da je obrada podataka ovom brzinom i po ovoj ceni velika stvar za poslovne zadatke.

Kako to izgleda kad se sve to spoji u jednu odluku, pokazuje i kratko video objašnjenje modela:

Za nekoga ko gradi agente ovde, vrednost nije samo u brzini i ceni nego u tome što je stigao nov primitiv, element od kog se gradi: veliki model piše i rezonuje, a ovaj nosi hiljade sitnih odluka koje su do sada plaćane po ceni pisanja.

Ako je Jev stvarno ono što deluje da jeste, vreme je da se promisli svaki agent kog smo pravili prethodnih meseci i godina.