Prava vrednost, kako primećuje Vukašin Vukoje, seli se na orkestraciju, sloj koji gradimo iznad modela.
Vukašin je inženjer i preduzetnik, mnogima poznat kao jedan od suosnivača Tenderlyja.
Danas je osnivač i direktor web3minea, cloud skladišta koje radi na petabajt-skali i prolazi kroz veliku ekspanziju pokrenutu razvojem AI industrije.
Od skoro je i jedan od dvojice voditelja podkasta Vukašin & Vukašin, zajedno sa autorom ovog članka.
Kako izgleda taj sloj
Obrazac ima tri uloge u petlji. Orkestrator pravi plan, radnici paralelno implementiraju definisano i pišu testove, a validator, model jak u edge caseovima, proverava svaki korak; kad nađe grešku, sve se vraća planeru dok ne prođe.
Vukoje objašnjava:
Dozvolila ti je da razložiš problem na manje probleme i da ih rešavaš individualno.
Vukojev primer: zadatak ostavimo uveče, ujutru je gotov, uz dvanaest do trinaest sati rada bez nadzora, niti potrebe za nadzorom kada se dobro postavi.
Kad nijedan model nije nezamenljiv
Pošto uloge nisu vezane za jedan model, svaku šaljemo tamo gde je koji najbolji: planiranje na najjači, implementaciju na jeftiniji ili open-weights.
Softver se umnožava i pojeftinjuje, a vrhunski model za planiranje ostaje ono za šta se i dalje plaća. Ako isporučilac poskupi ili nakratko povuče model, sloj preživi.
Zašto baš sad
Dekompozicija već živi unutar modela, ali zaključana iza skupih pretplata i zatvorenih alata.
Zato se isplati graditi nezavistan sloj koji ih spaja, alatima kakav je droid kompanije Factory AI.
U istom prostoru radi i kod nas novosadski Superplane, na pouzdanosti AI agenata u produkciji. Manji tim sa dobrim slojem tako radi i dok ekipa spava.
Deo razgovora o orkestraciji, u epizodi (od 18:03):
