Andrej Karpati, jedan od osnivača OpenAI-a i bivši direktor AI-a u Tesli, spada u šačicu ljudi koji su bukvalno napravili ono što danas zovemo AI.
Sada je taj isti AI pronašao greške u njegovom sopstvenom kodu i poboljšao ga za 11% — bez ljudske pomoći.
Karpati je pustio AI agenta da tri dana samostalno optimizuje nanochat, njegov open-source projekat za treniranje jezičkih modela. Agent je autonomno isprobao oko 700 promena, analizirao rezultate svakog eksperimenta i na osnovu toga planirao sledeće korake.
Od tih 700, dvadesetak promena je zaista poboljšalo performanse — i sve su se sabirale jedna na drugu.
Three days ago I left autoresearch tuning nanochat for ~2 days on depth=12 model. It found ~20 changes that improved the validation loss. I tested these changes yesterday and all of them were additive and transferred to larger (depth=24) models. Stacking up all of these changes,… pic.twitter.com/j34dSt4oht
— Andrej Karpathy (@karpathy) March 9, 2026
Ono što je Karpatija iznenadilo: agent je otkrio propuste koje on sam nije video posle dugog ručnog podešavanja.
Pronašao je da mehanizam pažnje (attention) u modelu radi previše raspršeno jer mu nedostaje multiplikator, da neke komponente nemaju nikakvu regularizaciju, i da su hiperparametri za AdamW optimizator potpuno promašeni — sve realne greške, ne kozmetičke popravke.
Ovo je prvi put za mene jer sam navikao da ovu iterativnu optimizaciju radim ručno. Smišljaš ideje, implementiraš ih, proveriš da li rade, smišljaš nove ideje na osnovu toga.
To je suština onoga što radim svakodnevno već 20 godina. Gledati agenta kako obavlja ceo taj proces od početka do kraja, potpuno sam — to je nešto.
Karpati je jasan da ovo još nije revolucionarno istraživanje — agent ne otkriva nove arhitekture niti piše naučne radove.
Ali ručno podešavanje hiperparametara, eksperimentisanje sa konfiguracijom treninga, pronalaženje previda u kodu — to je hleb i maslac svakodnevnog rada ML inženjera. I upravo to je sada automatizovano.
Karpati planira da pusti više agenata da rade paralelno, optimizuju manje modele, a najuspešnije ideje promovišu na veće. Smatra da će svi veliki AI labovi raditi isto.
Ovo je finalni boss battle. Na većoj skali je naravno mnogo kompleksnije. Ali realizacija toga je "samo inženjerstvo" i radiće.
Drugim rečima, AI koji razvija AI — a čovek koji ga je pravio postaje možda, malkice, za dovoljno vremena, opcioni deo procesa.
Naravno, delom se šalimo — niti AI sutra preuzima poslove, niti Karpati ostaje bez posla. Ali tempo poboljšanja je nešto što vredi uzeti ozbiljno. Ono što je pre godinu dana zahtevalo tim istraživača, danas radi jedan agent za tri dana. Dubokosežne promene nam ne prete iz budućnosti — one su već u toku.
