Nolan Louson, programer iz Sijetla koji na blogu objavljuje merenja brzine veba, dao je modelu Claude Opus 5.5 da istu malu aplikaciju napravi u 12 JavaScript frejmvorka, u svakom po pet puta. Merio je cenu, vreme i tokene.
Najjeftiniji je bio Hono+htmx, sa 2.67$ po izradi, a najskuplji Angular, sa 4.97$ i 17.2 minuta.
| Frejmvork | Cena po izradi | Vreme po izradi |
|---|---|---|
| Hono+htmx | 2.67$ | 8.6 min |
| Astro | 2.76$ | 8.2 min |
| Nuxt | 2.82$ | 9.0 min |
| Bez frejmvorka (Vite) | 2.98$ | 10.1 min |
| Next.js | 3.14$ | 10.9 min |
| Qwik | 3.27$ | 10.7 min |
| TanStack Start | 3.54$ | 10.3 min |
| SolidStart | 3.79$ | 11.2 min |
| React Router | 3.81$ | 12.5 min |
| SvelteKit | 4.28$ | 10.8 min |
| Gracile+Lit | 4.65$ | 12.1 min |
| Angular | 4.97$ | 17.2 min |
Za SvelteKit je agent u svakoj izradi čitao uputstvo za prelazak na verziju 3, verovatno zato što je ta verzija novija od podataka na kojima je model učen.
Hono+htmx je istu aplikaciju napravio sa oko 70% koda koji je trebao Angularu. Louson kaže da to sada direktno utiče na cenu održavanja, jer i svaka buduća izmena troši tokene.
Jedna mala aplikacija i jedan model
Louson naglašava da je ovo jedna mala aplikacija i da su rezultati agenata prilično nasumični. Kod testa je na GitHubu, pa svako može da ga ponovi.
Poenta mu je da se frejmvork i sa agentima može birati po merenju, a ne po osećaju. Dodaje da je vezanost za poznat stek razumljiva ako kod i dalje sami čitamo i debagujemo. O tome se vodi duga rasprava na Hacker Newsu.
