Googleov Gemini 4 Neon, pušten 18. novembra, prvi je na Models Engineering Indexu, nezavisnom indeksu koji meri kako se modeli snalaze u praktičnim inženjerskim zadacima. Ima 68.1 poena, ispred Anthropicovog Fablea 5.2 sa 66.3 i OpenAIjeve Astre 6.2 sa 62.0.

Cena mu je 3$ za milion ulaznih tokena i 15$ za milion izlaznih, dvostruko više nego za Googleov model Hydrogen, kako navodi 9to5Google.

Kako indeks računa

Indeks spaja rezultate sa testova koje objavljuju Cognition, Cursor, Scale Labs, Vals AI i još dve organizacije, pa ih svodi na zajedničku skalu na kojoj je prosek 50. Trošak i broj potrošenih tokena prikazuje u odnosu na tipičan model.

Na testovima indeksa Neon je potrošio skoro četiri puta manje novca od Fablea 5.2, a otprilike koliko i Astra 6.2: trošak mu je 1.6 puta veći od tipičnog modela, Fableu 5.9, a Astri 1.5.

Autori sami ograđuju rezultat

Autori kažu da je indeks daleko od savršenog. Modeli nisu testirani na istim testovima, rezultati nemaju meru greške, pa male razlike ne znače mnogo, a brojke se pomeraju kad se u spisak doda nov model.

Trošak je, dodaju, onaj koji je zabeležen u samim testovima, po cenama iz tog trenutka, a ne ono što će model koštati na nečijem projektu.