Anthropic je juče objavio Claude Sonnet 5.5 i obećava model koji je više od 30% brži od Sonneta 5 i po zadatku košta do 30% manje.

Posle prvog dana u rukama korisnika slika je mešovitija: nekima je u programiranju slabiji od prethodne verzije, a na najvišem nivou napora košta koliko Fable 5.1.

Šta dobijamo

Cena ostaje 2$ i 10$ po milionu ulaznih i izlaznih tokena, a Anthropic kaže da je model najjači na jasno omeđenim svakodnevnim zadacima, popravci bagova i pravljenju dokumenata.

Kako primećuje softverski inženjer Sajmon Vilison, jedan od autora Djanga, Sonnet 5.5 sada pokreće i besplatan Claude:

Aron Levi, direktor Boxa, kaže da je njihov agent sa novim modelom do gotovog rezultata stizao oko 2.4 puta brže:

Model je, kako navodi autor ove objave, sam nacrtao svaki kadar animacije o istoriji dinosaurusa:

https://x.com/kevintngo/status/2104638743634391408

Gde zapinje

Tim iz Everyja, koji je model testirao nedelju dana pre objave, javlja da u njihovom testu programiranja nadogradnja nije pomogla: od 15 zadataka Sonnet 5 je rešio deset, a Sonnet 5.5 devet.

Osnivač Everyja hvali pisanje, ali prenosi i da deo tima više nema mesta za modele srednje klase:

Programeri koji su ga koristili prvog dana kažu da je brz i dobar za dobro definisane zadatke, ali da mu fali Opusova intuicija za nejasne probleme:

Jedan inženjer posle dana rada predlaže podelu posla u kojoj Opus planira, a Sonnet izvršava:

Koliko stvarno košta

Po nezavisnim merenjima, Sonnet 5.5 na najvišem podešavanju napora, max, troši oko 193.000 izlaznih tokena po zadatku, najviše do sada izmereno.

Zato jedan zadatak košta 7.60$, praktično koliko Fable 5.1 (7.63$), a više od Opusa 5.5 na istom podešavanju (5.98$):

Za nas koji plaćamo po tokenu ili već udaramo u limite u Claude Codeu, račun zavisi od nivoa napora više nego od cenovnika.

Anthropic sam navodi da na niskom i srednjem naporu Sonnet 5.5 prestiže najbolji rezultat Sonneta 5 za oko desetinu cene.