Besplatna pamet

Najnoviji LLM kineskog startapa DeepSeek, v3, deluje da je blizu toga da je 10x jeftiniji za korišćenje i za mnoge zadatke pametniji od najmoćnije Llame 3. Kada me je kolega pitao što je to bitno, ovo mi je palo na pamet:

towards intelligence too cheap to meter:https://t.co/76GEqATfws

15 cents per million input tokens, 60 cents per million output tokens, MMLU of 82%, and fast.

most importantly, we think people will really, really like using the new model.

— Sam Altman (@sama) July 18, 2024

Šta su implikacije sveta u kome je pamet besplatna?

Ljudska priroda i kapitalizam, ako uopšte hoćemo da ih razdvajamo, dve izuzetno moćne prirodne sile koje oblikuju svet u kom živimo, čine da ljudi žele da se dokazuju međusobno i zarađuju, i ovo važi i za sve te ljude koji učestvuju u pravljenju novog AI sveta u kom smo već počeli da živimo.

Par linkova. Alibaba spušta cene nekih svojih modela i do 85%, ovaj odličan članak Sajmona Vilisona, i iz njega ovaj citat:

U decembru 2023. OpenAI je naplaćivao 30 dolara po milionu ulaznih tokena za GPT-4, 10 dolara/milion tokena za tada novi GPT-4 Turbo i 1 dolar/milion tokena za GPT-3.5 Turbo.

Danas, za 30 dolara/milion tokena dobijate najskuplji model OpenAI-a, o1. GPT-4o košta 2.50 dolara (12 puta jeftiniji od GPT-4), dok GPT-4o mini košta 0.15 dolara/milion tokena—skoro 7 puta jeftiniji od GPT-3.5 i daleko sposobniji.

Zabavno je da upravo Kina, naša globalna fabrika za jeftinu, a vremenom i jeftinu i kvalitetnu proizvodnju svega, sada pruža i jeftinu i kvalitetnu umetnu pamet.

U praktičnom smislu, to znači da mnogi startapi — pa i razvijene kompanije — mogu doći do vrhunskih AI modela bez plaćanja astronomske sume. Ishod može biti još brža i masovnija integracija AI-ja u softver. Svašta može biti deo tog ishoda, a evo još jedne današnje misli:

Free software = marketing.

Very nicely distilled. Wonder how much more this becomes the norm with AI, probably a lot. https://t.co/VIpgvO8R76

— Vukašin Stojkov (@vukasin) January 1, 2025