Nova vrsta AI modela — 10x brža generacija teksta sa difuzionim jezičkim modelom od startapa Inception

Startap Inception je izašao iz stealth moda sa revolucionarnim modelom Mercury – prvim difuzionim velikim jezičkim modelom (DLM) koji generiše tekst do 10 puta brže od tradicionalnih LLM-ova poput GPT-4 ili Claudea, uz održavanje kvaliteta.

Dok klasični LLM-ovi generišu tekst token po token (redosledom), Mercury koristi difuzionu tehnologiju poznatu korisnicima  Sore ili Midjourneya, korišćenu za pravljenje slika i videa, za paralelno generisanje celih blokova teksta. Jedan od osnivača objašnjava:

Kod LLM-ova ne možete generisati drugu reč dok ne završite prvu. Difuzija omogućava simultano preračunavanje cele sekvence, što dramatično povećava brzinu.

This is interesting as a first large diffusion-based LLM.

Most of the LLMs you've been seeing are ~clones as far as the core modeling approach goes. They're all trained "autoregressively", i.e. predicting tokens from left to right. Diffusion is different – it doesn't go left to… https://t.co/I0gnRKkh9k

— Andrej Karpathy (@karpathy) February 27, 2025

Impresivne mogućnosti

• Brzina: 1000+ tokena/s na H100 čipovima
• Kod: Mercury Coder navodno nadmašuje GPT-4o Mini i Claude 3.5 Haiku u programerskim zadacima, sa 5-10x većom brzinom
• Efikasnost: Do 10x niži troškovi infrastrukture

Iako do skoro nepoznata široj javnosti, startap već saraduje sa Fortune 100 kompanijama, kojima prodaje API, on-premise rešenja i fine-tune modele za specifične slučajeve upotrebe.

Šta je ovde bitno za nas?

U brzini razvoja AI industrije je teško ponekad razlučiti pomamu i istinu, pa će vreme pokazati koliko je ovo velika i realna promena. Ali deluje da je bezbedno mapirati ovu vest kao — stvari se, i dalje, još više, ubrzavaju.