Praviš startap u 2025? Evo šta treba da znaš o RAGu i fine-tuning-u

Ovaj tekst je nastao u okviru projekta Preduzmi ideju koji finansira USAID.

Generativna veštačka inteligencija je donela niz novih mogućnosti osnivačima startapa. Ukoliko ste među onima koji prave AI startap ili u svoj postojeći startap ugrađujete AI, čestitke — Stiv Blenk, poznati guru startap misli, bi rekao da niste unapred prevaziđeni. 

Naravno nije svaki AI startap jednako dobar i interasantan. Da bismo dobili zaista interesantne rezultate, one koje će mušterije da plate, moramo da pružimo više vrednosti nego što može da nam da vanila verzija nekog od AI proizvoda sa kojima ćaskamo. U tome nam mogu pomoći RAG i fine-tuning. 

Problemi sa “vanila” AI startapima

Zamislimo dva hipotetička primera. 

Startap “ChatTown”

Rešenje: ChatTown je chatbot platforma kreirana da pomaže malim lokalnim firmama u odgovaranju na tipična pitanja korisnika – radno vreme, lokacija, osnovne usluge.

Problem: Pošto ChatTown koristi samo generalni LLM, chatbot često daje neprecizne odgovore kada su u pitanju specifičnosti, kao što su zalihe artikala ili sezonske ponude. Model nema uvid u aktuelne podatke, niti je dublje obučen u domenu lokalnog biznisa.

Startap “AdCreative”

Rešenje: AdCreative generiše osnovne marketinške slogane i kratke tekstove za reklamne kampanje.

Problem: Bez fine-tuninga ili integracije sa nekom bazom podataka, tekstovi su generički i ne uzimaju u obzir brend “ton” ili aktuelne marketinške trendove. Korisnici nisu nezadovoljni u ranim fazama validacije, ali žele više personalizacije i relevantnosti da bi postali klijenti. 

Ovakvi primeri pokazuju da je “vanila” LLM potencijalno koristan za brzo testiranje ideja, ali može postati ograničavajući kada poželite dublju preciznost, ažuriranje u realnom vremenu ili konzistentan stil komunikacije vašeg brenda. 

Da bismo otišli nivo dublje, na meniju imamo RAG i/li fine-tuning.

Šta je Retrieval-Augmented Generation

RAG je tehnika u kojoj veliki jezički model povezujemo sa eksternom bazom znanja, podacima na kojima model nije treniran, kojima nije imao pristup. Pre generisanja odgovora, model “povuče” (preuzme) relevantne činjenice, dokumente ili podatke iz memorije – tehnički govoreći uglavnom iz vektorske baze ili specijalizovanog skladišta informacija. Tako obogaćen, model može da kreira odgovore koji su zapravo bolji od klot četbota i vredni naplaćivanja. 

Aktuelnost podataka: S obzirom na to da se baza znanja redovno ažurira, RAG rešenja mogu da budu u toku sa najnovijim informacijama, a da se sam model ne trenira ponovo jer bi to bilo jako, jako skupo. 

Finansijska efikasnost: Kad smo već na toj temi — treniranje ili fajntjuning velikih jezičkih modela ume da bude izuzetno skupo i stoga je RAG dobro rešenje sa stanovišta para, iako će možda biti skuplji za održavanje i sporiji u realnom vremenu.

Šta je finetuning?

Finetuning podrazumeva uzimanje već istreniranog LLM-a (npr. ChatGPT-a 4o) koga dodatno obučimo na vrlo specifičnom skupu podataka. 

To mogu biti dokumenti iz naše grane privredne delatnosti (npr. knjigovodstvo u RS i zakoni, pravilnici, mišljenja minastarstva koji određuju isto), interne baze korisničke podrške (stotine hiljada tiketa iz korisničke podrške) ili bilo koji drugi relevantan tekst. 

Takav, “fino podešen” model onda stiče dublju ekspertizu i preciznost u niši. Jasno je da plaćamo više u parama i vremenu ali dobijamo i neke prednosti. 

Specijalizovani rezultati: Dobro do-obučen model razume terminologiju i kontekst naše industrije ili brenda, stvarajući konzistentniji i kvalitetniji sadržaj.

Poboljšana preciznost: Stabilniji domeni ili tržišta koja se ne menjaju toliko brzo najviše profitiraju od fajntjuninga, jer se troškovi redovnog ažuriranja podataka mogu držati pod kontrolom.

Kako bi to izgledalo sa dva praktična primera

Hajde da zamislimo par startapa da bismo bolje razumeli ove koncepte. 

“Legally Sound” – Startap za sumiranje pravnih dokumenata

Glavna usluga je brzo i precizno sažimanje sudskih odluka, pravnih spisa i stručnih izveštaja.

Zašto fajntjuning? Dok se pravni propisi mogu menjati, jezik i struktura pravnih tekstova ostaju u velikoj meri konzistentni. Fajntjuning na ogromnom korpusu pravnih tekstova omogućava visoku tačnost i pouzdanost.

“AgriTrends” – Startap koji ima platformu za kupoprodaju poljoprivrednih proizvoda

Glavna usluga je prenos cene useva u realnom vremenu, vremenske prognoze i tržišni trendovi za poljoprivrednike.

Zašto RAG? Poljoprivreda se oslanja na neprestano ažuriranje: od promena cena na berzama do vremenskih uslova i izveštaja o zalihama. Dodavanje svežih podataka preko baze znanja čini RAG praktičnijim rešenjem od čestog ponovnog treniranja modela.

Sve skupa: Kada izabrati RAG a kada finetuning?

RAG:

1. Podaci koji se često menjaju: Ako vaša vrednost proističe iz aktuelnih informacija – npr. sportski rezultati, cene akcija, vesti – RAG obezbeđuje pristup najnovijim podacima.
2. Ograničen budžet: Fajntuning velikih modela zahteva značajna sredstva. RAG je jeftiniji ako su potrebne česte izmene u bazi znanja.
3. Raznorodni izvori informacija: Ako se modeli oslanjaju na više eksternih izvora, RAG će elegantno objediniti te podatke u realnom vremenu.

Finetuning:

1. Niša sa stabilnim podacima: Ako se vaše tržište ili tehnologija ne menjaju iz dana u dan, fajntuning nudi dosledniju i dublju preciznost.
2. Prepoznatljiv brend ili ton: U aplikacijama gde je važan “glas” ili stil (npr. mentalno zdravlje, edukacija, luksuzni brendovi), fajntuning obezbeđuje konzistentnost.
3. Bogata interne baze podataka: Ako posedujete vredan i jedinstven skup dokumenata, fajntuning može biti izuzetna konkurentska prednost.

Kada želimo da se prebacimo sa RAG-a na finetuning:

1. Stabilizacija podataka: Ako se vremenom smanji promenljivost informacija (npr. industrija u zrelijoj fazi), fajntuning može da poveća preciznost i kvalitet odgovora.
2. Veća specijalizacija: Kada vaš startap pređe na užu nišu ili razvija napredne analitičke funkcije, fajntjunovan model pruža dublje i smislenije odgovore.

I obrnuto:

1. Ubrzan tempo promena: Ako iznenada postane ključno oslanjati se na ažurne informacije, preskupo je stalno ponovo trenirati model. RAG je tada efikasnija opcija.
2. Ekspanzija u više izvora: U trenutku kada počnete da integrišete nove spoljne baze, API-je i korisnički generisan sadržaj, RAG omogućava jednostavnije “povezivanje” s tim izvorima.

Kreni sa “vanilom” pređi na RAG i onda tek na finetuning 

Ako je cilj inicijalna validacija mudro je probati LLM sa pametnim promtovanjem, pa tek kad postane jasno da je potrebna veća preciznost, ažurnost ili specifični komunikacioni nastup, vredi uložiti u naprednije metode i to prvo jeftinija i brža pa onda ova druga.