Novosadski 3Lateral prvi na svetu razvio tehnologiju za kompletnu digitalizaciju ljudskog lika

Domaći tim je razvio tehnologiju koja omogućava kreiranje digitalnih dvojnika sposobnih da u potpunosti reprodukuju facijalne ekspresije iz realnog sveta.

Nevenka Rangelov - 21. Mart, 2018.

Novosadska kompanija 3Lateral je danas na Game Developers konferenciji (GDC) u San Francisku predstavila svoju najnoviju tehnologiju za digitalizaciju ljudskog lika na osnovu snimljenih dinamickih 3D podataka lica u pokretu, META Human Framework.

Izazov koji adresira rešenje iz 3Laterala i mnoge svetske kompanije pokušavaju da razviju duži niz godina. Domaća ekipa je prva uspela da predstavi rešenje koje donosi ovako precizan dijapazon facijalnih deformacija koje reprodukuju snimljenu gestikulaciju, a zahvaljujući saradnji sa kompanijom Epic Games i da prikaže do sada neviđen nivo foto realizma renderovan u realnom vremenu u Unreal Engine-u. 

Kako objašnjava Uroš Sikimić iz 3Laterala, zahvaljujući ovoj tehnologiji digitalni likovi do potpunih detalja preslikavaju misićne pomeraje lica koji su prisutni u realnosti.

Tehnologija se bazira na akviziciji velike količine podataka uz pomoć našeg facijalnog skenera (snimanje sekvence 3D skenova u vremenu) koji se zatim procesuiraju i kompresuju skoro milion puta da bi dobili jedinstveni digitalni model lica skeniranog subjekta.

Na taj način digitalizujemo trenutni vizuelni identitet lica koji može u potpunosti da rekreira facijalnu gestikulaciju skeniranog subjekta. Dakle to je rešenje pomoću kojeg bogatstvo informacija i sadržaja iz realnog sveta digitalizujemo tako da može potpuno da oponaša realan svet u nekom digitalnom medijumu.

Kako kažu iz novosadske ekipe, ova tehnologija doprinosi dodatnom približavanju filmske i gaming industrije.

Koje su oblasti primene?

Primena ove tehnologije je zaista široka, počevši od toga što omogućava da se trenutan fizički izgled ljudi čuva u digitalnoj formi, pa tako možemo da rekreiramo isti vizuelni identitet čoveka nakon 20 ili 50 godina i da snimimo novi film nakon tih 20 ili 50 godina gde digitalizovan glumac nije ostario.

Kroz našu tehnologiju omogućavamo da se kreira digitalni dvojnik glumca koji može da se koristi u filmovima kada na primer taj glumac nije dostupan ili ako želimo da snimamo film za 20 godina, a hoćemo da koristimo lice glumca onako kako izgleda danas.

Sa druge strane, pored digitalizacije samog glumca, tehnologija omogućava da vrlo precizno digitalizujemo mišićne kontrakcije angažovane u toku nekog performansa, koje mogu da voze glumu na nekom drugom digitalnom karakteru (fiktivnom na primer). Recimo da želiš da se emocija i ekspresije iz glume nekog poznatog glumca u potpunosti reprodukuju na tvom karakteru koji je zombi, vanzemaljac ili neki drugi čovek – i to je moguće!

Zahvaljujući tome moguće je digitalno oponašanje neverbalne komunikacije, koja čini preko 50% informacija koje čovek zapravo tumači u komunikaciji sa ljudima. Tako digitalni karakteri predstavljaju idealan interfejs između ljudi i mašina, gde je pored verbalne razmene informacija podržana i neverbalna.

Još jedna primena je da tehnologija dozvoljava da uvežemo naše digitalne karaktere sa veštačkom inteligencijom, pa tako dobijemo koherentan sistem koji objedinjuje i digitalni mozak i odgovarajuću digitalnu vizuelnu formu za njega.

Glavna inovacija ove tehnologije leži u hardveru za akviziciju podataka kao i u složenim algoritmima za njihovu obradu i kompresovanje.

Ideja 3Laterala je da uz pomoć svojih tehnologija omogući svima da realizuju svoje kreativne ideje koje zahtevaju digitalne ljude. Iz biznis perspektive 3Lateral se transformiše iz service providera u technology providera, tako što sva svoja rešenja formulišu u alate za širu industriju.

Predstavljanje na GDC-u

U okviru keynote predavanja na ovogodišnjem GDC-u, Vladimir Mastilović, CEO 3Laterala, je predstavio ovu tehnologiju kroz demonstraciju na poznatom glumcu Endiju Serkisu, čija je digitalna replika glumila odlomak iz Šekspirovog Makbeta.

Pored toga, u saradnji sa kompanijama Epic Games, Tencent, Vicon i Cubic Motion, predstavljen je i hiper realistični digitalni karakter kojeg pokreće fizički čovek u realnom vremenu. Karakter je i renderovan i gluma je mapirana na njega u realnom vremenu zahvaljujući tehnologiji Rig Logic© iz 3Laterala.

Ova tehnologija će u Srbiji prvi put biti javno demonstrirana na ovogodišnjem GameUpu.

Ovo postignuće novosadskog tima potvrđuje da Novi Sad kao grad sa najviše IT-jevaca po glavi stanovnika itekako razvija inovativne tehnologije i da nije samo grad autsorsinga, a kako kaže ekipa 3Laterala, menja se i način na koji industrija njih percipira — kao tech kompaniju sa suštinski inovativnim tehnologijama.

Pridruži se → prvo predstavljanje rada Tesla Nationa