Novosadski 3Lateral prvi na svetu razvio tehnologiju za kompletnu digitalizaciju ljudskog lika

Domaći tim je razvio tehnologiju koja omogućava kreiranje digitalnih dvojnika sposobnih da u potpunosti reprodukuju facijalne ekspresije iz realnog sveta.

Novosadska kompanija 3Lateral je danas na Game Developers konferenciji (GDC) u San Francisku predstavila svoju najnoviju tehnologiju za digitalizaciju ljudskog lika na osnovu snimljenih dinamickih 3D podataka lica u pokretu, META Human Framework.

Izazov koji adresira rešenje iz 3Laterala i mnoge svetske kompanije pokušavaju da razviju duži niz godina. Domaća ekipa je prva uspela da predstavi rešenje koje donosi ovako precizan dijapazon facijalnih deformacija koje reprodukuju snimljenu gestikulaciju, a zahvaljujući saradnji sa kompanijom Epic Games i da prikaže do sada neviđen nivo foto realizma renderovan u realnom vremenu u Unreal Engine-u. 

Kako objašnjava Uroš Sikimić iz 3Laterala, zahvaljujući ovoj tehnologiji digitalni likovi do potpunih detalja preslikavaju misićne pomeraje lica koji su prisutni u realnosti.

Tehnologija se bazira na akviziciji velike količine podataka uz pomoć našeg facijalnog skenera (snimanje sekvence 3D skenova u vremenu) koji se zatim procesuiraju i kompresuju skoro milion puta da bi dobili jedinstveni digitalni model lica skeniranog subjekta.

Na taj način digitalizujemo trenutni vizuelni identitet lica koji može u potpunosti da rekreira facijalnu gestikulaciju skeniranog subjekta. Dakle to je rešenje pomoću kojeg bogatstvo informacija i sadržaja iz realnog sveta digitalizujemo tako da može potpuno da oponaša realan svet u nekom digitalnom medijumu.

Kako kažu iz novosadske ekipe, ova tehnologija doprinosi dodatnom približavanju filmske i gaming industrije.

Koje su oblasti primene?

Primena ove tehnologije je zaista široka, počevši od toga što omogućava da se trenutan fizički izgled ljudi čuva u digitalnoj formi, pa tako možemo da rekreiramo isti vizuelni identitet čoveka nakon 20 ili 50 godina i da snimimo novi film nakon tih 20 ili 50 godina gde digitalizovan glumac nije ostario.

Kroz našu tehnologiju omogućavamo da se kreira digitalni dvojnik glumca koji može da se koristi u filmovima kada na primer taj glumac nije dostupan ili ako želimo da snimamo film za 20 godina, a hoćemo da koristimo lice glumca onako kako izgleda danas.

Sa druge strane, pored digitalizacije samog glumca, tehnologija omogućava da vrlo precizno digitalizujemo mišićne kontrakcije angažovane u toku nekog performansa, koje mogu da voze glumu na nekom drugom digitalnom karakteru (fiktivnom na primer). Recimo da želiš da se emocija i ekspresije iz glume nekog poznatog glumca u potpunosti reprodukuju na tvom karakteru koji je zombi, vanzemaljac ili neki drugi čovek – i to je moguće!

Zahvaljujući tome moguće je digitalno oponašanje neverbalne komunikacije, koja čini preko 50% informacija koje čovek zapravo tumači u komunikaciji sa ljudima. Tako digitalni karakteri predstavljaju idealan interfejs između ljudi i mašina, gde je pored verbalne razmene informacija podržana i neverbalna.

Još jedna primena je da tehnologija dozvoljava da uvežemo naše digitalne karaktere sa veštačkom inteligencijom, pa tako dobijemo koherentan sistem koji objedinjuje i digitalni mozak i odgovarajuću digitalnu vizuelnu formu za njega.

Glavna inovacija ove tehnologije leži u hardveru za akviziciju podataka kao i u složenim algoritmima za njihovu obradu i kompresovanje.

Ideja 3Laterala je da uz pomoć svojih tehnologija omogući svima da realizuju svoje kreativne ideje koje zahtevaju digitalne ljude. Iz biznis perspektive 3Lateral se transformiše iz service providera u technology providera, tako što sva svoja rešenja formulišu u alate za širu industriju.

Predstavljanje na GDC-u

U okviru keynote predavanja na ovogodišnjem GDC-u, Vladimir Mastilović, CEO 3Laterala, je predstavio ovu tehnologiju kroz demonstraciju na poznatom glumcu Endiju Serkisu, čija je digitalna replika glumila odlomak iz Šekspirovog Makbeta.

Pored toga, u saradnji sa kompanijama Epic Games, Tencent, Vicon i Cubic Motion, predstavljen je i hiper realistični digitalni karakter kojeg pokreće fizički čovek u realnom vremenu. Karakter je i renderovan i gluma je mapirana na njega u realnom vremenu zahvaljujući tehnologiji Rig Logic© iz 3Laterala.

Ova tehnologija će u Srbiji prvi put biti javno demonstrirana na ovogodišnjem GameUpu.

Ovo postignuće novosadskog tima potvrđuje da Novi Sad kao grad sa najviše IT-jevaca po glavi stanovnika itekako razvija inovativne tehnologije i da nije samo grad autsorsinga, a kako kaže ekipa 3Laterala, menja se i način na koji industrija njih percipira — kao tech kompaniju sa suštinski inovativnim tehnologijama.

Predstavljamo poslodavca
MDCS-logo-1-1.png

Microsoft Development Center Serbia (MDCS)

We believe in people

Microsoft’s mission is to empower every person and organization on the planet to achieve more. This is what inspires us to learn and grow every day. MDCS is created with a mission to take an active part in conception of novel Microsoft technologies by hiring unique local talent from Serbia and to contribute components to some of Microsoft’s premiere and most innovative products. MDCS is becoming widely recognized across Microsoft as a center of excellence for the Big Data and Machine Learning based solutions.

Nevenka Rangelov

Unesite termine za pretragu