Facebook-ova nova platforma trenira AI modele  

Facebook je predstavio Dynabench, AI platformu za prikupljanje podataka i postavljanje standarda za evaluaciju veštačke inteligencije. Na ovoj platformi, ljudi će kontinuirano trenirati NLP modele kako bi se stvorilo izazovnije i realističnije okruženje za njihovo učenje.

Mnogobrojne studije pokazuju da najčešće korišćene metode evaluacije neadekvatno procenjuju performantnost veštačke inteligencije u stvarnom svetu. Prema skorašnjem izveštaju, može se zaključiti da su NLP modeli često samo „pamtili” i davali već naučene odgovore.

Ideja Dynabench-a je sledeća: ako je NLP model kreiran s namerom da razgovara sa ljudima, koji je bolji način da se utvrdi koliko je u tome uspešan, nego da upravo to i čini? Facebook-ov novi sistem oslanja se na ljude koji NLP algoritmima treba da postavljaju serije jezički provokativnih pitanja, kako bi ih zbunili. Što ređe algoritam pogreši, to je uspešniji. 

„U suštini, Dynabench je naučni eksperiment koji ima za cilj da utvrdi može li zajednica koja se bavi proučavanjem veštačke inteligencije bolje da evaluira mogućnosti naših sistema i pomogne njihovom bržem razvoju”, navode iz Facebook-a. „Planiramo da Dynabench izložimo svim mogućim zadacima, jezicima i modalitetima. Nadamo se da ćemo privući ‘hakere modela veštačke inteligencije’ da pronađu kreativne načine da zbune modele, ali i ‘kreatore modela’ da naprave nove modele sa manje nedostataka”.

Interesantno je da svako može da isproba Dynabench, pošto je otvoren za javnost. Korisnici samo treba da se uloguju na Dynabench-ov portal i da otpočnu dopisivanje sa NLP modelima. Nije neophodno nikakvo dodatno znanje, potrebno je samo poznavati engleski jezik na osnovnom nivou. U budućnosti, mogućnosti sistema širiće se uz pomoć novih modela i drugih jezika.