"Grandmaster" Keggle AI takmičenja varanjem dobio nagradu od 10.000$, sada dobio otkaz

Nedavno održano takmičenje u razvijanju softvera u oblasti mašinskog učenja s ciljem da napuštene životinje postanu udomljene je iz lepe ideje postalo drama. Pobednički tim je na prevaru dospeo na prvo mesto i pokupio nagradu od 10.000 dolara u konkurenciji od 2.000 timova, prenosi The Register.

Takmičenje je podržao Google, tj. Kaggle, a namera je bila da se rešenje implementira u AI alate koje inače koristi neprofitna organizacija PetFinder.my. Timovi su radili na njihovoj listi profila pasa, mačaka i drugih sitnih životinja, a zadatak koji im je dat podrazumevao je kreiranje algoritma koji predviđa koliko brzo će ljubimci biti usvojeni na osnovu detalja iz njihovog profila: fotografija, rasa, pol, veličina, starost, vakcinacija…

Ovim putem bi se iskristalisalo koje osobine su najviše cenjene od strane onih koji udomljavaju, pa bi na profilima životinja koje tek treba kreirati bile istaknute baš te karakteristike kako bi što pre bile usvojene. Odnosno, algoritam bi bio treniran na setu od 15.000 profila koji mu je unapred dat i vremenu koje životinja provede izlistana, te na osnovu toga doneo procenu kada će mezimac biti udomljen i da li ima potrebe za unošenjem promena koje bi ljubimca učinile primamljivijim.

Prvi ili stoti?

Nekoliko meseci nakon što su dobili podatke trebalo je da timovi dostave svoj kod. Svi dostavljeni modeli su testirani na svežim profilima i ocenjeni prema tome koliko precizno predviđaju vreme koje protekne do udomljavanja. Iz toga je kao pobednik izašao Bestpetting, tim predvođen Pavelom Pleskovim, jednim od uspešnijih Kagglera. Pavel je treći na listi Kaggle takmičara i ima titulu Kaggle Grandmastera.

Bez obzira na to, mane njegovog rešenja nisu promakle jednom tinejdžeru koji se prijavio da implementira rešenje Bestpetting-a u PetFinder.my.

Devetnaestogodišnji Bendžamin Minikshofer iz Austrije i sam je učestvovao u takmičenju i završio na šestom mestu, a kada je za PetFinder.my trebalo u okviru implementacije da odredi šta profile ljubimaca čini atraktivnijim (tekst, fotografija…) otkrio je da postoji ogromna razlika između pobedničkog i drugoplasiranog rešenja.

Kada se još malo udubio otkrio je i da u izvornom kodu postoji funkcija pod nazivom majority_voting, koja je skrivala delove Python koda i omogućavala Bestpetting-u da vara. Naime, Bestpetting je skrejpovao i hešovao na hiljade profila zajedno sa informacijom o vremenu koje je bilo potrebno za usvajanje, a onda te hintove smestio među hešove sa Pixabay seta podataka.

Kada bi za vreme testiranja sistem dobio na uvid profil koji se podudarao sa profilom skrejpovanim sa PetFinder.my-a, softver bi koristeći heš profila potražio stvarno vreme potrebno da konkretna životinja nađe dom. Odnosno, ne bi se radilo o predviđanju već činjenici. Da stvar bude gora, čak 3.500 od skrejpovanih profila se našlo u testnom setu podataka.

(Detaljnije objašnjenje prevare je dostupno ovde i ovde.)

Bez malverzacije Pavelov tim bi se našao oko stotog mesta. Takođe, Pavelu ovo nije bio prvi put da pokušava da uhvati krivinu. Varao je i pre više od godinu dana na Kaggle takmičenju na kom je trebalo naći rešenje za izdvajanje lažnih pitanja na sajtu Quora.

Zato je ovaj poslednji događaj rezultirao time da je Kaggle uklonio Pavelov profil i banovao ga sa platforme. Na ovo je izgubio i posao u H2O.ai-u, kompaniji iz Silicijumske doline gde je radio kao data scientist. Njegova reakcija bilo je izvinjenje u kom je istakao da za njega nije bio važan novac već pozicioniranje na Kaggle-u, te da je želja za prvim mestom na ovoj platformi uticala na njegovo rasuđivanje:

1. We, as a team, would like to apologize to @myPetFinder @kaggle and the DS community for all the wrongdoings. I would also like to apologize to @h2oai and all the Kaggle competitors for putting their reputation at risk.

— Pavel Pleskov (@ppleskov) January 11, 2020