OpenAI o1 model navodno dobio rezultat od 120 na testu količnika inteligencije

Prema novinaru Maksu Lotu, AI entuzijasti, o1 je dosegao značajno veći IQ rezultat, dobivši 120 poena na testu gde je, recimo, Claude Sonnet na 90.

OpenAI’s new o1 model is a BIG breakthrough in AI intelligence, if IQ tests say anything.

I gave it the Norway Mensa IQ test, and it blows other AIs out of the water.

I’m surprised!… Because there hadn’t been public progress in the last 6mo.

Link to full analysis below: pic.twitter.com/bRgdxvLkV1

— Maxim Lott (@maximlott) September 14, 2024

Najčešća zabrinutost kod ovakve vrste analize je da možda neki AI modeli imaju „puškice“; možda su obučeni na upravo ovim pitanjima.

Da bih rešio tu mogućnost, u aprilu mi je komentator na ovom blogu, Jurij, član Mense, ponudio da napravi nova pitanja za IQ test. Zatim sam kreirao anketu koja je sadržala njegova nova pitanja, zajedno sa nekim pitanjima sa Mensa testova iz Norveške, i pozvao čitaoce ovog bloga da je popune. Oko 40 vas je učestvovalo.

Nakon toga sam izbrisao anketu. Na taj način, pitanja nikada nisu bila javno postavljena na internetu, dostupna pretraživačima, i time bi trebalo da budu zaštićena od ulaska u podatke za treniranje AI modela.

Ako je ovo relevantan test, i ako se trenutni trendovi nastave, predviđa se da bi AI sistemi mogli dostići IQ nivo od 140 do 2026. godine, što bi ih učinilo inteligentnijim od većine ljudske populacije. Poznati haker Džordž Hoc je ubacio svoj dojam o novom modelu na Twitter:

ChatGPT o1-preview is the first model that’s capable of programming (at all). Saw an estimate of 120 IQ, feels about right.

Very bullish on RL in development environments. Write code, write tests, check work…repeat

Here’s it is writing tinygrad tests: https://t.co/3xTe4EOBet

— George Hotz 🌑 (@realGeorgeHotz) September 15, 2024

PS — još samo par godina za nas, ljude

Dok je pomagao u pisanju ovog članka, o1 je imao i ovakav momenat.