Tehisintellekt
Stanfordi ja Washingtoni ülikooli tehisintellekti teadlased suutsid uue uuringu kohaselt välja õpetada tehisintellekti "arutluskäigu" mudeli vähem kui 50 dollari eest pilvandmetöötluse kuludega. uurimistöö hiljuti tutvustatud.
S1 nime all tuntud mudel töötab sarnaselt nüüdisaegsete arutlusmudelitega, nagu Openi O1 ja Deepseeki R1, koos testidega, mis mõõdavad matemaatika- ja kodeerimisoskusi. S1 mudel on saadaval Githubis koos nende koolitamiseks kasutatud andmete ja koodiga.
S1 taga olev meeskond ütles, et lõi tehisintellekti mudeli destilleerimise teel, mis on protsess, mille käigus ekstraheeritakse selle vastuste järgi koolitatud teise AI mudeli "arutlusvõimed". Teadlaste sõnul on S1 destilleeritud ühest Google'i arutlusmudelist Gemini 2.0 Flash Thinking Experimental. Destilleerimine on sama lähenemisviis, mida Berkeley teadlased kasutasid AI arutlusmudeli loomiseks eelmisel kuul umbes 450 dollari eest.
Mõne jaoks on põnev idee, et mõned teadlased, kelle taga pole miljoneid dollareid, saavad AI-ruumis uuendusi teha. Kuid S1 tõstatab tõelisi küsimusi tehisintellekti mudelite kaubaks muutmise kohta. Kus on vahe, kui keegi suudab mitme miljoni dollarilist mudelit suhtelise kuluga lähedalt kopeerida?
Pole üllatav, et suured tehisintellekti laborid pole rahul. OpenAI on süüdistanud DeepSeeki oma API väärkasutamises eesmärgiga mudeli destilleerimine.
S1 taga olevad teadlased püüdsid leida lihtsaimat lähenemisviisi tugeva arutlusvõime ja "testiaja skaleerimise" saavutamiseks või lubada AI-mudelil enne küsimusele vastamist rohkem mõelda. Need olid mõned OpenAi O1 edusammud, mida DeepSeek ja teised AI laborid on püüdnud erinevate tehnikate abil korrata.
S1 dokument viitab sellele, et arutlusmudeleid saab destilleerida suhteliselt väikese andmekogumiga, kasutades protsessi, mida nimetatakse järelevalveks peenhäälestuseks (SFT), mille käigus AI mudelil on selgesõnaliselt juhendatud matkima teatud käitumist andmekogumis. SFT kipub olema odavam kui laiaulatuslik tugevdamisõppe meetod DeepSeek, mida kasutatakse OpenAi O1, R1 reageerimise treenimiseks.
Google pakub oma Google AI Studio platvormi kaudu tasuta juurdepääsu Gemini 2.0 Flash Thinking Experimentalile, kuigi päevamäärade piirangutega. Selle tingimused keelavad aga mudelite pöördprojekteerimise, et arendada teenuseid, mis konkureerivad Google'i enda tehisintellekti pakkumistega.
S1 põhineb väikesel kasutusvalmis AI-mudelil Alibaba Qwen AI Labilt, mis on tasuta allalaadimiseks saadaval. S1 koolitamiseks lõid teadlased vaid 1,000 hoolikalt valitud küsimusest koosneva andmestiku koos vastustega neile küsimustele ning iga Google'i Gemini 2.0 Flash Thinking Experimenti vastuse taga oleva "mõtlemisprotsessiga".
Pärast S1 koolitust, mis võttis 30 NVIDIA H16 GPU-ga aega vähem kui 100 minutit, saavutas S1 teadlaste sõnul tugeva jõudluse teatud tehisintellekti võrdlusalustes. Stanfordi teadlane Niklas Manennighoff, kes projekti kallal töötas, ütles, et saab täna vajaliku arvutusvõimsuse rentida umbes 20 dollari eest.
Teadlased kasutasid nutikat nippi, et saada S1 oma tööd kontrollima ja oma "mõtlemisaega" pikendama: nad käskisid tal oodata. Sõna "oodata" lisamine S1 arutluskäigu ajal aitas mudelil jõuda veidi täpsemate vastusteni, teatas leht.
2025. aastal Meta, Google ja Microsoft plaanib investeerida AI infrastruktuuri sadu miljardeid dollareid mida kasutatakse osaliselt järgmise põlvkonna AI mudelite koolitamiseks. Seda investeeringutaset võib AI innovatsiooni edendamiseks siiski vaja minna. Destilleerimine on osutunud heaks meetodiks tehisintellekti mudeli võimaluste odavaks taasloomiseks, kuid see ei loo uusi tehisintellekti mudeleid, mis oleksid oluliselt paremad kui praegu saadaval.
