Tehisintellekt
Tarkvarainseneride töövooge on viimastel aastatel muutnud tehisintellekti kodeerimistööriistade sissevool, näiteks Kursor y GitHubi koopia, mis lubavad tootlikkust parandada. Siiski nuevo stuudio avaldanud mittetulundusühing tehisintellekti uurimisrühm MEETER seab kahtluse alla, mil määral need tööriistad parandavad kogenud arendajate tootlikkust.
Uuring: kontrollitud uuring ekspertide kaasabil
METR viis läbi randomiseeritud kontrollitud uuringu, värvates 16 kogenud avatud lähtekoodiga arendajat ja paludes neil täita 246 reaalset ülesannet suurtes repositooriumides, kuhu nad regulaarselt panustavad. Ligikaudu pooled ülesannetest määrati tehisintellektiga toetatud ülesanneteks, mis võimaldasid kasutada tipptasemel tööriistu nagu Cursor Pro, samas kui teine pool keelas nende kasutamise.
Enne alustamist ennustasid arendajad, et tehisintellekti tööriistade kasutamine vähendab nende valmimisaega 24%. Tulemused olid hämmastavad.
Tootlikkus tehisintellekti abil: prognoos vs reaalsus
| Arendajate prognoos | -24% | |||
| Uuringu tegelik tulemus | + 19% | |||
Märkus: Ülesande täitmise aja varieeruvus. Allikas: METR.
„Üllataval kombel leidsime, et tehisintellekti lubamine pikendab tegelikult valmimisaega 19%: arendajad on tehisintellekti tööriistade kasutamisel aeglasemad.“
– METR-i teadlased
Miks tehisintellekt arendajaid aeglustas?
METR-i teadlased toovad välja mõned võimalikud põhjused. Arendajad kulutavad palju rohkem aega küsimustele vastuste ootamisele kui tegelikult kodeerimisele. Lisaks kipub tehisintellektil olema raskusi suurte ja keerukate koodibaasidega, nagu need, mida testis kasutati. Oluline on märkida, et ainult 56%-l uuringus osalenud arendajatest oli eelnev kogemus Cursoriga, kuigi kõik olid tööriista kasutamiseks koolitatud.
Kontekst ja järeldused
Uuringu autorid on ettevaatlikud ega tee lõplikke järeldusi, tunnistades, et teised ulatuslikud uuringud Nad on näidanud, et kodeerimistööriistad kiirendavad töövooge. Samuti toovad nad välja, et tehisintellekti areng on nii kiire, et nad ei ootaks samu tulemusi kolme kuu pärast.
Siiski pakub uuring veel ühe põhjuse lubatud tootlikkuse kasvu suhtes skeptiliselt suhtuda. Teised uuringud on näidanud, et praegused tehisintellekti kodeerimistööriistad võivad tuua kaasa turvavead ja haavatavusedMETR-i tulemused näitavad, et arendajad ei tohiks eeldada, et tehisintellekti tööriistad, eriti "vibe-koodrid", kiirendavad koheselt nende töövooge kõigis stsenaariumides.
