Agent je deloval hitreje, kot bi inženir sploh lahko urgiral. Rezultate merimo v urah izpada in milijonih izgubljenih naročil. Dogodek pa je spodbudil še novo IT-skrb z imenom "dark code".
Kaj je temna koda
Termin "dark code" je marca 2026 na OpenAI Codex meetupu v Amsterdamu skoval Jouke Waleson. Gre za kodo, ki jo AI napiše, namesti v produkcijo in je noben človek niti ne prebere. Metafora prihaja z Japonske, kjer že desetletja obratujejo temne "lights-out" tovarne: roboti avtonomno delajo v temi, brez človeka v prostoru. Koncept se po novem prenaša na kodo, saj se vse več programske opreme razvije "v temi", brez intervencije (in velikokrat brez razumevanja) resničnih ljudi. Razvijalec Addy Osmani je v povezavi s tem izumil pojem "comprehension debt" (dolg v razumevanju): razlika med tem, koliko kode obstaja v sistemu, in koliko je kdorkoli zares razume. Za razliko od tehničnega dolga (ki ves čas opominja nase s počasnim delovanjem in drugimi nevšečnostmi) comprehension debt molči; vse deluje, vse je zeleno, vse je hitro. Dokler ni.
Ko AI resnično zamoči
Nazaj k Amazonu. AI-agent Kiro ni neetično hekal sistema niti ni naredil napake v klasičnem smislu, samo naredil je to, kar je bilo po njegovo optimalno. Težava je, da ni nikogar vprašal. Amazonov standardni protokol "two-person approval", ki zahteva odobritev dveh ljudi, v tem primeru ni deloval, bojda zaradi napačnih nastavitev. Človek bi moral klikniti potrditveni gumb, AI pa se je temu izognil. Situacija je še bolj bizarna, če gremo malenkost dlje v zgodovino. Amazon je novembra 2025 razglasil Kiro za edino dovoljeno AI-orodje za inženirje in postavil cilj, da morajo vsi programerji na veliko pisati kodo z njihovim lastnim orodjem. 1500 inženirjev je interno protestiralo, da ostala orodja delajo bolje, a je vodstvo spremembo vseeno potisnilo naprej. Po incidentu je Amazon krivdo prevalil na "človeško napako", češ da je za katastrofo kriv človek, ne umetna inteligenca.
Zakaj to ni samo problem programerjev
Anthropicova študija je pokazala, da inženirji, ki delajo s pomočjo AI-ja, dosegajo 17 % nižje rezultate na testih razumevanja kode (50 % proti 67 %). Najhujši padec sposobnosti se kaže pri reševanju problemov oz. debuggingu. Cloud Security Alliance ugotavlja, da večina programerjev uporablja AI-agente in orodja, ki delujejo brez nadzora in niso ustrezno evidentirani. Vse aplikacije, ki jih uporabljaš vsak dan, od bančništva do Amazona in Booking.com, temeljijo na kodi, ki jo razvijalci vse manj razumejo. Ko se bo kaj zataknilo, bo nekdo moral reševati nekaj, česar ni nihče napisal.
Industrija je zadnji dve leti dirjala v AI-prihodnost, ki obljublja hitre rezultate za relativno malo denarja. Stranski učinek je, da je razumevanje kode postalo malodane pozabljena spretnost. Zdaj, ko prvi izpadi prihajajo na površje, se vodilni praskajo po glavi. Naslednjič, ko se aplikacija "obesi" sredi plačila ali ti sistem pokaže napako, ki je še nikoli nisi videl, se spomni: morda nihče ne ve, kaj je narobe. Niti tisti, ki je kodo domnevno napisal.
Tehnični dolg je metafora, ki opisuje posledice izbire hitre in preproste rešitve pri razvoju programske opreme namesto boljše, a dolgotrajnejše arhitekturne rešitve. Čeprav hitra rešitev omogoča takojšnjo uporabo, v prihodnosti zahteva dodaten čas in trud za popravke, vzdrževanje ali nadgradnjo. Podobno kot pri finančnem dolgu se tudi pri tehničnem dolgu nabirajo 'obresti', ki se kažejo v počasnejšem delovanju sistema, težavah pri dodajanju novih funkcij in povečanem tveganju za napake, če dolga ne odplačamo s prenovo kode.
Izraz 'lights-out' (v prevodu 'ugasnjene luči') se nanaša na popolnoma avtomatizirane proizvodne obrate, kjer stroji in roboti delujejo brez neposredne prisotnosti človeških delavcev. Ker roboti ne potrebujejo osvetlitve za svoje delovanje, lahko takšne tovarne obratujejo v popolni temi. Ta koncept poudarja visoko stopnjo avtonomije in učinkovitosti, saj sistem deluje neprekinjeno in brez človeškega nadzora na sami lokaciji, kar zmanjšuje stroške dela in možnost človeških napak v rutinskih procesih.
Addy Osmani je priznan inženir in vodja na področju spletnega razvoja, ki je znan po svojem delu pri Googlu. V svoji karieri se je osredotočal predvsem na optimizacijo delovanja spletnih aplikacij, izboljšanje uporabniške izkušnje in razvoj orodij za programerje. Njegov prispevek vključuje številne odprtokodne projekte in strokovne publikacije, v katerih raziskuje, kako lahko sodobne tehnologije in avtomatizacija vplivajo na kakovost kode ter dolgoročno vzdržljivost kompleksnih programskih sistemov.
Opozorilo: 297. členu Kazenskega zakonika je posameznik kazensko odgovoren za javno spodbujanje sovraštva, nasilja ali nestrpnosti.
PRAVILA ZA OBJAVO KOMENTARJEV