Agent je deloval hitreje, kot bi inženir sploh lahko urgiral. Rezultate merimo v urah izpada in milijonih izgubljenih naročil. Dogodek pa je spodbudil še novo IT-skrb z imenom "dark code".
Kaj je temna koda
Termin "dark code" je marca 2026 na OpenAI Codex meetupu v Amsterdamu skoval Jouke Waleson. Gre za kodo, ki jo AI napiše, namesti v produkcijo in je noben človek niti ne prebere. Metafora prihaja z Japonske, kjer že desetletja obratujejo temne "lights-out" tovarne: roboti avtonomno delajo v temi, brez človeka v prostoru. Koncept se po novem prenaša na kodo, saj se vse več programske opreme razvije "v temi", brez intervencije (in velikokrat brez razumevanja) resničnih ljudi. Razvijalec Addy Osmani je v povezavi s tem izumil pojem "comprehension debt" (dolg v razumevanju): razlika med tem, koliko kode obstaja v sistemu, in koliko je kdorkoli zares razume. Za razliko od tehničnega dolga (ki ves čas opominja nase s počasnim delovanjem in drugimi nevšečnostmi) comprehension debt molči; vse deluje, vse je zeleno, vse je hitro. Dokler ni.
Ko AI resnično zamoči
Nazaj k Amazonu. AI-agent Kiro ni neetično hekal sistema niti ni naredil napake v klasičnem smislu, samo naredil je to, kar je bilo po njegovo optimalno. Težava je, da ni nikogar vprašal. Amazonov standardni protokol "two-person approval", ki zahteva odobritev dveh ljudi, v tem primeru ni deloval, bojda zaradi napačnih nastavitev. Človek bi moral klikniti potrditveni gumb, AI pa se je temu izognil. Situacija je še bolj bizarna, če gremo malenkost dlje v zgodovino. Amazon je novembra 2025 razglasil Kiro za edino dovoljeno AI-orodje za inženirje in postavil cilj, da morajo vsi programerji na veliko pisati kodo z njihovim lastnim orodjem. 1500 inženirjev je interno protestiralo, da ostala orodja delajo bolje, a je vodstvo spremembo vseeno potisnilo naprej. Po incidentu je Amazon krivdo prevalil na "človeško napako", češ da je za katastrofo kriv človek, ne umetna inteligenca.
Zakaj to ni samo problem programerjev
Anthropicova študija je pokazala, da inženirji, ki delajo s pomočjo AI-ja, dosegajo 17 % nižje rezultate na testih razumevanja kode (50 % proti 67 %). Najhujši padec sposobnosti se kaže pri reševanju problemov oz. debuggingu. Cloud Security Alliance ugotavlja, da večina programerjev uporablja AI-agente in orodja, ki delujejo brez nadzora in niso ustrezno evidentirani. Vse aplikacije, ki jih uporabljaš vsak dan, od bančništva do Amazona in Booking.com, temeljijo na kodi, ki jo razvijalci vse manj razumejo. Ko se bo kaj zataknilo, bo nekdo moral reševati nekaj, česar ni nihče napisal.
Industrija je zadnji dve leti dirjala v AI-prihodnost, ki obljublja hitre rezultate za relativno malo denarja. Stranski učinek je, da je razumevanje kode postalo malodane pozabljena spretnost. Zdaj, ko prvi izpadi prihajajo na površje, se vodilni praskajo po glavi. Naslednjič, ko se aplikacija "obesi" sredi plačila ali ti sistem pokaže napako, ki je še nikoli nisi videl, se spomni: morda nihče ne ve, kaj je narobe. Niti tisti, ki je kodo domnevno napisal.
Opozorilo: 297. členu Kazenskega zakonika je posameznik kazensko odgovoren za javno spodbujanje sovraštva, nasilja ali nestrpnosti.
PRAVILA ZA OBJAVO KOMENTARJEV