De eerste editie van Meta’s LlamaCon is van start. Microsoft-CEO Satya Nadella was ook aanwezig en onthulde dat 30 procent van de code van het bedrijf inmiddels door AI geschreven is. Wat moeten we daar van maken?
De vraag over dit percentage werd gesteld door Mark Zuckerberg, CEO van Meta. Hoewel Nadella “30-40 procent” noemde, benadrukt hij dat dit AI-aandeel toeneemt. Het merendeel van AI-geschreven code is voor nieuwe projecten. Een opvallend wapenfeit, aangezien Nadella de bestaande C++-codebases kwalitatief lager inschat dan de nieuwere Python-code.
Maar wat is AI?
Over Zuckerberg gesproken: de Meta-CEO wil zelf geen percentage noemen. Volgens hem is het lastig om te zeggen of de code in kwestie slechts voltooid was door AI of autonoom geschreven. Dat is een levensgroot verschil: als autocomplete meetelt, is een enorm gedeelte van ons hedendaagse e-mailverkeer al jaren AI-gegenereerd. Zonder het onderscheid te maken, weten we dus niet precies wat Microsoft verstaat onder AI-code.
Ook is AI-programmeerhulp nog in een kwetsbaar stadium. In september berichtten we nog over het grote aantal aan onveilige code dat AI genereert. Destijds hallucineerden commerciële modellen 5,2 procent van de gebruikte code packages, terwijl open-source LLM’s in 21,7 procent van de gevallen in de mist gingen.
Kortom, zelfs met de verbeteringen sinds toen moeten we sceptisch zijn over de betrouwbaarheid van AI-outputs voor coderen. Echter merkte Zuckerberg opvallend genoeg op dat AI juist het securityniveau van code zal verhogen. Het is onduidelijk waarom hij deze mening heeft.
Stroomversnelling
Wetende dat de foutmarges in AI-code afnemen en IDE’s en andere ontwikkeltools steeds meer inspelen op AI-generatie van code, zal de verbetering voortzetten. Vandaar dat Nadella en Zuckerberg het erover eens zijn dat AI-code een steeds groter gedeelte van de codebases voor zijn rekening zal nemen. Nu is dat ook een ietwat listige manier om het “succes” van AI-coderen te bepalen. Hoeveel kwetsbaarheden zitten hierin? Heeft de AI het in slechts één of na een paar keer het goede pad gevonden?
Belangrijker: is het nog wel een mens geweest die bepaalde software engineering-keuzes maakte? Immers moeten AI-tools assistentie bieden, ongeacht de taal, de packages of de doeleinden die developers voor ogen hebben. Zuckerberg wil ook dit over een andere boeg gooien, met AI die Llama-ontwikkeling versnelt. Nadella verwacht zelfs dat ontwikkeltools en compute-infrastructuren een andere inrichting krijgen om in te spelen op AI-agents. Duidelijke taal, maar taal die meer vragen oproept dan het beantwoordt.
Lees ook: Google laat AI volop programmeren: 25% nieuwe code is AI-gedreven