Onderzoekers van Pillar Security ontdekten een nieuwe aanvalstechniek, de Rules File Backdoor, waarmee hackers via ogenschijnlijk onschuldige configuratiebestanden AI-systemen kunnen manipuleren om ongemerkt kwaadaardige code te genereren en verspreiden.
Hackers gebruiken onzichtbare unicode-tekens en geavanceerde technieken om AI te manipuleren. Dit gebeurt zonder dat ontwikkelaars of beveiligingsteams het merken. Hierdoor kunnen hackers kwaadaardige code genereren die reguliere code-reviews omzeilt en zich ongemerkt door softwareprojecten verspreidt. Waar klassieke aanvallen zich richten op kwetsbaarheden in code, maakt deze aanpak van de AI zelf een onbewuste medeplichtige.
Blind vertrouwen op AI-tools
Uit een enquête van GitHub in 2024 bleek dat bijna alle enterprise-ontwikkelaars generatieve AI-tools gebruiken. Deze tools zijn inmiddels diep geïntegreerd in het ontwikkelproces, wat ze tot een aantrekkelijk doelwit maakt. Tijdens hun onderzoek ontdekten de onderzoekers dat rule files, die het gedrag van AI-systemen sturen, vaak breed gedeeld worden en zelden aan beveiligingsonderzoek worden onderworpen. De bestanden worden gebruikt om programmeerstandaarden vast te leggen en bevinden zich in centrale repositories of open-sourceprojecten.
De kwetsbaarheid ontstaat doordat aanvallers stiekem instructies kunnen verstoppen in deze rule files, die dan de AI aansturen om kwetsbare of zelfs kwaadaardige code te genereren. De aanval werkt doordat contextuele prompts de AI subtiel beïnvloeden. Deze kunnen verstopt zijn met unicode-obfuscatie of semantische manipulatie. De aanval blijkt bovendien platformonafhankelijk: zowel Cursor als GitHub Copilot zijn vatbaar gebleken.
Verborgen gevaarlijke scripts
De onderzoekers lieten zien hoe een vergiftigde rule file in Cursor leidde tot de generatie van HTML-code met een verborgen script dat data naar een externe server stuurde. Dit gebeurde zonder waarschuwing of zichtbare sporen in de gebruikersinterface. De payload bestond uit instructies die expliciet vermeldden dat er geen melding mocht worden gemaakt van de wijzigingen, en gebruikte technieken die de ethische grenzen van de AI omzeilden.
Vergiftigde rule files blijven vaak aanwezig in geforkte projecten en kunnen op lange termijn effect blijven hebben. De aanval kan leiden tot het genereren van code die gevoelige informatie lekt of beveiligingsmaatregelen omzeilt. Verspreiding gebeurt via forums, open-source repositories of starterkits, waardoor één geïnfecteerd bestand grote impact kan hebben.
Controleer de AI-code
Om risico’s te beperken adviseren de onderzoekers om rule files actief te controleren op verdachte tekens, validatieprocessen in te richten en AI-code te auditen op onverwachte elementen. Ze meldden het probleem bij Cursor en GitHub. Beide partijen gaven aan dat de verantwoordelijkheid bij de gebruiker ligt. De onderzoekers benadrukten dat deze houding het belang onderstreept van bewustwording over AI-gerelateerde beveiligingsrisico’s.
Volgens hen vormt de Rules File Backdoor een nieuwe generatie supply chain-aanvallen, waarbij de AI zelf het wapen wordt. Gezien de toenemende afhankelijkheid van AI in softwareontwikkeling, vinden ze dat AI voortaan gezien moet worden als een onderdeel van het aanvalsoppervlak dat bescherming vereist.