“Move fast and break things”, dat lijkt het motto te zijn op het gebied van AI. Sinds de introductie van ChatGPT in 2022, is AI dé grote trend bij zowel vendoren als organisaties. Het gebruik van een AI-gebaseerd Large Language Model (LLM) kan ervoor zorgen dat teams hun werk veel efficiënter kunnen doen. De ontwikkelingen in AI-gebaseerde systemen gaan enorm snel. Zo verwachten experts dat veel organisaties binnen een paar jaar zullen werken met ‘agentic AI-systemen’. Agentic AI verwijst naar een geavanceerd AI-systeem dat autonoom acties onderneemt, zich in realtime aanpast en problemen oplost op basis van context en doelstellingen. Aangezien het zelfstandig hosten en implementeren van een AI-systeem veel tijd en kennis kost, gebruiken veel organisaties openbare bronnen om hun AI-initiatieven te stimuleren. Dit gaan we ook zien bij de opkomst van agentic AI-systemen. Het gebruik van openbare AI-resources brengt echter ook risico’s met zich mee.
Risico’s van het gebruik van openbare LLM’s voor agentic AI-systemen
Een agentic AI-systeem combineert LLM’s, geheugen, tools en workflows in een meer geavanceerd AI-gebaseerd systeem. Ondanks dat dit een nieuwe softwareontwikkelingsstack is, spelen LLM’s hierin een grote rol. Het hosten van een LLM vereist echter veel geheugen en een goede GPU. Niet elke organisatie kan dit in-house faciliteren. Openbare LLM-varianten zoals LMStudio, llama.cpp en Ollama kunnen dan uitkomst bieden. Deze openbare LLM-varianten hebben de laatste tijd een enorm snelle ontwikkeling doorgemaakt. Dit heeft er echter ook voor gezorgd dat er bugs in dergelijke systemen voorkomen. Deze bugs zijn veelal data-validatie bugs, maar ze kunnen ook leiden tot denial of service of datalekken.
Een ander risico van openbare LLM-varianten is dat hun servers blootgesteld kunnen staan aan het internet. Uit onderzoek van Trend Micro blijkt dat llama.cpp 80 blootgestelde servers had, waarvan 57 geen enkele vorm van authenticatie leken te hebben. Bij Ollama vond het onderzoeksteam zelfs 3.000 servers die volledig open stonden. Op deze servers werden maar liefst 15.000 modellen gehost. Zonder authenticatie heeft vrijwel iedereen toegang tot een dergelijk model. Dat betekent dat modellen bijvoorbeeld aangepast of gedelete kunnen worden door cybercriminelen. Dit kan vervolgens leiden tot onvoorspelbare resultaten wanneer organisaties dit model gebruiken voor hun agentic AI-systeem.
Neem bijvoorbeeld een callcenter dat een agentic AI-systeem gebruikt op basis van een openbare LLM-variant. Een callcentermedewerker wil zo snel mogelijk een oplossing vinden voor het probleem van de beller. Dat kan als relevante informatie en interne documenten opgeslagen staan in het AI-systeem. Echter, wanneer het een foutieve openbare LLM betreft, kan de uitkomst mogelijk verkeerde of incomplete informatie bieden, waardoor de callcentermedewerker niet verder komt.
Een veilige basis voor veilige AI-gebaseerde innovatie
Het is essentieel dat organisaties zich bewust zijn van de risico’s van openbare LLM-modellen en ze de juiste beveiligingsmaatregelen nemen om hun organisatie en het toekomstige gebruik van deze modellen in agentic AI-systemen veilig te houden. Maatregelen zoals TLS-encryptie en continue authenticatie via een zero trust-framework worden hierbij sterk aanbevolen. Daarnaast is het belangrijk om een security-first mindset te stimuleren onder medewerkers. Als beveiliging vanaf het begin ingebakken zit in nieuwe oplossingen, frameworks of modellen, zal het eenvoudiger zijn om gegevens niet alleen tijdens de implementatiefase, maar ook tijdens het schalen en uitbreiden veilig te houden.
In de haast om GenAI snel in te zetten, hebben organisaties te maken met nieuwe cyberrisico’s. Het is belangrijk om altijd rekening te houden met de basisprincipes van beveiliging bij het implementeren van een nieuw model of systeem, of het nu in de cloud of on-premises is. Door beveiligingsmaatregelen proactief te implementeren, kunnen organisaties veilig innoveren met GenAI en tegelijkertijd hun intellectuele eigendom, gegevens en activiteiten beschermen. Naarmate AI zich verder ontwikkelt, zal het beveiligen van deze fundamenten onmisbaar zijn om het verantwoorde en effectieve gebruik ervan te waarborgen.
Dit is een ingezonden bijdrage van Trend Micro. Via deze link vind je meer informatie over de mogelijkheden van het bedrijf.