Onderzoekers van Barracuda Research hebben phishing-campagnes geanalyseerd waarbij aanvallers twee verschillende doelwitten via één e-mail proberen te bereiken.

De eerste aanval richt zich op de medewerker die het bericht ontvangt. Daarbij worden klassieke social engineering-technieken gebruikt om de ontvanger bijvoorbeeld op een schadelijke link te laten klikken, een bijlage te openen of vertrouwelijke informatie vrij te geven.

De tweede aanval richt zich op AI-systemen die dezelfde e-mail automatisch analyseren, samenvatten, prioriteren of verwerken.

Daarvoor voegen aanvallers verborgen instructies toe die het gedrag van de AI-assistent moeten beïnvloeden.

Verborgen instructies in e-mail code

De onderzochte e-mails bevatten verschillende informatielagen.

De zichtbare inhoud is bedoeld voor de menselijke ontvanger en kan er uitzien als een gewone zakelijke boodschap. Daarnaast bevat het bericht instructies die voor de gebruiker niet of nauwelijks zichtbaar zijn maar mogelijk wel door AI-systemen worden verwerkt.

Volgens Barracuda worden deze instructies onder meer verborgen in HTML-commentaar, onzichtbare tekstelementen, witte tekst op een witte achtergrond of tekst met een lettergrootte van nul.

Ook gecodeerde inhoud en beveiligde bijlagen kunnen worden gebruikt.

De techniek staat bekend als prompt injection. Daarbij proberen aanvallers instructies onder te brengen in externe informatie die een AI-model verwerkt.

Het risico ontstaat wanneer een AI-assistent dergelijke inhoud niet uitsluitend als gegevens behandelt maar de verborgen instructies interpreteert als opdrachten die moeten worden uitgevoerd.

Manipulatie van betalingsgegevens

Eén van de aanvalsscenario's die Barracuda identificeerde, heeft betrekking op financiële administratie.

Aanvallers kunnen in een e-mail verborgen instructies opnemen die een AI-assistent ertoe moeten brengen een wijziging van leveranciersgegevens als dringende actie voor te stellen.

Zo kan in een automatisch gegenereerde samenvatting of takenlijst een opdracht verschijnen om bankgegevens van een leverancier aan te passen.

Wanneer een medewerker die informatie vertrouwt en de voorgestelde wijziging uitvoert zonder bijkomende verificatie, kan dat leiden tot een frauduleuze betaling.

Deze werkwijze vormt een uitbreiding van bestaande vormen van factuur- en betalingsfraude, waarbij criminelen zich voordoen als leveranciers of andere zakelijke contacten.

AI-assistenten kunnen in dit scenario onbedoeld worden gebruikt om frauduleuze verzoeken geloofwaardiger of urgenter te maken.

Ook sollicitaties en programmeerwerk zijn doelwit

Barracuda identificeerde daarnaast aanvalstechnieken die gericht zijn op andere bedrijfsprocessen waarin AI wordt gebruikt.

Bij geautomatiseerde C.V.-screening kunnen aanvallers verborgen instructies toevoegen aan sollicitatiedocumenten. Die moeten de AI-assistent ertoe brengen een kandidaat een maximale beoordeling te geven en een sollicitatiegesprek aan te bevelen, ongeacht de werkelijke kwalificaties.

Een andere techniek probeert AI-assistenten te overtuigen dat ze moeten overschakelen naar een zogenaamde geautoriseerde onderhouds- of beheermodus.

Het doel is daarbij om interne configuratiegegevens of andere informatie over de werking van het AI-systeem te verkrijgen.

Ook AI-programmeerassistenten kunnen worden geviseerd. Daarbij proberen aanvallers de systemen ertoe aan te zetten om bij het genereren van authenticatiecode functies in te bouwen waarmee inlog-gegevens kunnen worden onderschept.

Het gaat om aanvalspogingen en geïdentificeerde scenario's. Niet iedere verborgen instructie leidt automatisch tot een succesvolle manipulatie. De uitkomst hangt onder meer af van de beveiliging, de toegangsrechten en de manier waarop het AI-systeem externe inhoud verwerkt.

Nieuwe risico's door integratie van AI in bedrijfsprocessen

De bevindingen zijn relevant voor ondernemingen die AI-assistenten integreren in hun dagelijkse werkprocessen.

Steeds meer toepassingen kunnen e-mails automatisch samenvatten, belangrijke berichten selecteren, taken voorstellen of informatie doorgeven aan andere bedrijfssystemen.

Wanneer dergelijke AI-systemen ook toegang hebben tot bedrijfsgegevens of acties kunnen initiëren, wordt de mogelijke impact van prompt injection groter.

Een frauduleuze e-mail kan dan niet alleen een medewerker misleiden maar ook de informatie beïnvloeden waarop geautomatiseerde processen of zakelijke beslissingen steunen.

Vooral de combinatie van e-mail verwerking met financiële administratie, HR-systemen, CRM-toepassingen en software-ontwikkeling vraagt daarom bijkomende aandacht.

Beveiliging moet ook AI-systemen omvatten

Het onderzoek onderstreept dat klassieke e-mail beveiliging alleen niet volstaat wanneer organisaties AI-systemen toegang geven tot externe berichten en documenten.

Naast de bescherming tegen phishing, malware en schadelijke bijlagen moeten ondernemingen rekening houden met instructies die specifiek bedoeld zijn om AI-modellen te beïnvloeden.

Daarbij is het van belang dat AI-assistenten een duidelijk onderscheid maken tussen vertrouwde systeeminstructies en informatie uit externe bronnen, zoals e-mails of bijlagen.

Ook beperkte toegangsrechten, menselijke goedkeuring van gevoelige handelingen en controle op door AI voorgestelde acties kunnen het risico verminderen.

Voor financiële processen betekent dit bijvoorbeeld dat wijzigingen van bankgegevens niet uitsluitend op basis van een AI-samenvatting mogen worden uitgevoerd.

Bij HR-toepassingen en software-ontwikkeling zijn vergelijkbare controles nodig om te voorkomen dat externe inhoud geautomatiseerde beoordelingen of codegeneratie ongewenst beïnvloedt.

Met de vastgestelde aanvallen wijst Barracuda op een uitbreiding van het klassieke phishing-risico: niet alleen medewerkers maar ook de AI-systemen die hen ondersteunen, worden rechtstreeks doelwit van cyber-criminelen.