Thought Leadership
Obwohl sich Vectra AZ darauf konzentriert, KI zur Cyberabwehr einzusetzen, beobachtet das Unternehmen auch , wie KI-Fortschritte von Cyberangreifern genutzt werden könnten.
„Ein Bereich, in dem in letzter Zeit einige überraschende Fortschritte erzielt wurden, ist die Generierung natürlicher Sprache. Insbesondere hat OpenAI einen Generator für natürliche Sprache geschaffen, der in der Lage ist, kohärente Antworten in Absatzlänge auf eine beliebige Eingabeaufforderung zu erzeugen“, berichtet Christopher Thissen von Vectra AI.
Spear-Fishing-Kampagnen
Spear-Fishing-Kampagnen sind ein weiterer naheliegender Anwendungsfall. Durch die Erstellung relevanter und realistisch aussehender Mitteilungen veranlassen Angriffe mit Spear Fishing die Opfer dazu, auf gefährliche Links zu klicken oder Zugangsdaten auf betrügerischen Domains einzugeben. Hochentwickelte Spear-Fishing-Kampagnen nutzen Hintergrundrecherchen über das Ziel (Interessen, Zugehörigkeiten usw.), um Anschreiben zu konstruieren, die ein Mensch nicht als betrügerisch identifiziert (oder nicht identifizieren kann).
Die Ergebnis sind zwar selten perfekt, und Modelle müssen oft ein Dutzend Mal laufen, um überzeugende Ergebnisse zu erzielen. Dennoch: Die Erstellung eines glaubwürdigen Textes erfordert fast keinen Aufwand.
Es ist nicht schwer, sich Angreifer vorzustellen, die eine Pipeline aufbauen, die automatisch Schlüsselwörter aus einem Social-Media-Profil extrahiert, einen vernünftigen Text generiert, der einen Benutzer dazu auffordert, auf einen gefährlichen Link zu klicken, und den Text zu einem Zeitpunkt und an einem Ort veröffentlicht, an dem das Ziel am ehesten auf ihn reagieren wird. Tatsächlich haben Forscher von ZeroFox solch eine Pipeline für Twitter bei BlackHat demonstriert.
Die Forscher bauten eine KI auf, die Profile aus dem Twitter-Firehose auswählt und Themen aus der Profilgeschichte verwendet, um darauf einen LSTM-Textgenerator anzusetzen. Der LSTM erzeugt einen Tweet mit einem gefährlichen Link, der an den Benutzer gesendet wird, wenn er am wahrscheinlichsten antworten wird. Die Autoren berichten von Erfolgsquoten von 30 bis 60 Prozent – vergleichbar mit handgefertigten Kampagnen – und dennoch erfordern sie nach der Einrichtung fast keinen Aufwand.
Twitter als Testplattform
Die Forscher wählten Twitter, weil die Kurznachrichten die Benutzer darauf konditioniert haben, eine unkorrekte Grammatik zu erwarten. Dies ist einer der wichtigsten Anhaltspunkte, die Menschen nutzen, um betrügerische Nachrichten wie etwa Spam-E-Mails zu erkennen. Mit den Spracherzeugungsmodellen verschwindet dieser Hinweis, was es viel schwieriger macht, betrügerische E-Mails, Nachrichtenartikel und Social-Media-Posts zu unterscheiden.
„Wenn Menschen nicht zwischen dem Modell von OpenAI und von Menschen generiertem Text unterscheiden können, benötigen wir möglicherweise KI, die uns hilft, betrügerische Nachrichten zu identifizieren. Wie Boxer könnten solche Modelle kontradiktorisch trainiert werden, wobei die textgenerierende KI versucht, eine zweite KI zu überlisten, die darauf trainiert ist, gefälschten Text zu erkennen“, erklärt Christopher Thissen. „Dieses Trainingsprogramm kann dazu verwendet werden, die Fähigkeit der zweiten KI, gefälschten Text zu erkennen, zu verbessern. Solche generativen kontradiktorischen Netzwerke wurden bereits verwendet, um realistische Bilder von gut ausgebildeten Diskriminatoren zu erzeugen. Hier würde der kontradiktorische Ansatz in umgekehrter Richtung verwendet, um eine KI zu trainieren, den gefälschten Text besser zu erkennen.“
www.vectra.ai
