FAQ
: KI als Waffe: Steigt die Hacker-Gefahr?
von David Metzmacher
20.02.2024 | 19:04 UhrIn Zusammenarbeit mit Microsoft Threat Intelligence haben wir fünf staatlich verbundene Akteure gestört, die KI-Dienste zur Unterstützung böswilliger Cyberaktivitäten nutzen wollten.
"Das ist ein Tropfen auf den heißen Stein", meint Nicolas Müller, wissenschaftlicher Mitarbeiter am Fraunhofer-Institut für Angewandte und Integrierte Sicherheit (AISEC).
Das hat viel Symbolkraft - aber die Hacker werden schon den nächsten Account haben.
Der Fall wirft Fragen auf: Verstärkt generative Künstliche Intelligenz die Gefahr durch Hackergruppen? Was können sie mit ChatGPT und Co. anstellen? Und was bringt es, ihre Accounts zu sperren - können sie nicht einfach neue erstellen?
Innenministerin Faeser hat im Februar ein neues IT-Lagezentrum in Bonn eröffnet. Es soll kritische Infrastruktur besser vor Cyberattacken schützen.
06.02.2024 | 01:47 minWas ist passiert?
OpenAI, das Unternehmen hinter ChatGPT, und Microsoft haben nach eigenen Angaben Accounts von fünf Hackergruppen gesperrt:
Microsoft ist ein wichtiger Geldgeber von OpenAI und nutzt dessen KI-Technologie für eigene Anwendungen - und leistet OpenAI Hilfe bei der Bekämpfung von Sicherheitsrisiken. Die fünf gesperrten Hackergruppen stehen laut den Unternehmen in Verbindung zu Staaten - namentlich Russland, China, Iran und Nordkorea.
Welche Hackergruppen sind betroffen?
Forest Blizzard ...
... ist ein russischer Geheimdienstakteur. Microsoft glaubt, dass die Operationen von Forest Blizzard eine unterstützende Rolle für Russlands Außenpolitik und militärische Ziele sowohl in der Ukraine als auch in der breiteren internationalen Gemeinschaft spielen. Die Gruppe nutzte ChatGPT-Dienste für Nachforschungen zu Satellitenkommunikationsprotokollen und Radarbildgebungstechnologien sowie zur Unterstützung bei Programmieraufgaben.
Emerald Sleet ...
... ist aus Nordkorea, die Gruppe war laut Microsoft im Jahr 2023 "äußerst aktiv". Die Gruppe nutzte ChatGPT-Dienste, um Experten und Organisationen zu identifizieren, die sich auf Verteidigungsfragen in der asiatisch-pazifischen Region konzentrieren. Es ging auch draum, öffentlich verfügbare Schwachstellen zu verstehen, bei Programmieraufgaben zu helfen und Inhalte zu entwerfen, die in Phishing-Kampagnen verwendet werden könnten.
Crimson Sandstorm ...
... ist aus Iran und wird mit den iranischen Revolutionsgarden in Verbindung gebracht. Die Gruppe nutzte ChatGPT-Dienste für Skriptunterstützung im Zusammenhang mit App- und Webentwicklung, um Inhalte zu generieren, die wahrscheinlich für Phishing-Kampagnen verwendet werden sollten. Weiteres Ziel: gängige Methoden zu erforschen, wie Malware der Erkennung entgehen könnte.
Charcoal Typhoon ...
... ist eine chinesische, staatlich angebundene Hackergruppe, die ChatGPT nutzte, um Unternehmen und Cybersicherheitstools zu erforschen, Fehler in Codes aufzuspüren und Skripte zu generieren- Weiteres Ziel: Inhalte zu erstellen, die wahrscheinlich für den Einsatz in Phishing-Kampagnen bestimmt waren.
Salmon Typhoon ...
... wird ebenfalls mit China in Verbindung gebracht. Die Gruppe hat eine Historie in der Zielausrichtung auf US-amerikanische Verteidigungsunternehmen, Regierungsbehörden und Einrichtungen im Bereich der kryptographischen Technologie. Die Gruppe nutzte ChatGPT-Dienste, um technische Papiere zu übersetzen, öffentlich verfügbare Informationen über mehrere Geheimdienste und regionale Bedrohungsakteure abzurufen, bei der Codierung zu helfen und Methoden zu erforschen, wie Prozesse auf einem System verborgen werden könnten.
Quelle: ZDF/Microsoft
Wie sind Microsoft und OpenAI den Hackern auf die Schliche gekommen?
Um Hackergruppen zu identifizieren, hilft OpenAI die Partnerschaft mit Microsoft. Der Konzern hat ein eigenes Team für solche Fälle:
Die Microsoft Threat Intelligence verfolgt mehr als 300 Bedrohungsakteure, darunter 160 staatliche Akteure, 50 Ransomware-Gruppen und viele andere.
Im Team sitzen laut Microsoft Experten mit Cybersecurity-Fachwissen, auch werden automatisierte Systeme genutzt. Das Ziel: Aufdecken von Anomalien - also ungewöhnlichem Nutzerverhalten, dass auf missbräuchliche Verwendung schließen lässt.
OpenAI und Microsoft kennen Millionen ChatGTP-Accounts - das heißt, sie haben ein sehr gutes Bild vom durchschnittlichen Nutzungsverhalten.
Die Unternehmen sammelten Metadaten wie Uhrzeiten der Nutzung, Frequenz der Anfragen, oder die Aufteilung der Themen, zu denen ein Nutzer mit ChatGPT interagiert, erklärt Müller. Abweichler fallen auf. "Das schaut Microsoft sich dann genauer an und kann so Missbrauch erkennen."
Ein Beispiel: Ein ChatGTP-Account ist auf eine deutsche Kreditkarte registriert - aber die IP-Adresse führt in ein anderes Land, die Nutzungszeiten passen nicht zur deutschen Zeit oder Anfragen werden auf Russisch gestellt. "So können dann geklaute Accounts identifiziert werden", erklärt Müller. Das könne man sich vorstellen wie bei der Erkennung von Kreditkartenbetrug.
Die Entwickler von ChatGPT haben einen Filmgenerator veröffentlicht. Er heißt Sora und kann aus kurzen Text-Vorgaben realistische Videos erzeugen.
16.02.2024 | 01:31 minWas haben die Hackergruppen mit ChatGPT gemacht?
Die fünf Hackergruppen haben ChatGPT teilweise ähnlich verwendet, wie es auch Unternehmen oder Privatpersonen machen. Die Möglichkeiten, die der Chatbot bietet, haben sie aber für missbräuchliche Zwecke ausgenutzt.
Die Accounts haben fragwürdige Inhalte mit ChatGPT erstellt, wie Phishing-Kampagnen, Code für Viren und Malware.
Nicolas Müller...
Dr. Nicolas Müller hat an der Universität Freiburg Mathematik, Informatik und Theologie auf Staatsexamen studiert und 2017 mit Auszeichnung abgeschlossen. Er ist seit 2017 wissenschaftlicher Mitarbeiter am Fraunhofer AISEC in der Abteilung "Cognitive Security Technologies". Seine Forschung konzentriert sich auf die Verlässlichkeit von KI-Modellen, ML-Shortcuts und Audio-Deepfakes.
Quelle: Fraunhofer AISEC
IT-Sicherheitsexperte Müller sieht zwei Bereiche, in denen Hackergruppen generative KI einsetzen:
- Skalierung und Automatisierung: Einfache, unangenehme Aufgaben können schneller erledigt werden: etwa das Schreiben von Phishing-E-Mails, die Durchforstung von Dokumenten oder die Überprüfung von Programmiercodes. Das sind Aufgaben, die davor schon einzelne Menschen konnten - aber eben lange nicht so schnell.
- Neue Anwendungen: "ChatGPT ermöglicht auch Aufgaben, die zuvor nicht so einfach möglich waren", sagt Müller. Etwa wenn Inhalte in eine fremde Sprache übersetzt werden sollen oder Code von Schadsoftware obfuskiert werden soll (eine Verschleierung des Codes, die es schwieriger macht, seinen Zweck auszulesen).
Häufig sieht man Bilder im Internet, die von einer Künstlichen Intelligenz geschaffen wurden. Manche Fälschungen sind offensichtlich. Aber es entstehen immer mehr gefährliche Fakes.
27.12.2023 | 01:50 minWas hindert die Gruppen, einfach neue Konten zu eröffnen?
Für einen Account mit Zugang zum leistungsstärksten Modell von ChatGPT müssen eine Zahlungsmethode sowie eine E-Mail-Adresse hinterlegt werden. "Wird der Account gesperrt, sind diese verbrannt", so Müller.
Müller geht aber davon aus, dass die Hackergruppen nicht nur einen Account haben. Sie wären also durch die Sperrung durch Microsoft nicht allzu stark eingeschränkt. Zudem sei es mittlerweile recht einfach, sich einen neuen Account zu besorgen:
Es gibt Studien, die zeigen, dass mittlerweile Zehntausende ChatGPT-Accounts frei im Darknet verkäuflich sind.
"Die Unternehmen hinter den KI-Modellen sind sehr bemüht, negative Einsatzzwecke zu minimieren", sagt Müller. Sie fürchteten den medialen und regulatorischen Gegenwind. Es gebe viel Kritik an KI, insbesondere in der EU - "daher wollen die Akteure zeigen, dass sie ihrer Verantwortung gerecht werden."
Können IT-Systeme durch generative KI auch sicherer werden?
Andersherum können aber auch IT-Sicherheitsexperten ChatGPT oder andere Anwendungen nutzen, um sich vor Hackern zu schützen. So könnten laut Müller etwa mögliche Verwundbarkeiten, beispielsweise von E-Mail-Servern leichter aufgedeckt und gelöst werden. "Man sollte generative KI als Werkzeug sehen", sagt Müller.
Früher wurden Bäume mit einem Beil gefällt, dann kam die Kettensäge. Verwendet man sie nicht, gerät man ins Hintertreffen - aber wenn alle Holzfäller die Kettensäge verwenden, dann ist das Spielfeld wieder ausgeglichen.
Die Frage nach dem Umgang mit Künstlicher Intelligenz in Schulen und Unis wird viel diskutiert. Bildungsexperten sehen zwar großes Potenzial, fordern aber gute Rahmenbedingungen.
17.01.2024 | 01:33 min