OpenAI und das Schulattentat in Kanada

Es ist ja so: Wenn Technologie Bedrohungen erkennt, erwarten wir auch, dass jemand handelt, wenn Gefahr im Verzug ist. Der Fall um OpenAI und den von ChatGPT genutzten Account einer späteren Schulattentäterin in Kanada zwingt uns, genauer hinzusehen.

Im Juni 2025 stufte OpenAI den Account einer 18-Jährigen durch interne Missbrauchserkennung aufgrund der „Förderung gewalttätiger Aktivitäten“ als verdächtig ein. Eine Meldung an die Polizeibehörde unterblieb, da nach Unternehmensangaben kein „unmittelbares und glaubwürdiges Risiko schwerwiegender körperlicher Schäden“ bestanden habe. Der Account wurde lediglich gesperrt. Monate später erschoss die junge Frau acht Menschen. Erst danach informierte OpenAI die Behörden.

Wäre das in Deutschland passiert, stünde zunächst § 138 StGB im Raum: die Pflicht zur Anzeige geplanter schwerer Straftaten. Wer glaubhaft Kenntnis von einem geplanten Tötungsdelikt erlangt und schweigt, macht sich strafbar. Doch begründet ein algorithmisches Risikosignal schon „Kenntnis“? Vieles spricht dafür, dass sich Unternehmen nicht hinter statistischen Wahrscheinlichkeiten verstecken können, wenn konkrete Gewaltfantasien erkennbar werden.
Hinzu kommt der europäische Rechtsrahmen. Der EU AI Act qualifiziert bestimmte KI-Systeme als Hochrisiko, insbesondere wenn sie zur Strafverfolgung oder Überwachung eingesetzt werden. Ein LLM, das primär kommuniziert, aber nebenbei Gewaltsignale erkennt, bewegt sich in einer regulatorischen Grauzone. Gleichzeitig verpflichtet der Digital Services Act große Plattformen zu systematischem Risikomanagement. Reicht es also, einen Account zu sperren, wenn interne Systeme Alarm schlagen?

Datenschutzrechtlich kollidieren hier zwei Güter: informationelle Selbstbestimmung und Gefahrenabwehr. Eine präventive Datenübermittlung an Behörden ließe sich allenfalls auf Art. 6 Abs. 1 lit. d oder f der DSGVO stützen, also auf lebenswichtige oder berechtigte Interessen. Die Hürden sind hoch und die Abwägung ist komplex.

Der Fall macht ein Dilemma sichtbar: Wann wird ein kommerzieller Chatbot faktisch zum Überwachungsinstrument? Und wer trägt Verantwortung, wenn interne Systeme Gefahren erkennen, aber die Meldekriterien eng gefasst sind? Die Formel „kein unmittelbares Risiko“ mag juristisch tragfähig erscheinen, aber für Betroffene ist das ein schwacher Trost.

Ein Unternehmen, das KI einsetzt, die Verhaltensmuster analysiert, braucht klare Eskalationsregeln. Meldeketten, Prüfkriterien und Dokumentationspflichten müssen verbindlich geregelt sein. KI kann Muster erkennen, aber entscheiden müssen Menschen. Diese Entscheidungen müssen im Bewusstsein erfolgen, dass Datenschutz kein Selbstzweck ist, sondern Teil einer verantwortlichen Risikokultur.