Künstliche Intelligenz soll Entscheidungen beschleunigen. Genau das kann zum Problem werden, wenn die Datenbasis wackelt und niemand die Ergebnisse gründlich prüft. Ein Bericht des US-Senders CNN, den t3n aufgegriffen hat, zeigt, wie nah ein solcher Fehler an einer Katastrophe entlangschrammen kann: Eine KI-Halluzination hätte im Frühjahr beinahe einen US-Angriff auf ein chinesisches Schiff ausgelöst. Nur weil jemand kurz vor der Operation genauer hinsah, blieb es bei einem Beinahe-Vorfall.

Fast zeitgleich meldet Golem, dass die US-Flugaufsichtsbehörde FAA KI in die Flugsicherung holt, um Verspätungen zu reduzieren. Beide Meldungen stammen vom selben Tag, dem 19. September 2026, und sie markieren die zwei Pole derselben Diskussion: KI kann in sicherheitskritischen Bereichen viel bewegen – aber die Frage, wie viel Vertrauen man ihren Ausgaben schenkt und wo der Mensch die Kontrolle behält, ist längst nicht beantwortet.

Was in dem CNN-Bericht steht

Ausgangspunkt war laut CNN ein Geheimdienstbericht, der im Frühjahr kursierte. Darin hieß es, ein chinesisches Schiff transportiere im Nahen Osten Komponenten eines Atomwaffenprogramms. Eine solche Information wiegt schwer. Das US-Militär bereitete sich den Quellen zufolge darauf vor, das Schiff zu entern.

Kurz vor der geplanten Operation fiel den Beamten etwas auf: Ein Analyst hatte den Bericht mithilfe eines Chatbots erstellt. Und dieser Chatbot hatte das transportierte Material falsch identifiziert. Der Bericht sei „völlig falsch" gewesen und hätte „beinahe einen Krieg ausgelöst", zitiert CNN eine seiner Quellen. Die Reportage stützt sich auf vier anonyme Quellen, was bei einem Thema dieser Sensibilität wenig überrascht.

Interessant ist das technische Detail dahinter. Der Chatbot habe öffentlich verfügbare Informationen mit geheimen Signaldaten aus Regierungsbeständen kombiniert – und sei so zu einer falschen Schlussfolgerung gekommen. Es war also keine simple Verwechslung, sondern das, was man bei generativer KI eine Halluzination nennt: Das System liefert eine plausibel klingende, aber schlicht erfundene oder falsch abgeleitete Aussage, ohne dies kenntlich zu machen.

Zwischen USA und China: KI-Halluzination hätte beinahe militärischen Konflikt ausgelöst
Foto: t3n

Warum das US-Militär so stark auf KI drängt

Der Vorfall fällt in eine Phase, in der das Pentagon KI so schnell wie möglich in seine Abläufe integrieren will. Im Januar veröffentlichte US-Verteidigungsminister Pete Hegseth die „Artificial Intelligence Acceleration Strategy". Ihr erklärtes Ziel: die USA zu einer „AI-first"-Streitmacht zu machen und Entscheidungsprozesse mithilfe der Technologie zu beschleunigen. Der Hintergedanke ist geopolitisch – man will im Vergleich mit anderen Mächten, allen voran China, nicht ins Hintertreffen geraten.

Dieser Kurs sorgte schon früh für Reibung. Anfang des Jahres forderte das Pentagon KI-Unternehmen auf, ihre Modelle für „alle rechtmäßigen Zwecke" bereitzustellen. Dazu zählen ausdrücklich auch autonome Waffensysteme. Nicht alle spielten mit.

Der Streit mit Anthropic

Anthropic weigerte sich. CEO Dario Amodei formulierte die Position deutlich: „Wir werden nicht wissentlich ein Produkt liefern, das Amerikas Soldaten und Zivilisten in Gefahr bringt." Die Folgen ließen nicht lange auf sich warten. Anthropic verlor einen Regierungsauftrag im Umfang von 200 Millionen Dollar. Das Pentagon stufte das Unternehmen zeitweise sogar als Lieferkettenrisiko ein – eine Einordnung, die ein US-Gericht später wieder aufhob.

Die Episode zeigt, wie groß der Druck ist. Wer sich der militärischen Nutzung entzieht, riskiert lukrative Aufträge und offizielle Nachteile. Für die Anbieter ist das ein Balanceakt zwischen kommerziellen Interessen und der Frage, wofür ihre Modelle am Ende eingesetzt werden.

Das eigentliche Problem: keine Leitlinien, viel Vertrauen

Der Beinahe-Angriff ist kein Einzelfall, sondern Symptom eines strukturellen Problems. Mehrere Punkte aus dem CNN-Bericht verdienen genaueres Hinsehen.

Erstens die Qualität der Werkzeuge. „Die internen Tools sind meist nur Kopien der kommerziellen Produkte, die etwas aufgepeppt wurden", sagte ein ehemaliger hochrangiger US-Beamter, der die Systeme kennt, gegenüber CNN. Mit anderen Worten: In sensiblen Bereichen kommen im Kern dieselben Modelle zum Einsatz, die auch im Alltag halluzinieren – nur mit Zugriff auf zusätzliche, teils geheime Daten.

Zweitens die fehlende Governance. Die KI-Nutzung sei bislang dezentral geregelt, unterschiedliche Tools und Sicherheitsstandards kämen zum Einsatz. Eine Quelle brachte es auf den Punkt: „Der Einsatz von KI bei der Zielerfassung nimmt definitiv zu, und es gibt keine wirklichen Leitlinien dafür, wie die Einbindung eines Menschen verhindern soll, dass es zu zivilen Opfern oder zu Eigenbeschuss kommt." Das ist bemerkenswert. Der oft beschworene „Mensch in der Schleife" existiert offenbar nicht überall in klar definierter Form.

Drittens der Faktor Mensch selbst. Halluzinationen seien in der Geheimdienstgemeinschaft kein Einzelfall, seit sich solche Tools verbreiten. Ältere Mitarbeiter berichteten von wachsendem Druck, Informationen schneller zu produzieren – was Fehler begünstigt. Jüngere Analysten wiederum vertrauten den Werkzeugen eher unkritisch. Eine der Quellen fasste das mit einem Satz zusammen, der hängen bleibt: „KI ermöglicht es einem, schneller auf eine schlechte Idee zu kommen."

Warum Halluzinationen gerade hier so gefährlich sind

Im privaten Umfeld ist eine erfundene Quellenangabe oder eine falsche Jahreszahl ärgerlich, aber selten folgenreich. In der Geheimdienstanalyse verschiebt sich der Maßstab dramatisch. Wenn ein Modell öffentliche Daten mit geheimen Signalinformationen mischt und daraus eine falsche Schlussfolgerung zieht, entsteht ein Dokument, das nach belastbarer Auswertung aussieht – ohne es zu sein.

Das Tückische: Generative Sprachmodelle liefern ihre Ausgaben mit gleichbleibender Souveränität, egal ob die Aussage stimmt oder frei erfunden ist. Es gibt kein eingebautes Warnsignal, das anzeigt, wann das System rät. Wer den Output nicht gegen Rohdaten prüft, sieht dem Ergebnis den Fehler nicht an. Genau deshalb warnen Analysten seit Längerem, dass KI zu katastrophalen Fehleinschätzungen führen kann, wenn sich Staaten auf mangelhafte Daten stützen.

Bei der Zielauswahl im Krieg potenziert sich das Risiko. Eine falsche Identifikation kann bedeuten, dass ziviles Gerät für militärisches gehalten wird – oder dass ein neutrales Schiff zum vermeintlichen Träger von Atomwaffenkomponenten wird. Der Vorfall im Frühjahr ist die Bestätigung eines lange befürchteten Szenarios.

Die andere Seite: KI in der zivilen Flugsicherung

Dass KI in sicherheitskritischen Bereichen nicht automatisch scheitert, zeigt ein Beispiel aus der zivilen Luftfahrt. Laut einem Bericht von Politico, den Golem aufgegriffen hat, setzt die FAA verstärkt auf KI – als Reaktion auf schwere Flugunfälle Anfang 2025. Im Rahmen eines Modernisierungsprogramms investiert die Behörde in ein System namens Smart, entwickelt von der Softwarefirma Air Space Intelligence.

Die Aufgabe des Tools ist klar umrissen: Es soll Wetterentwicklungen und Engpässe an Flughäfen frühzeitig vorhersagen, um Verzögerungen im Betriebsablauf zu vermeiden. Der Bedarf ist real. Die US-Flugsicherung gilt als stark sanierungsbedürftig, viele Systeme laufen noch mit Hardware aus den 80er- und 90er-Jahren. Zudem fehlt Personal – die FAA wirbt inzwischen gezielt Gamer an, um offene Stellen zu füllen.

Warum die Airlines zunächst skeptisch waren

Interessant ist, wie die Einführung ablief. Die Ankündigung löste bei den Fluggesellschaften erst einmal Bedenken aus. Die Sorge: Automatische Empfehlungen könnten zu mehr Stornierungen und Umbuchungen führen und damit erhebliche Kosten verursachen. Über drei Monate hinweg trafen sich die Beteiligten wöchentlich, doch die Airlines bemängelten, dass die FAA detaillierte Fragen zur konkreten Umsetzung offenließ. Die Einsatzbereitschaft der Technologie wurde offen bezweifelt.

Die Behörde reagierte mit einem bemerkenswert vorsichtigen Vorgehen – und genau das ist der Kontrast zum Militär. Statt eines großen Wurfs kündigte die FAA einen methodischen Rollout an und grenzte den Anwendungsbereich zunächst ein. In einer rund 90-tägigen ersten Testphase geht es allein darum, die Genauigkeit der Vorhersagen gemeinsam mit den Airlines zu prüfen – ohne dabei neue Abläufe für die Fluglotsen einzuführen. Die KI arbeitet also erst einmal beobachtend, nicht steuernd.

Um die Skepsis abzubauen, suchte die FAA-Führung den direkten Dialog. Am 10. September 2026 traf sich Bryan Bedford, Leiter der Behörde, persönlich mit den CEOs mehrerer Fluggesellschaften, um die Funktionsweise des Systems zu erläutern. Danach zeigten sich einige vorsichtig optimistisch. Scott Kirby von United Airlines erklärte, das System könne Verzögerungen – sofern es wie vorgesehen funktioniere – effektiver reduzieren als jede Maßnahme der vergangenen Jahrzehnte.

Zwei Ansätze, ein Muster

Nebeneinander gelegt, ergeben die beiden Meldungen ein aufschlussreiches Bild. Beim Militär trifft ein Höchstmaß an Eile auf ein Minimum an klaren Regeln. Die Strategie heißt Beschleunigung, die Governance ist dezentral, und die Werkzeuge sind aufgehübschte Standardmodelle. Das Ergebnis war ein Beinahe-Vorfall mit potenziell globalen Folgen.

Bei der FAA läuft es umgekehrt. Der Anwendungsfall ist eng gefasst, der Rollout schrittweise, die Betroffenen werden eingebunden, und in der ersten Phase greift die KI nicht in bestehende Abläufe ein. Das macht das System nicht automatisch fehlerfrei – aber es baut Kontrollpunkte ein, an denen Menschen die Vorhersagen bewerten, bevor daraus Handlungen werden.

Der entscheidende Unterschied liegt weniger in der Technik als im Umgang mit ihr. Wo KI unter Zeitdruck und ohne definierte menschliche Kontrolle eingesetzt wird, wächst das Risiko folgenschwerer Fehler. Wo ihre Rolle klar begrenzt und überprüfbar bleibt, kann sie tatsächlich einen Mehrwert liefern.

Was bedeutet das für dich?

Diese Vorfälle spielen in Behörden und Militärs, doch die zugrunde liegende Lektion gilt für jeden, der generative KI nutzt – im Job wie privat. Halluzinationen sind kein exotischer Randfall, sondern eine grundlegende Eigenschaft dieser Modelle.

  • Behandle KI-Ausgaben als Entwurf, nicht als Ergebnis. Ein souverän formulierter Text ist kein Beweis für Richtigkeit. Prüfe zentrale Fakten immer gegen eine unabhängige Quelle.
  • Achte darauf, woher die Informationen stammen. Wenn ein Chatbot verschiedene Quellen kombiniert, kann er falsche Verbindungen herstellen. Lass dir Belege nennen und kontrolliere sie stichprobenartig.
  • Erhöhe die Sorgfalt mit dem Einsatz. Je folgenreicher eine Entscheidung, desto weniger solltest du dich blind auf KI verlassen. Bei wichtigen Dingen gehört eine menschliche Kontrolle dazwischen.
  • Sei vorsichtig bei Zeitdruck. Der Reiz von KI liegt im Tempo – und genau das verleitet dazu, Ergebnisse ungeprüft zu übernehmen. Wie eine der CNN-Quellen anmerkte: Man kommt damit auch schneller auf eine schlechte Idee.
  • Vertraue nicht auf eingebaute Warnungen. Die meisten Modelle zeigen nicht an, wann sie unsicher sind. Fehlende Zweifel im Ton bedeuten nicht, dass die Aussage stimmt.

Für den Alltag heißt das: KI ist ein starker Assistent, solange du die Verantwortung für das Endergebnis behältst. Die Behörden, die es richtig machen, führen sie schrittweise ein und behalten die Kontrolle. Dasselbe Prinzip lässt sich auf die eigene Nutzung übertragen.

Kurz beantwortet

Häufige Fragen

Was ist eine KI-Halluzination?

Als Halluzination bezeichnet man eine Ausgabe eines KI-Modells, die plausibel klingt, aber faktisch falsch oder frei erfunden ist. Das Modell markiert diese Fehler nicht als solche, sondern präsentiert sie mit derselben Sicherheit wie korrekte Aussagen. Im geschilderten Fall kombinierte ein Chatbot laut CNN öffentliche Informationen mit geheimen Signaldaten und leitete daraus eine falsche Schlussfolgerung über die Ladung eines Schiffes ab.

Ist es wirklich beinahe zu einem Angriff gekommen?

Nach dem CNN-Bericht, der sich auf vier anonyme Quellen stützt, hatte sich das US-Militär darauf vorbereitet, ein chinesisches Schiff zu entern. Grundlage war ein Geheimdienstbericht, der mithilfe eines Chatbots erstellt worden war. Kurz vor der Operation stellte man fest, dass der Bericht „völlig falsch" war. Die Operation wurde in letzter Minute abgewendet. Die Angaben lassen sich anhand der öffentlich zugänglichen Berichterstattung nicht unabhängig überprüfen.

Warum setzt die FAA trotz solcher Risiken auf KI?

Die US-Flugsicherung gilt als stark veraltet, teils läuft noch Hardware aus den 80er- und 90er-Jahren, und es fehlt Personal. Nach schweren Flugunfällen Anfang 2025 will die FAA mit dem System Smart Wetter- und Kapazitätsengpässe früher erkennen, um Verzögerungen zu reduzieren. Anders als im militärischen Kontext setzt die Behörde auf einen eng begrenzten, schrittweisen Rollout mit einer rund 90-tägigen Testphase, in der die KI zunächst keine neuen Abläufe für die Lotsen vorgibt.

Warum hat sich Anthropic gegen die militärische Nutzung gestellt?

CEO Dario Amodei begründete die Weigerung damit, kein Produkt liefern zu wollen, das amerikanische Soldaten und Zivilisten in Gefahr bringt. Konkret ging es um die Pentagon-Forderung, Modelle für „alle rechtmäßigen Zwecke" bereitzustellen, wozu auch autonome Waffensysteme zählen. In der Folge verlor Anthropic einen Regierungsauftrag über 200 Millionen Dollar und wurde zeitweise als Lieferkettenrisiko eingestuft – eine Einordnung, die ein US-Gericht später aufhob.

Wie kann man sich vor KI-Fehlern schützen?

Der wichtigste Schutz ist eine kritische Grundhaltung: KI-Ausgaben als Entwurf verstehen, zentrale Fakten gegen unabhängige Quellen prüfen und die Sorgfalt an die Tragweite der Entscheidung anpassen. Gerade unter Zeitdruck lohnt es sich, Ergebnisse nicht ungeprüft zu übernehmen. Bei folgenreichen Entscheidungen sollte immer ein Mensch die finale Kontrolle behalten, statt sich allein auf das System zu verlassen.