Wie gefährlich ist künstliche Intelligenz?

Artikel-Übersicht

Die Debatte läuft an zwei Enden. Am einen steht der Weltuntergang, am anderen „ist doch nur ein Werkzeug". Beide Enden helfen niemandem, der heute entscheiden muss, ob eine KI-Funktion in ein Produkt kommt oder ein Werkzeug in ein Unternehmen. Dieser Artikel beantwortet die Frage aus der Sicht von jemandem, der solche Systeme baut: zuerst differenziert, dann mit einer Risikotabelle der Dinge, die heute wirken, jeweils mit belegtem Fall und Gegenmittel. Danach die Debatte um existenzielle Risiken, fair referiert und mit gekennzeichnetem eigenem Standpunkt. Zum Schluss: was KI technisch nicht kann, was Kontrolle praktisch heißt, der Arbeitsmarkt und die Konsequenzen für die eigene Arbeit.

Ist künstliche Intelligenz gefährlich?

Ja — aber überwiegend anders, als die öffentliche Debatte nahelegt. Die Risiken, die heute wirken, sind überzeugende Falschaussagen, Datenabfluss und automatisierte Fehlentscheidungen, nicht autonome Maschinen mit eigenen Absichten.

Der Unterschied ist wichtig, weil er bestimmt, was man dagegen tut. Gegen ein System mit eigenem Willen hilft nichts, was man heute bauen könnte. Gegen ein System, das überzeugend Falsches behauptet, hilft eine Prüfschleife. Das eine ist eine philosophische Debatte, das andere eine Frage des Handwerks.

Und die zweite Hälfte der Antwort: Die Gefahr geht heute meistens vom Einsatz aus, nicht von der Technik. Ein Sprachmodell, das eine falsche Auskunft erzeugt, ist harmlos, solange ein Mensch sie liest. Dasselbe Modell, dessen Ausgabe ungeprüft an Kunden geht, ist ein Haftungsfall. Die Technik ist in beiden Fällen dieselbe.

Die Risiken, die heute wirken

Das Kernstück des Artikels. Sieben Risiken, jedes mit einem belegten Fall.

Risiko	Wie es entsteht	Wer betroffen ist	Was hilft
Überzeugende Falschaussagen	Modelle erzeugen wahrscheinlichen Text, nicht wahren; sie kennen den Unterschied nicht	alle, die Ausgaben ungeprüft übernehmen	Quellenbindung, Prüfschleifen, Kennzeichnung
Datenabfluss über Eingaben	Eingegebene Inhalte gehen an den Anbieter, teils in Trainingsdaten	Unternehmen mit Geschäftsgeheimnissen	klare Regeln, Geschäftstarife, lokale Modelle
Automatisierte Diskriminierung	Trainingsdaten enthalten historische Ungleichbehandlung	Bewerbende, Kreditsuchende, Antragstellende	Prüfung auf Gruppenunterschiede, menschliche Letztentscheidung
Kompetenzverlust	Wer nicht mehr selbst tut, verliert die Fähigkeit zu prüfen	Berufseinsteigende besonders	Lernen vor Automatisieren
Fälschung von Bild, Stimme, Video	Erzeugung ist billig und gut geworden	jede und jeder	Rückkanäle, Wasserzeichenverfahren, Skepsis
Konzentration weniger Anbieter	Trainingskosten schaffen hohe Eintrittsschwellen	Volkswirtschaft, Abhängige	Alternativen offenhalten, quelloffene Modelle
Angriffe über Prompt Injection	Modelle unterscheiden Anweisung und Inhalt nicht zuverlässig	Betreiber von KI-Funktionen	Rechtebeschränkung, Bestätigungspflicht

Zu vier Zeilen die belegten Fälle:

Falschaussagen. Der bekannteste dokumentierte Fall in der Rechtsprechung: Ein New Yorker Anwalt reichte 2023 einen Schriftsatz ein, der von ChatGPT erzeugte, nicht existierende Gerichtsentscheidungen zitierte (Mata v. Avianca, S.D.N.Y.); das Gericht verhängte Sanktionen. Ein zweiter Fall betrifft die Haftung: Ein kanadisches Tribunal entschied 2024, dass Air Canada an die falsche Auskunft seines Chatbots gebunden ist (Moffatt v. Air Canada, CRT). Die zweite Entscheidung ist die praktisch wichtigere — sie stellt klar, dass „das war der Chatbot" keine Entlastung ist.

Datenabfluss. Nach Presseberichten schränkte Samsung 2023 die Nutzung von ChatGPT ein, nachdem Beschäftigte interne Inhalte eingegeben hatten. Der Vorgang steht stellvertretend für ein strukturelles Problem: Die Eingabe ist der Datenabfluss, und sie geschieht beiläufig.

Automatisierte Diskriminierung. Reuters berichtete 2018, dass Amazon ein internes Bewerbungssystem einstellte, nachdem es Bewerbungen von Frauen systematisch schlechter bewertet hatte — die Trainingsdaten spiegelten die bisherige Einstellungspraxis. Der Fall ist deshalb lehrreich, weil das System genau das gelernt hat, was in den Daten stand.

Prompt Injection. Der Angriff, der Sprachmodelle strukturell trifft: Ein Modell unterscheidet nicht zuverlässig zwischen der Anweisung des Betreibers und Text, der ihm zur Bearbeitung vorgelegt wird. Wie das praktisch aussieht und was dagegen hilft, steht in KI-Sicherheit: Prompt Injection und Datenabfluss.

Was allen sieben Zeilen gemeinsam ist: Kein einziges dieser Risiken setzt voraus, dass die Technik besser wird. Sie wirken alle heute, mit den heutigen Modellen.

Das existenzielle Risiko

Ein Abschnitt, der Haltung verlangt — deshalb kennzeichne ich, was Referat ist und was mein Standpunkt.

Was referiert wird: Eine Reihe ernstzunehmender Forscherinnen und Forscher, darunter Personen, die die Grundlagen der heutigen Systeme mitentwickelt haben, halten es für möglich, dass hinreichend fähige KI-Systeme künftig eine Bedrohung für die Menschheit darstellen. Die Argumentation läuft meist über zwei Schritte: erstens, dass Fähigkeiten weiter zunehmen; zweitens, dass ein hinreichend fähiges System Ziele verfolgen könnte, die nicht mit menschlichen Interessen übereinstimmen, und sich Kontrolle entziehen könnte. Eine 2023 veröffentlichte Erklärung des Center for AI Safety, unterzeichnet von zahlreichen führenden Fachleuten, forderte, das Aussterberisiko durch KI als globale Priorität zu behandeln.

Die Gegenposition, ebenfalls von namhaften Fachleuten vertreten: Die heutigen Systeme haben kein Weltmodell, keine Ziele und keine Handlungsfähigkeit außerhalb dessen, was man ihnen einräumt; die Argumentation setze Fähigkeiten voraus, für deren Entstehung es keinen belegten Weg gebe. Ein Teil dieser Kritik richtet sich auch gegen die Wirkung der Debatte: Sie binde Aufmerksamkeit, die den heute wirkenden Schäden fehle.

Mein Standpunkt, als solcher gekennzeichnet: Ich halte die Debatte für legitim und die Unsicherheit für echt — niemand kann seriös ausschließen, was in zwanzig Jahren möglich ist. Ich halte sie aber für eine getrennte Debatte. Sie sollte nicht mit der Frage vermischt werden, ob ein Unternehmen heute ein Sprachmodell in seinen Kundendienst einbauen sollte, denn dort helfen ihre Antworten nicht.

Und ein methodischer Punkt zu der Frage, die in jeder Suchbox steht: „Was ist die größte Bedrohung für die Menschheit?" ist keine beantwortbare Frage. Sie verlangt einen Vergleich zwischen Dingen, die sich nicht vergleichen lassen, auf Grundlage von Wahrscheinlichkeiten, die niemand kennt. Beantwortbar ist eine andere: Welche konkreten Fehlfunktionen können welchen Schaden anrichten, und was kostet es, sie zu verhindern? Diese Frage lässt sich für jedes einzelne System beantworten — und wer sie stellt, kommt zu Maßnahmen statt zu Meinungen.

Was KI nicht kann

Technisch statt philosophisch. Vier Grenzen der heutigen Systeme:

Kein Weltmodell. Ein Sprachmodell hat kein Bild davon, wie die Welt beschaffen ist. Es hat gelernt, welche Wortfolgen wahrscheinlich sind. Das reicht erstaunlich weit und versagt an unerwarteten Stellen.

Keine Absicht. Ein Modell will nichts. Es verfolgt keine Ziele, auch nicht heimlich. Was wie Absicht aussieht, ist Fortsetzung eines Musters.

Keine Gewähr für Richtigkeit. Es gibt keinen inneren Mechanismus, der Wahres von Falschem trennt. Beides entsteht auf demselben Weg. Deshalb ist „das Modell ist sich sicher" keine Information.

Keine verlässliche Selbstauskunft. Ein Modell kann nicht zuverlässig sagen, was es weiß und was nicht. Die Frage „bist du sicher?" erzeugt eine plausible Antwort, keine Prüfung. Ausführlicher steht das in Was ist künstliche Intelligenz?.

Diese vier Punkte sind der Grund, warum die Risiken aus der Tabelle strukturell sind und nicht durch bessere Modelle verschwinden.

Kontrolle: was tatsächlich möglich ist

Vier Ebenen, von konkret nach allgemein.

Technisch. Rechte begrenzen — ein System, das nur lesen darf, kann nichts löschen. Ausgaben gegen Quellen prüfen. Alles protokollieren, was ein System tut, mit Eingabe und Ausgabe. Bestätigungspflicht für wirksame Aktionen. Abbruchbedingungen für agentische Systeme, damit sie nicht endlos weiterlaufen.

Organisatorisch. Freigaben für den Einsatz. Vier-Augen-Prinzip bei Entscheidungen mit Folgen. Klare Regeln, was eingegeben werden darf. Zuständigkeit benennen — wer haftet, wenn die Ausgabe falsch ist.

Rechtlich. Die KI-Verordnung der EU ordnet Systeme nach Risikoklassen und knüpft daran gestaffelte Pflichten; sie gilt in Deutschland und Österreich. Die Schweiz geht einen anderen Weg und setzt bislang auf bestehendes Recht statt auf ein eigenes KI-Gesetz. Was das konkret bedeutet, steht in KI, Datenschutz und Recht.

Gesellschaftlich. Kennzeichnungspflichten, Medienkompetenz, funktionierender Wettbewerb. Der langsamste, aber nicht der unwichtigste Hebel.

Der Satz aus der Praxis, der alle vier Ebenen zusammenfasst: Ein System, dessen Ausgaben niemand prüft, ist unabhängig von seiner Qualität ein Risiko. Die Prüfstelle ist die eigentliche Kontrolle — alles andere macht sie nur leichter.

Arbeitsmarkt

Nüchtern, ohne Prognose.

Was in der Softwareentwicklung bereits beobachtbar ist: Die Arbeit verschiebt sich vom Schreiben zum Prüfen. Code entsteht schneller, muss aber weiterhin verstanden, geprüft und betrieben werden. Der Engpass wandert, er verschwindet nicht. Ausführlich steht das in KI-Coding-Assistenten.

Was Studien sagen — und wie belastbar das ist: Es gibt eine wachsende Zahl von Untersuchungen zur Betroffenheit von Berufen, unter anderem von der OECD und von Forschungsgruppen, die Tätigkeiten nach ihrer Automatisierbarkeit einordnen. Sie kommen zu sehr unterschiedlichen Zahlen. Der Grund ist methodisch: Die meisten schätzen, welche Tätigkeiten automatisierbar wären, nicht welche Arbeitsplätze wegfallen. Zwischen beidem liegen Betriebsentscheidungen, Kosten, Recht und die Frage, ob überhaupt jemand zur Verfügung steht.

Deshalb gebe ich hier keine Zahl an. Wer eine konkrete Prozentzahl über wegfallende Jobs nennt, ohne die Methode dazuzusagen, gibt eine Schätzung als Messung aus.

Was sich seriös sagen lässt: Berufe mit hohem Anteil an standardisierter Textarbeit sind stärker betroffen als Berufe mit körperlicher Arbeit oder unmittelbarem Menschenkontakt. Und Betroffenheit heißt zunächst Veränderung des Berufsbildes, nicht Wegfall.

Was das für die eigene Arbeit heißt

Die Brücke: Wer KI-Systeme baut, trägt einen Teil dieser Risiken mit. Fünf Regeln, die daraus folgen:

Quellen mitliefern, wo es geht. Eine Antwort mit Beleg lässt sich prüfen, eine ohne nicht. Das ist der praktische Grund für abrufgestützte Systeme — mehr dazu in RAG selbst bauen.

Prüfschleifen einbauen, nicht anhängen. Eine Prüfung, die man überspringen kann, wird übersprungen. Sie gehört in den Ablauf, nicht in die Anleitung.

Alles protokollieren. Eingabe, Ausgabe, Modell, Zeitpunkt. Ohne Protokoll ist kein Vorfall aufklärbar.

Generierte Inhalte kennzeichnen. Für Nutzende erkennbar, nicht im Kleingedruckten.

Rechte so eng wie möglich. Besonders bei agentischen Systemen, die selbst handeln — was dort schiefgeht und wie man es begrenzt, steht in KI-Agenten-Frameworks im Vergleich.

Keine dieser Regeln ist aufwendig. Sie kosten zusammen wenige Tage in einem Projekt und entscheiden darüber, ob ein Fehler ein Vorfall oder eine Katastrophe wird.

Häufige Fragen

Was sind die Gefahren von KI? Die heute wirkenden: überzeugende Falschaussagen, Datenabfluss über Eingaben, automatisierte Diskriminierung, Kompetenzverlust, Fälschung von Bild und Stimme, Marktkonzentration und Angriffe über Prompt Injection.

Ist künstliche Intelligenz gefährlich? Ja, aber überwiegend anders als in der öffentlichen Debatte. Die Gefahr geht heute meist vom ungeprüften Einsatz aus, nicht von der Technik selbst.

Wie sicher ist künstliche Intelligenz? Es gibt keinen inneren Mechanismus, der Richtigkeit sicherstellt. Sicherheit entsteht durch die Umgebung: begrenzte Rechte, Prüfschleifen, Protokollierung und menschliche Letztentscheidung.

Was ist die größte Bedrohung für die Menschheit? Diese Frage ist nicht seriös beantwortbar. Beantwortbar ist, welche konkreten Fehlfunktionen welchen Schaden anrichten können — und diese Frage führt zu Maßnahmen.

Was wird die KI niemals können? „Niemals" ist eine Aussage, die niemand belegen kann. Was die heutigen Systeme nicht können: ein Weltmodell haben, Absichten verfolgen, Richtigkeit gewährleisten und verlässlich über die eigenen Grenzen Auskunft geben.

Nimmt KI mir meinen Job weg? Belastbar ist nur: Berufsbilder verändern sich, besonders bei standardisierter Textarbeit. Konkrete Prozentzahlen über wegfallende Stellen sind Schätzungen der Automatisierbarkeit von Tätigkeiten, keine Messungen.

Zusammenfassung und praktische Tipps

Die Antwort auf die Titelfrage in sieben Punkten:

• Ja, gefährlich — aber anders als erzählt. Die wirksamen Risiken sind unspektakulär und heute da.
• Die Gefahr geht meist vom Einsatz aus, nicht von der Technik. Dasselbe Modell ist harmlos oder ein Haftungsfall, je nachdem, ob jemand prüft.
• Gerichte haben entschieden, dass „das war der Chatbot" keine Entlastung ist.
• Kein Risiko der Tabelle verschwindet durch bessere Modelle — sie folgen alle aus der Bauart.
• Die existenzielle Debatte ist legitim und getrennt. Ihre Antworten helfen bei heutigen Entscheidungen nicht.
• „Größte Bedrohung" ist die falsche Frage. Die richtige lautet: welche Fehlfunktion, welcher Schaden, welche Kosten der Verhinderung.
• Ein System, dessen Ausgaben niemand prüft, ist unabhängig von seiner Qualität ein Risiko.

Mein Rat: Nimm die Risikotabelle und geh sie für ein konkretes System durch, das du einsetzt oder baust — sieben Zeilen, jede mit der Frage „trifft das hier zu, und wenn ja, was tun wir dagegen?". Das dauert eine Stunde und ist mehr wert als jede Grundsatzdebatte. Meine Erfahrung ist, dass dabei regelmäßig zwei oder drei Zeilen übrigbleiben, an die niemand gedacht hat — und dass die Gegenmittel fast immer billiger sind, als alle erwartet hatten.

Ressourcen

• EU-Verordnung über künstliche Intelligenz – Rechtstext mit den Risikoklassen
• NIST AI Risk Management Framework – strukturierter Rahmen zur Risikobewertung
• OWASP Top 10 for LLM Applications – die technischen Risiken beim Bau
• Statement on AI Risk – die Erklärung des Center for AI Safety von 2023