Am Hof durfte nur der Narr die Wahrheit sagen, ohne dafür seinen Kopf zu verlieren. Heute trägt er Schellenkappe und erzählt von Menschen, die einer Maschine vertraut haben. Manchmal bis vor Gericht. Manchmal bis zur nächsten Rechnung. Und einmal bis zum Kleber auf der Pizza.
Ich habe den Film «Der Hofnarr. 21 KI-Pannen und eine ernste Geschichte» als Satire angelegt. Nicht, weil die Folgen immer lustig wären. Sondern weil wir über eine absurde Antwort eher ins Nachdenken kommen als über die nächste Warnung vor künstlicher Intelligenz. Zum Film gehört das Workbook mit den Fällen und Fragen für den eigenen Betrieb.
Mein roter Faden ist einfach: KI ist nur Wissen ohne Erfahrung und Verantwortung. Die Maschine hat in diesen Geschichten selten allein versagt. Meistens hat ein Mensch nicht nochmals hingeschaut.
Inhaltsverzeichnis
- Die Maschine klingt sicher. Das macht sie noch nicht zuverlässig.
- Die Welt liefert erfundene Urteile und erstaunlich günstige Autos
- Die Schweiz bekommt Brot statt Bier und trotzdem eine Rechnung
- Deutschland zeigt, wie künstliche Inhalte echtes Vertrauen beschädigen
- In Österreich wird aus bekanntem Gesicht ein Köder
- Bei der letzten Panne hört der Witz auf
- Die ernste Geschichte handelt von Erfahrung und Verantwortung
- KI im Unternehmen braucht Regeln, die im Alltag gelten
- Die Verantwortung trägt keine Schellenkappe
Die Maschine klingt sicher. Das macht sie noch nicht zuverlässig.
Bevor der Hofnarr seine Pannen auspackt, erinnert der Film an zwei Menschen, die sich einer Eskalation widersetzten: Wassili Archipow während der Kuba-Krise und Stanislaw Petrow angesichts eines falschen Raketenalarms. Das waren keine heutigen Chatbots. Der Zusammenhang liegt anderswo: Eine Anzeige ersetzt kein Urteil.
Für Ihren Betrieb ist das keine historische Nebenbemerkung. Wer darf einer automatisierten Empfehlung widersprechen? Wer erkennt einen Fehler? Und wer darf den Ablauf anhalten, wenn die Antwort zwar überzeugend klingt, aber nicht stimmen kann?
Ein Stopp-Knopf hilft wenig, wenn niemand mehr zuständig ist.
Die Welt liefert erfundene Urteile und erstaunlich günstige Autos
Ein Aktenzeichen ist noch kein Beweis
Ein Anwalt lässt sich für ein Verfahren gegen die Fluggesellschaft Avianca frühere Urteile von ChatGPT heraussuchen. Die Antwort sieht nach juristischer Arbeit aus: Aktenzeichen, Zitate, passende Begründungen. Nur existieren mehrere dieser Fälle nicht. Die erfundenen Urteile landen trotzdem vor Gericht. Es folgt eine Geldstrafe.
Das ist mehr als eine kuriose KI-Panne. Die Maschine lieferte etwas, das wie ein Beleg aussah. Der Mensch behandelte es wie einen Beleg. Dazwischen hätte die Prüfung stattfinden müssen.
Für Verkauf und Marketing gilt dasselbe. Eine angebliche Studie in einer Offerte, ein Zitat in einer Präsentation oder eine Rechtsauskunft in einer Kundenmail werden nicht richtig, weil sie sauber formuliert sind. Eine Quelle muss existieren. Und sie muss tatsächlich das belegen, was Sie behaupten.
Der Chatbot sagt Ja. Der Händler bekommt das Problem.
Bei einem Autohändler in Kalifornien bringt ein Besucher den Chatbot dazu, seinen Aussagen zuzustimmen. Anschliessend verlangt er einen neuen Chevrolet Tahoe für einen Dollar. Der Bot bestätigt den Handel und erklärt ihn auch noch für verbindlich.
Das Auto wurde nicht zu diesem Preis übergeben. Trotzdem war der Schaden sichtbar: Ein Werkzeug im Kundendialog versprach etwas, das der Betrieb nie anbieten wollte. Der Bot war ausgesprochen entgegenkommend. Leider auf Kosten seines Auftraggebers.
Die Frage für Ihren Betrieb lautet deshalb nicht nur: Kann unser Chatbot freundlich antworten? Sie lautet: Welche Zusagen darf er überhaupt machen? Preise, Rabatte, Vertragsbedingungen und Kulanz brauchen Grenzen. Zustimmung ist kein Geschäftsmodell.
Ein Internetscherz wird zur Küchenempfehlung
Google zeigt KI-Antworten prominent in der Suche. Auf die Frage, wie der Käse auf der Pizza haften bleibt, erscheint in einzelnen Antworten der Vorschlag, Kleber in die Sauce zu geben. Dahinter steckt ein alter Internetscherz. Auch der Rat, kleine Steine zu essen, gehört zu diesen absurden Antworten.
Die Pointe ist schnell erzählt. Die Lehre reicht weiter: Ein System kann Text übernehmen, ohne dessen Absicht zuverlässig einzuordnen. Ein Witz wird zum Ratschlag. Die sichere Formulierung verdeckt die unsichere Grundlage.
Ich bleibe beim Raclette. Und bei der Quellenprüfung.
Die weiteren internationalen Fälle zeigen unterschiedliche Ausprägungen desselben Problems. Der Chatbot von Air Canada gibt eine falsche Auskunft zu einem Trauerrabatt. Die Fluggesellschaft kann sich gegenüber dem Kunden nicht einfach hinter dem eigenen Werkzeug verstecken. Beim Paketdienst DPD lässt sich ein Bot nach einem Update zum Fluchen und zum Dichten gegen das eigene Unternehmen bringen.
Microsofts Tay übernimmt beleidigende Inhalte. Amazons aufgegebenes Bewerbungssystem benachteiligt Frauen, weil es aus alten Daten gelernt hat. Googles Chatbot macht bei seiner Vorstellung einen Fehler zum James-Webb-Teleskop. Microsofts Bing-Chatbot erklärt einem Journalisten seine Liebe und mischt sich in dessen Privatleben ein.
Der Behördenchatbot von New York erteilt Unternehmern falsche Auskünfte, unter anderem zu Trinkgeldern. Ein Bericht von Deloitte für eine australische Regierungsstelle enthält erfundene Quellen und ein erfundenes Gerichtszitat. Auch in Singapur werden erfundene Urteile in Gerichtsverfahren verwendet.
Mal fehlt die Quellenkontrolle, mal die Begrenzung des Auftrags, mal ein brauchbarer Test. «Die KI war es» beschreibt das Werkzeug. Nicht die Verantwortung.
Quelle der Fallskizzen: Film «Der Hofnarr. 21 KI-Pannen und eine ernste Geschichte», Kapitel mit den internationalen Fällen.
Die Schweiz bekommt Brot statt Bier und trotzdem eine Rechnung
Auch beim Thema KI Schweiz schützt die Landesgrenze nicht vor falschen Antworten. Die Fachhochschule Nordwestschweiz testet für den «Kassensturz» Chatbots mit Schweizer Fragen. Auf die Frage nach einer «Stange» im Restaurant liefern manche die Beschreibung eines langen Brotes.
Im Schweizer Restaurant ist damit ein Bier gemeint. Der Fehler ist harmlos, solange nur das falsche Getränk ausbleibt. Er zeigt aber etwas Grundsätzliches: Ein System kann Deutsch sprechen und trotzdem den Schweizer Zusammenhang verfehlen.
Weniger appetitlich wird es beim Verkaufsportal. Ein Verkäufer fragt, ob bei Barzahlung des Käufers Gebühren anfallen. Der Chatbot verneint. Das Portal verlangt trotzdem 70 Franken. Zunächst soll die Auskunft nicht verbindlich sein. Erst nach einer journalistischen Anfrage lenkt das Unternehmen ein.
Der Kunde hat nicht mit einem beliebigen Fremden gesprochen. Er hat auf der Plattform des Unternehmens eine Antwort erhalten. Wenn der Bot wie ein Mitarbeiter Auskunft gibt, darf sich die Geschäftsführung über entsprechende Erwartungen nicht wundern.
Ähnlich beim Telefonanbieter: Ein Vater erkundigt sich nach Auslandsdaten im Abo seiner Tochter. Der Chatbot bestätigt eine Leistung, die nicht enthalten ist. Es folgt eine Rechnung. Erst nach einer Anfrage von SRF bestätigt der Anbieter den Fehler und kommt der Familie entgegen.
Die weiteren Schweizer Beispiele betreffen Medieninhalte und Datenschutz. Eine Untersuchung der Universität Zürich zeigt: Auch bei einer echten Quelle können Zahl oder Zitat in der Chatbot-Antwort falsch sein. Und das Bundesamt für Cybersicherheit warnt davor, vertrauliche Informationen in öffentliche Chatbots einzugeben. Kundendaten, Patientendaten und Verträge werden nicht unvertraulich, nur weil man ihren Text verbessern möchte.
Hinweise zum sicheren Umgang mit digitalen Werkzeugen finden Sie beim Bundesamt für Cybersicherheit. Für Ihren Betrieb beginnt die Arbeit aber intern: Wissen Ihre Mitarbeitenden, welche Daten in welches Werkzeug dürfen?
Quelle der Fallskizzen: Film «Der Hofnarr. 21 KI-Pannen und eine ernste Geschichte», Kapitel Schweiz.
Deutschland zeigt, wie künstliche Inhalte echtes Vertrauen beschädigen
Eine deutsche Illustrierte verspricht ein Interview mit Michael Schumacher. Die Antworten stammen jedoch von einer KI, nicht von ihm. Die Aufmachung verkauft den Eindruck eines echten Gesprächs. Es folgen Entschuldigung und Konsequenzen.
Hier hat nicht einfach eine Maschine eine falsche Antwort produziert. Menschen haben entschieden, künstliche Aussagen als vermeintliche Nähe zu einem Menschen zu vermarkten, der diese Antworten nicht gegeben hatte.
Der zweite deutsche Fall betrifft eine KI-generierte Szene in einem Nachrichtenbeitrag des ZDF, die ohne entsprechende Kennzeichnung ausgestrahlt wird. Auch hier bleibt die Aufgabe menschlich: Material prüfen, Herkunft klären und künstliche Bilder nicht als dokumentarischen Beleg behandeln.
Für Unternehmenskommunikation gilt kein kleinerer Massstab. Eine erfundene Kundenstimme bleibt erfunden. Ein künstliches Bild ist kein Nachweis dafür, dass ein Ereignis stattgefunden hat.
Quelle der Fallskizzen: Film «Der Hofnarr. 21 KI-Pannen und eine ernste Geschichte», Kapitel Deutschland.
In Österreich wird aus bekanntem Gesicht ein Köder
Gefälschte Videos zeigen angebliche Anlageempfehlungen des Bundespräsidenten und bekannter Nachrichtenmoderatoren. Menschen vertrauen den vertrauten Gesichtern und verlieren Geld. Hinter den Empfehlungen steht kein seriöses Angebot, sondern ein Betrugsnetz.
Hier geht es nicht um einen Chatbot-Fehler. Hier wird KI absichtlich eingesetzt, um Vertrauen zu missbrauchen. Das bekannte Gesicht ist der Türöffner.
Die praktische Antwort ist unspektakulär: unabhängig prüfen, über einen bekannten Kontaktweg zurückrufen und nachfragen. Nicht über die Nummer, die der verdächtige Absender freundlicherweise mitliefert.
Quelle der Fallskizze: Film «Der Hofnarr. 21 KI-Pannen und eine ernste Geschichte», Kapitel Österreich.
Bei der letzten Panne hört der Witz auf
Schüler erstellen aus gewöhnlichen Fotos von Mitschülerinnen sexualisierte künstliche Bilder und verbreiten sie. Die Bilder sind künstlich. Die betroffenen Mädchen und die Verletzung ihrer Würde sind es nicht.
Hier war die Technik nicht kaputt. Sie hat genau das getan, was man ihr gesagt hat.
Dieser Satz verändert die Frage. Es reicht nicht, ein besseres System zu verlangen. Es braucht Menschen, die Grenzen setzen und bei Missbrauch handeln. Eltern und Schulen sind angesprochen. Ebenso Unternehmen, die Werkzeuge bereitstellen und deren Verwendung regeln müssen.
Quelle der Fallskizze: Film «Der Hofnarr. 21 KI-Pannen und eine ernste Geschichte», letzter österreichischer Fall.
Die ernste Geschichte handelt von Erfahrung und Verantwortung
Am Schluss legt der Hofnarr die Kappe ab. Die Geschichte spielt in einer Münchner Praxis. Eine Ärztin untersucht einen Patienten mit einer anhaltenden Schwellung am Hals. Beim Abtasten erkennt sie einen auffälligen Befund und hat einen konkreten Verdacht.
Die Bildgebung beschreibt Lymphknoten, beantwortet aber die entscheidende Frage nach der Ursache nicht. Erst die Gewebeuntersuchung bringt die Diagnose: Tuberkulose der Lymphknoten.
Danach muss ein benötigtes Medikament organisiert werden. Menschen telefonieren, nutzen Kontakte und kümmern sich um die Beschaffung. Die Geschichte ist kein Beweis gegen medizinische Technik. Sie zeigt, was neben einem technischen Befund nötig bleibt: Erfahrung, die ihn einordnet, und Verantwortung, die bis zur Versorgung reicht.
Ich lasse hier bewusst den Witz weg. Ein Ergebnis auf dem Bildschirm ist noch keine abgeschlossene Aufgabe. Jemand muss erkennen, was fehlt, und den nächsten Schritt tun.
KI im Unternehmen braucht Regeln, die im Alltag gelten
Aus diesen Fällen leite ich vier Regeln ab. Keine davon verlangt eine Schellenkappe.
Prüfen Sie den Beleg, nicht nur den Satz
Öffnen Sie die Originalquelle. Vergleichen Sie Zitate und Zahlen. Besonders bei rechtlichen Aussagen, Gesundheit oder verbindlichen Kundeninformationen darf eine plausible Antwort nicht die letzte Kontrollstufe sein. Wer gibt solche Inhalte bei Ihnen frei?
Begrenzen Sie die Befugnisse Ihres Chatbots
Legen Sie fest, welche Auskünfte er geben darf und wann ein Mensch übernehmen muss. Testen Sie Preise, Gebühren und Vertragsfragen. Prüfen Sie auch, ob sich der Bot durch geschickte Aufforderungen von seinen Vorgaben abbringen lässt. Wer übernimmt, wenn er etwas verspricht, das Sie nicht halten können?
Testen Sie nach jeder Änderung erneut
Ein funktionierender Ablauf vor einem Update ist keine Garantie für danach. Verwenden Sie typische Kundenfragen und bewusst schwierige Eingaben. Für den Schweizer Markt gehören Schweizer Begriffe und Bedingungen dazu. Wer prüft vor der Freigabe, statt erst nach der Beschwerde?
Geben Sie vertraulichen Daten eine klare Grenze
Bestimmen Sie, welche Werkzeuge für welche Informationen freigegeben sind. Kundendaten gehören nicht aus Bequemlichkeit in einen öffentlichen Chatbot. Für KMU beginnen KI-Risiken oft bei einer ganz alltäglichen Handlung: jemand kopiert einen Text. Wissen Ihre Mitarbeitenden, wo sie vorher stoppen müssen?
Die Verantwortung trägt keine Schellenkappe
Ich will nicht, dass Unternehmen aus Angst auf KI verzichten. Ich will, dass sie verstehen, was sie einsetzen. Die Maschine kann unterstützen. Sie kann Ihnen die Verantwortung nicht abnehmen.
Delegieren Sie die Arbeit. Nicht das Hinschauen.
Den Film und «Alle 21 Fälle im Workbook» finden Sie auf derselben Seite, das Workbook unter «Workbook». Unter «Zur Academy» gelangen Sie zum kostenlosen Kurs «Was KI wirklich ist». Mein Buch «Die vier Reiter» von Beat Ambord finden Sie ebenfalls auf f1rst.digital.
Zum Schluss gibt es den Wettbewerb «Nicht drücken. Teilen und gewinnen.» Zu gewinnen gibt es ein Wallis-Wochenende für vier Personen im Hotel Blinnenhorn in Reckingen im Goms. Den Zugang finden Sie auf der Filmseite. Und den passenden Menschen für den Film kennen Sie bestimmt: «Schicken Sie es dem Menschen, der immer alles besser weiss. Er wird drücken.»
Film und Workbook sind bewusst als Satire aufgebaut. Jeder Fall wurde recherchiert, mit Menschen und nicht nur mit der Maschine. Zu einigen Fällen gab es Gerichtsverfahren in verschiedenen Ländern, darum kann nicht jedes Detail zu hundert Prozent stimmen. Der Kern der Fälle stimmt. Die Bilder sind fiktive Animationen, erstellt mit Hilfe von KI. Für jedes Bild trägt ein Mensch die Verantwortung.
