Neulich beim Lunch in der Nähe des Escher-Wyss-Platzes: Ein euphorischer Jungunternehmer, der seinen Matcha-Latte wie eine Reliquie vor sich hertrug, erklärt mir, dass er seine IT-Abteilung quasi «disrupted» habe. Er strahlt: «Der teure Datenbank-Admin ist Geschichte. Unsere KI-Agenten regeln das Backend jetzt völlig autonom. Das ist Agility 2.0!» Ich dachte mir nur still: Wer braucht schon Feinde, wenn er solche Agenten hat?
Der Neun-Sekunden-Suizid
Wie zur Bestätigung meiner chronischen Skepsis erreicht uns die Kunde des PocketOS-Debakels. Da wollte ein Startup besonders «lean» sein und überliess einem autonomen Coding-Agenten die Schlüssel zum Allerheiligsten. Was folgte, war kein technologischer Durchbruch, sondern eine digitale Kernschmelze in Rekordzeit. In exakt neun Sekunden löschte der eifrige Blech-Kollege nicht nur die gesamte Produktionsdatenbank, sondern – man will ja gründlich sein – auch gleich sämtliche Backups in der Cloud.
Man muss sich das bildlich vorstellen: Während der CEO wahrscheinlich gerade einen Post über «AI-first Transformation» absetzte, radierte sein Agent die Existenzgrundlage der Firma aus. Ohne Rückfrage, ohne Zögern: ein falscher Token, und weg war die Herrlichkeit. Dass der Agent dabei die Warnhinweise des Cloud-Providers schlicht «überlas», passt ins Bild einer Technologie, die zwar alles liest, aber nichts versteht.
Die Falle des Vibe-Codings
Wir erleben derzeit einen gefährlichen Trend zum «Vibe-Coding». Man tippt ein paar wohlklingende Sätze in eine Chat-Oberfläche und hofft, dass am Ende eine funktionierende Software herauskommt. Das Problem dabei: Ein «Vibe» ist keine Architektur. Und ein Sprachmodell ist kein Ingenieur, sondern ein stochastischer Papagei, der uns das liefert, was mathematisch am wahrscheinlichsten klingt, und nicht das, was unter Sicherheitsaspekten entscheidend wäre.
Wenn der vermeintliche «Quellcode» einer Anwendung nur noch aus einem unstrukturierten Prompt-String besteht, begeben wir uns auf brandgefährliches Terrain. Diese «Prompt-Wrapper» sind fragil wie ein Kartenhaus im Föhnwind. Ein winziges Update beim Modell-Anbieter, eine kleine «Model Drift», und schon versteht der Agent den Befehl «Sichere die Daten» als «Sichere mir den Platz im Papierkorb».
Typologie der Automatisierungs-Gläubigen
In den Verwaltungsräten und Co-Working-Spaces stehen sich heute zwei Haltungen gegenüber: Der Tech-Alchemist glaubt fest daran, dass man aus beliebigen, auch minderwertigen Daten und ein bisschen KI-Magie pures Gold spinnen kann. Dass dabei die halbe Firma abbrennt, verbucht er unter «fail fast, learn faster». Im Gegensatz dazu steht der Solid-Tech-Skeptiker (zu denen ich gehöre). Wir wissen, dass echte Resilienz nicht durch «Vibes», sondern durch deterministisches Engineering entsteht. Wir wollen Backups, die ihren Namen verdienen, und Datenbanken, die nicht von einem Algorithmus im Delirium verwaltet werden.
Und so frage ich: Dürfen wir…?
Dürfen wir wirklich zulassen, dass wir die Kontrolle über kritische Infrastrukturen an Systeme abgeben, deren Entscheidungsgrundlage eine Black Box ist? Die anekdotische Evidenz zeigt uns doch immer deutlicher: KI ist ein fantastisches Hilfsmittel, um E-Mails zu formulieren, lustige Bilder zu malen und auch, um Code-Snippets zu entwerfen und zu prüfen. Aber sie ist die denkbar schlechteste Wahl, wenn es um die conditio sine qua non jeder IT geht: Stabilität und Sicherheit.
Wer glaubt, dass generative KI die tiefen, proprietären Datenstrukturen und die jahrelange Erfahrung eines echten Architekten ersetzen kann, wird früher oder später sein eigenes PocketOS-Wunder erleben. Am Ende ist KI eben nicht unsere Mutter – sie räumt nicht hinter uns auf, sie macht im Zweifelsfall nur den Dreck effizienter.
Bevor Sie also den nächsten autonomen Agenten auf Ihre Server loslassen, stellen Sie sicher, dass noch irgendwo ein Mensch aus Fleisch und Blut sitzt, der im Notfall «Halt!» rufen kann. Und investieren Sie lieber in solide Architektur statt in glitzernde Prompts. Es schläft sich einfach besser, wenn man weiss, dass das Backup nicht nur ein guter Vibe ist. Auch heute gilt immer noch: Es bitzeli Seriosität hat noch keinem Business geschadet.
Dieser Beitrag erschien in weitgehend identischer Form in meiner Kolumne “Von Hensch zu Mensch“ auf inside-it.ch und wurde teilweise mit KI recherchiert und optimiert. Illustration: Google Gemini: Nano Banana 2.0
