Critical Manufacturing: Verantwortlichkeit von KI in der Fertigung – Was passiert, wenn KI eine Entscheidung trifft, die man nicht erklären kann?

Kann man eine Entscheidung an KI delegieren?

Da agentebasierte KI im Fertigungsbereich zunehmend nicht mehr nur berät, sondern auch handelt, geht es nicht mehr darum, ob sie intelligent genug ist. Die Frage ist vielmehr, ob jemand erklären kann, was sie gerade getan hat.

Ja, ich weiß, das klingt für viele beängstigend, aber selbst wenn Sie sich heute noch gegen diese Vorstellung sträuben, werden Sie KI schon bald in Ihrer Fertigungslinie handeln lassen.

Nehmen Sie sich einen Moment Zeit, um sich vorzustellen, wie das aussehen könnte: eine Charge freigeben, einen Sollwert anpassen, Material zur Nacharbeit weiterleiten oder eine Charge zurückstellen. Die Technologie ist bereit, und der Druck, sie einzusetzen, ist unbestreitbar.

Das Problem ist: Einige Zeit nach dieser Entscheidung wird jemand mit Entscheidungsbefugnis fragen, warum das System so gehandelt hat. Das könnte eine Aufsichtsbehörde bei einer Inspektion sein. Oder ein Auditor, der einen Vorfall rekonstruiert. Es könnte Ihre eigene Geschäftsleitung nach einem Ausschussvorfall sein. Oder das Qualitätsteam eines Kunden, bevor dieser den Vertrag unterzeichnet.

Und in diesem Raum ist „das Modell war sehr sicher“ keine Antwort. Es ist der Beginn eines sehr schlechten Tages.

Warum reicht ein „Human-in-the-Loop“-Ansatz nicht aus, um KI zur Rechenschaft zu ziehen?

Die Frage, die darüber entscheidet, ob Sie eine Entscheidung an die KI delegieren können, ist nicht, wie intelligent das System ist. Es geht darum, ob das System sich jemandem erklären kann, der Sie zur Rechenschaft zieht.

Und wie sich herausstellt, ist Erklärbarkeit nichts, was man der KI nachträglich hinzufügt. Sie ist eine Eigenschaft dessen, worauf die KI aufbaut.

Wenn Ihnen das hypothetisch oder weit hergeholt erscheint, denken Sie noch einmal darüber nach. Es gab einen ersten Warnbrief der FDA, in dem KI in der pharmazeutischen Herstellung beanstandet wurde. Die Ermittler stellten fest, dass das Unternehmen vor dem Vertrieb seiner Arzneimittel keine Prozessvalidierung durchgeführt hatte, wie es gemäß 21 CFR 211.100 vorgeschrieben ist. Die Antwort des Unternehmens lautete wörtlich, man habe von dieser Anforderung keine Kenntnis gehabt, da der von ihm eingesetzte KI-Agent „[Ihnen] nie mitgeteilt hat, dass dies erforderlich war“.

Beachten Sie, dass der Standpunkt der FDA nicht darin bestand, dass KI eingesetzt worden war. Vielmehr ging es darum, dass KI-Ergebnisse von einer für die CGMP-Konformität verantwortlichen Person überprüft und freigegeben werden müssen und dass der Einsatz von KI zur Unterstützung bei der Erstellung von Dokumenten die Verpflichtung zur Überprüfung ihrer Richtigkeit und Konformität nicht aufhebt. Das Schweigen des Agenten ist keine Rechtfertigung.

Warum MES-Rückverfolgbarkeit die Grundlage für verantwortungsvolle KI ist

Es gibt zwei Möglichkeiten, wie ein KI-System die Frage „Warum hast du das getan?“ beantworten kann.

Die erste besteht darin, im Nachhinein eine plausible Begründung zu generieren. Wenn die Argumentation nirgendwo aufgezeichnet wurde, rekonstruiert das Modell eine Geschichte, die zum Ergebnis passt.

Die zweite besteht darin, die Entscheidung über die Struktur zurückzuverfolgen, die sie hervorgebracht hat. Das System hat diese Maßnahme ergriffen, weil für diesen Schritt in dieser Version des Rezepts, für dieses Produkt, basierend auf dem Zustand des Materials und dem zu diesem Zeitpunkt aufgezeichneten Qualitätsergebnis, eine bestimmte Regel galt.

Das ist eine Erklärung, weil die Begründung erfasst wurde, bevor die Entscheidung getroffen wurde. Man fordert die KI nicht auf, sich im Nachhinein zu rechtfertigen; man folgt einem Pfad, der bereits existiert.

Um zu verstehen, warum dieser Unterschied wichtig ist, lassen Sie die KI für einen Moment außer Acht und betrachten Sie eine einzelne Zahl in der Fertigung.

Wie MES-Rückverfolgbarkeit den Kontext schafft, den die KI benötigt

Ein Messwert für sich genommen bedeutet nichts. Er ist nur Rauschen, bis man ihn in einen Kontext einordnen kann: welches Produkt er beschreibt, welche Anlage ihn erzeugt hat, welche Rezepturversion lief, welcher Bediener die Arbeit ausgeführt hat und ob dessen Zertifizierung aktuell war, welche Materialcharge verwendet wurde und welcher Auftrag all dies miteinander verband.

Fügt man diese Zusammenhänge hinzu, wird aus der Zahl eine Tatsache. Nimmt man sie weg, ist sie nur ein Wert ohne Bedeutung.

Dieser Kontext muss an einer von zwei Stellen zusammengestellt werden:

– Spät

Ereignisse landen an getrennten Orten, und wenn eine Frage gestellt wird, verknüpft das System alles sofort neu. Das kann funktionieren, aber man zahlt bei jeder Frage den Preis für diese Verknüpfung, und ein System, das Beziehungen rekonstruiert, die es nicht selbst miterlebt hat, rät nur.
Manchmal ist die Vermutung falsch, und niemand kann das feststellen.

– Früh

In dem Moment, in dem der Schritt abgeschlossen ist, kennt das Ausführungssystem bereits das Produkt, die Anlage, die Rezepturversion, den Bediener, die Charge und den Auftrag. Nicht, weil es diese nachgeschlagen hat, sondern weil es sie einen Moment zuvor durchgesetzt hat. Es hat die Zertifizierung überprüft, bevor es den Schritt zugelassen hat. Es hat bestätigt, dass die Anlage qualifiziert war, und die Charge mit dem Auftrag verknüpft. Der Kontext war der Vorgang selbst.

KI kann eine Entscheidung nur dann erklären, wenn die Argumentation in dem Moment erfasst wurde, in dem sie stattfand – und genau das leistet das MES, indem es bei der Ausführung jedes Schritts Regeln (Zertifizierungen, Anlagenqualifizierung, Chargenverknüpfung) durchsetzt, anstatt sie im Nachhinein zu rekonstruieren.

Interessant ist, dass dies kein neuer, speziell für KI erfundener Standard ist. Es ist der Standard, nach dem stärker regulierte Fertigungsumgebungen bereits arbeiten.

Die Grundsätze der Datenintegrität verlangen, dass Aufzeichnungen zuordenbar sind und zum Zeitpunkt des Ereignisses erfasst werden. Auch die Aufsichtsbehörden erwarten, dass elektronische Aufzeichnungen das Ereignis rekonstruieren und nicht nur zusammenfassen.

Der Grund dafür ist einfach: Wenn man eine Entscheidung nicht bis zu dem Moment zurückverfolgen kann, in dem sie getroffen wurde, kann man sie kaum verteidigen. KI ändert diese Anforderung nicht; sie erhöht den Druck, denn der Akteur, der um Vertrauen bittet, ist nicht mehr eine Person.

Ein gut aufgebautes MES macht die Rückverfolgbarkeit erst möglich

Der Grund, warum eine Entscheidung überhaupt zurückverfolgt werden kann, liegt darin, dass ein gut aufgebautes MES nicht nur aufzeichnet, was passiert ist. Ob explizit oder nicht – jeder Produktionsschritt erzeugt ein Bedeutungsdiagramm. Das Material, die Charge, die Anlage, der Bediener und der Rezepturschritt werden zu Knotenpunkten, während die Abläufe zwischen ihnen die Kanten bilden.

Jede Produktionsentscheidung erzeugt eine rückverfolgbare Kontextkette

MES-Rückverfolgbarkeit erfasst diese Beziehungen in Echtzeit und erstellt so eine zusammenhängende Aufzeichnung darüber, wie die Produktion tatsächlich ablief.

Dieser Graph ist es, der eine Erklärung ermöglicht. Wenn ein Auditor nach dem „Warum“ fragt, ist die Antwort ein rückverfolgbarer Pfad durch den Graphen: von der Entscheidung zurück zu der Regel, die sie ausgelöst hat, dem Schritt, den sie steuerte, sowie dem Material, dem Qualitätszustand und der beteiligten Person.

Die Erklärung muss nicht auf Abruf rekonstruiert werden. Sie existiert bereits, da das System diese Zusammenhänge während des Fabrikbetriebs erfasst hat.

Um der Alternative gerecht zu werden: Eine über der Ausführung aufgebaute Kontextualisierungsebene kann vieles davon nachträglich rekonstruieren. In vielen anlagen- und prozessorientierten Umgebungen funktioniert dies gut genug, um nützlich zu sein.

Doch die Rekonstruktion ist begrenzt durch das, was das Ausführungssystem tatsächlich erfasst hat. Sie kann die Herkunftslinie annähernd nachzeichnen, aber sie kann keine Bedeutung wiederherstellen, die nie aufgezeichnet wurde. Diese Lücke zwischen „annähernd“ und „nachweisbar“ ist dort am größten, wo es am wichtigsten ist.

In der hochvariantenreichen, regulierten, diskreten Fertigung, in der Genealogie, Abweichungen und Nacharbeit keine Randfälle sind, sondern grundlegend für den Betriebsablauf sind.

Erklärbarkeit vs. Nachvollziehbarkeit: Das ist nicht dasselbe

Deshalb sollten Sie vorsichtig sein mit Anbietern, die behaupten, sie hätten das Problem der „Erklärbarkeit“ gelöst. Unter diesem Begriff werden zwei verschiedene Dinge verkauft.

Das eine ist das Verständnis, wie ein Modell intern argumentiert – ein Problem, das in der Fachwelt noch nicht gelöst ist und für dessen Beurteilung es noch nicht einmal eine einheitliche Methode gibt.

Das andere ist ein Prüfpfad, der aufzeigt, welche Eingaben zu einer Entscheidung geführt haben – und genau das bieten die meisten Tools zur Erklärbarkeit tatsächlich.

Deshalb ist die Grundlage so wichtig, wenn es um agentische KI geht. Ohne die richtige Grundlage kann KI keine verlässlichen Antworten liefern.

Determinismus, Leitplanken und menschliche Aufsicht sorgen für die Verantwortlichkeit der KI

Einige Themen tauchen immer wieder auf, wenn wir über Entscheidungen der agentischen KI sprechen. Diese sind wichtig, auch wenn sie nicht unbedingt mit dem Thema Erklärbarkeit zusammenhängen.

Determinismus. Dieser ist sehr wichtig, auch wenn er lediglich den Einsatz generativer KI in kritischen Funktionen der Laufzeitausführung verhindert. In regulierten Umgebungen oder risikoscheuen Organisationen ist Determinismus – bei dem gleiche Eingabebedingungen stets zu denselben Ausgabebeschlüssen führen – ein Muss.

In diesen Fällen gehört generative KI in die Entwurfsphase, nicht in die Ausführungsphase. Ob durch Vibe-Coding oder intelligenter durch Vibe-Metadating (KI-basierte Konfigurationen, die von der Plattform genutzt werden) – Unternehmen können ihre Geschäftsregeln und -prozesse beschleunigen; doch nur deterministisches Verhalten gelangt in die Laufzeitausführung.

Sicherheitsbarrieren. Auch diese sind entscheidend, reichen aber nicht aus. Mit Sicherheitsbarrieren legen Sie den Raum fest, in dem die KI agiert, und die Grenzen sind selbst Regeln, die erklärbar sein müssen. Sie erklären jedoch nicht die Entscheidungen, die innerhalb dieser Grenzen getroffen werden.

Menschliche Überprüfung. „Human-in-the-Loop“ wird ständig als Antwort auf all dies herangezogen. Für sich allein reicht dies jedoch nicht aus. Wenn ein Mensch eine Entscheidung genehmigt, die er nicht hinterfragen kann, ist das keine Aufsicht. Es ist eine Haftung mit Unterschrift.

Dennoch liegt die Entscheidung bei Ihnen

Zurück also zu Erklärbarkeit und Entscheidungen. Keine der genannten Lösungen nimmt Ihnen die schwierigste Entscheidung ab. Selbst ein System, das alles perfekt erklären kann, sagt Ihnen nicht, wie viel Vertrauen ausreichend ist, um zu handeln. Diese Schwelle – die Grenze zwischen Unterstützung und Autonomie bei einer bestimmten Entscheidung – ist eine Beurteilung, für die jemand mit Rechenschaftspflicht die Verantwortung übernehmen muss. Die Plattform kann die Schwelle sichtbar, überprüfbar und anpassbar machen. Aber sie kann sie nicht für Sie festlegen.

Genau deshalb ist dies keine IT-Frage mehr, sondern eine Frage der Führung. Eine Führungskraft kann entscheiden, wie viel Vertrauen sie schenkt. Aber keine Führungskraft kann eine Entscheidung verteidigen, die das System nicht erklären kann.

Regulierung agentischer KI in der Fertigung

In regulierten Umgebungen ist die Richtung bereits erkennbar: Der Entwurf von Anhang 22 der Europäischen Kommission zieht die Grenze ausdrücklich: Generative KI und große Sprachmodelle fallen nicht darunter und sollten nicht in kritischen GMP-Anwendungen eingesetzt werden; und wo KI in nicht-kritischen Anwendungen zum Einsatz kommt, bleibt qualifiziertes Personal im Rahmen eines „Human-in-the-Loop“-Ansatzes dafür verantwortlich, sicherzustellen, dass die Ergebnisse geeignet sind.

Das dem Entwurf zugrunde liegende Prinzip lautet, dass Intelligenz keine Verantwortung überträgt. Bevor also die Debatte darüber geführt wird, wie autonom Ihre KI sein sollte, stellt sich eine vorgängige Frage, die eher architektonischer als strategischer Natur ist. Wenn Ihre KI handelt und jemand mit Entscheidungsbefugnis nach dem Grund fragt: Antwortet Ihre Fabrik dann mit einer Begründung oder mit einem bereits festgelegten Ablauf?

Sie können keine Entscheidung delegieren, die Ihr System nicht erklären kann. Und Ihr System kann nur das erklären, wofür es ursprünglich entwickelt wurde.

– – – – –

Weiterführende Links

👉 www.criticalmanufacturing.com  

Foto: Critical Manufacturing