Ein Machine-Learning-Modell kennzeichnet eine Charge von Automobilkomponenten als wahrscheinlich fehlerhaft. Die Produktionslinie hält an. Ein Bediener schaut auf die Warnung und stellt eine einfache Frage: Warum? Wenn das System diese Frage nicht klar und sofort beantworten kann, passiert eines von zwei Dingen. Entweder übersteuert der Bediener die Warnung und die Linie läuft weiter — was den Zweck des Modells komplett zunichtemacht — oder die Linie bleibt stehen, während jemand aus dem Data-Team nachforscht, was tausende Euro pro Stunde an verlorenem Durchsatz kostet.
Dieses Szenario spielt sich täglich in Fabriken ab, die KI ohne Erklärbarkeit einsetzen. Das Modell mag statistisch korrekt sein, aber Genauigkeit allein schafft kein Vertrauen auf einem Shopfloor, wo Entscheidungen physische Konsequenzen haben. Ein Bediener, der zwanzig Jahre lang Maschinenverhalten gelesen hat, wird einem System nicht vertrauen, das sagt „Defekt wahrscheinlich, Konfidenz 87%", ohne zu verstehen, was zu dieser Schlussfolgerung geführt hat. Und in regulierten Branchen wie Automotive, Luft- und Raumfahrt oder Pharma akzeptieren das auch die Regulierungsbehörden nicht.
Die Compliance-Realität
Die Fertigung operiert unter regulatorischen Rahmenwerken, die Rückverfolgbarkeit auf jeder Stufe verlangen. ISO 9001 erfordert dokumentierte Nachweise der Prozesskontrolle. IATF 16949 schreibt vor, dass Qualitätsentscheidungen bis zu ihren Quelldaten rückverfolgbar sind. In der pharmazeutischen Fertigung verlangt FDA 21 CFR Part 11 vollständige Audit-Trails für jedes System, das die Produktqualität beeinflusst. Wenn ein KI-Modell an diesen Entscheidungen teilnimmt — selbst als Empfehlungssystem — wird es Teil des regulierten Prozesses.
Die Konsequenzen sind konkret. Bei einem Audit kann ein Prüfer fragen: Warum wurde diese Charge freigegeben? Wenn die Antwort eine Modellvorhersage beinhaltet, muss der Hersteller nachweisen, welche Daten das Modell verwendet hat, welche Logik es angewandt hat und warum es zu seiner Schlussfolgerung kam. Ein Black-Box-Neuronales-Netz, das einen Wahrscheinlichkeitswert ohne Erklärung ausgibt, erzeugt eine Audit-Lücke, die keine nachträgliche Rechtfertigung füllen kann. Die Begründung des Modells muss zum Zeitpunkt der Entscheidung dokumentiert werden, nicht nachträglich rekonstruiert.
- Audit-Trail-Anforderungen — jede KI-beeinflusste Entscheidung muss auf Eingabedaten, Modellversion und Entscheidungslogik rückverfolgbar sein
- Change Management — Modellaktualisierungen müssen mit der gleichen Strenge validiert und dokumentiert werden wie Prozessparameteränderungen
- Datenintegrität — die Herkunft der Trainingsdaten muss erhalten bleiben und zeigen, wie Rohsignale in Modelleingaben transformiert wurden
- Menschliche Aufsicht — Regulierungsbehörden erwarten, dass menschliche Bediener die Autorität behalten, KI-Empfehlungen zu übersteuern oder zu bestätigen
Vertrauen auf dem Shopfloor aufbauen
Compliance ist das gesetzliche Minimum. Vertrauen ist das, was bestimmt, ob KI tatsächlich genutzt wird. Bediener bilden die kritische Feedback-Schleife in jedem KI-System der Fertigung — sie validieren Vorhersagen gegen ihre Erfahrung, eskalieren echte Anomalien und filtern Fehlalarme heraus. Das funktioniert nur, wenn der Bediener versteht, worauf das Modell reagiert. Eine Vorhersage die sagt „Lagerausfall wahrscheinlich innerhalb von 48 Stunden basierend auf steigender Vibrationsamplitude im 2-4 kHz-Bereich und erhöhtem Lagertemperatur-Delta" gibt einem erfahrenen Bediener etwas zum Überprüfen und Handeln. Ein bloßer Wahrscheinlichkeitswert gibt ihm nichts.
Techniken wie SHAP-Werte und Feature-Importance-Scoring machen diese Transparenz praktikabel. Für jede Vorhersage kann das System zeigen, welche Eingabevariablen am meisten beigetragen haben und in welche Richtung. Wenn ein Qualitätsmodell ein Teil markiert, sieht der Bediener, dass die Oberflächentemperatur an Station 3 und die Werkzeugverschleißzyklen die primären Treiber sind — Informationen, die direkt auf umsetzbare Wartungs- oder Prozessanpassungen abbilden. Das transformiert KI von einem undurchsichtigen Orakel in ein Werkzeug, das menschliche Expertise verstärkt, anstatt sie zu umgehen.
Erklärbarkeit von Anfang an eindesignen
Erklärbarkeit kann nicht nachträglich aufgesetzt werden. Sie muss eine architektonische Entscheidung sein, die zu Beginn des KI-Lebenszyklus getroffen wird. Das beginnt bei der Modellauswahl: Für viele Fertigungsanwendungsfälle liefern interpretierbare Modelle wie Gradient-Boosted Trees oder regularisierte Regression vergleichbare Genauigkeit wie tiefe neuronale Netze und bleiben dabei inhärent erklärbar. Wenn komplexe Modelle tatsächlich notwendig sind, müssen Surrogat-Erklärungen und lokale Interpretierbarkeits-Methoden in die Vorhersage-Pipeline integriert werden — nicht als Nachgedanke in einem separaten Analyse-Tool angeboten.
Bei RockQ ist Erklärbarkeit in jeder Phase in das ML Studio der Plattform eingebaut. Beim Feature-Engineering sehen Prozessingenieure, wie jede Variable mit dem Zielergebnis korreliert. Beim Training wird die Modellperformance zusammen mit Feature-Importance-Rankings angezeigt. Beim Deployment wird jede Vorhersage mit ihrer vollständigen Erklärung protokolliert — welche Eingaben beigetragen haben, in welchem Umfang und in welche Richtung. Das erzeugt einen kontinuierlichen, auditierbaren Nachweis, der sowohl den Bediener zufriedenstellt, der fragt „Warum hat das Modell das markiert?" als auch den Auditor, der verlangt „Beweisen Sie, dass diese Entscheidung gerechtfertigt war." KI in der Fertigung, die sich nicht erklären kann, ist nicht produktionsreif. Die Technologie, um KI transparent zu machen, existiert heute — die Frage ist, ob Organisationen sie einfordern.