Human in the Loop: Warum menschliche Aufsicht kein Usability Feature ist
„Der Mensch entscheidet am Ende.“ Dieser Satz taucht in vielen Zulassungsprojekten auf, um eine höhere Produktklasse zu umgehen. Bei KI im Medizinprodukt ist es die "Lebensversicherung" für den Patienten.
Mit dem EU AI Act wird menschliche Aufsicht über KI‑Systeme zu einer klar definierten Anforderung. Entscheidend ist dabei nicht nur, dass ein Mensch beteiligt ist, sondern wie diese Beteiligung technisch, organisatorisch und regulatorisch umgesetzt wird. Human-in-the-Loop ist kein User-Interface-Feature und kein zusätzlicher Freigabeknopf, sondern eine Entwicklungs- und Zulassungsanforderung.
Im MedTech‑Kontext ist menschliche Aufsicht immer risikogetrieben. Je größer der potenzielle Schaden einer Fehlentscheidung, desto stärker muss der Mensch in den Entscheidungsprozess eingebunden sein. Diese Einbindung ergibt sich nicht aus persönlicher Einschätzung, sondern aus der Risikoanalyse und den regulatorischen Anforderungen nach MDR und AI Act.
Es gibt unterschiedliche Modelle menschlicher Aufsicht, die sich entlang des Autonomiegrades eines Systems bewegen. In klassischen Human‑in‑the‑Loop‑Szenarien wird jede relevante KI‑Ausgabe vor einer klinischen Handlung überprüft. In Human‑on‑the‑Loop‑Modellen arbeitet das System autonom, wird jedoch kontinuierlich überwacht und kann jederzeit überstimmt werden. Dazwischen liegen adaptive Ansätze, bei denen menschliche Eingriffe gezielt dann erfolgen, wenn Unsicherheit oder Anomalien auftreten.
Welche dieser Varianten geeignet ist, ist keine technische Geschmacksfrage. Sie muss klinisch begründet, regulatorisch nachvollziehbar und dokumentiert sein. Genau hier liegen in der Praxis viele Schwachstellen. Menschliche Aufsicht wird zwar benannt, aber nicht systematisch hergeleitet oder in das Systemdesign integriert.
Ein zentrales Risiko in der Mensch‑KI‑Interaktion ist Automation Bias. Das Whitepaper beschreibt diesen Effekt klar: Menschen neigen dazu, automatisierten Systemen zu vertrauen, selbst wenn deren Ergebnisse fehlerhaft oder klinisch fragwürdig sind. Besonders problematisch ist dies, wenn KI‑Ergebnisse früh im Entscheidungsprozess angezeigt werden oder wenn das System als besonders zuverlässig wahrgenommen wird.
Automation Bias ist kein theoretisches Konstrukt, sondern ein reales Sicherheitsrisiko. Er kann dazu führen, dass relevante Befunde übersehen oder falsche Empfehlungen übernommen werden. Damit wird deutlich, dass menschliche Aufsicht nicht allein durch die Anwesenheit eines Menschen gewährleistet ist, sondern aktiv gestaltet werden muss. Inzwischen werden in komplexen KI-Systemen durch die KI selber sog. Fehlerprovokationstests eingebaut, um Automation Bias und auch Automation Complacency (Unaufmerksamkeit aufgrund der hohen Zuverlässigkeit der KI) beim Human-in-the-loop vorzubeugen. Dabei platziert die KI bewusst falsche Aussagen/Ergebnisse, um den Anwender zu testen, weist ihn bei einer fehlerhaften Entscheidung dann darauf hin und führt den nächsten Schritt nicht aus, da sie ja dessen Fehlerhaftigkeit kennt.
Human Oversight ist untrennbar mit Usability Engineering verbunden. Die Art, wie KI‑Ausgaben visualisiert werden, wie Unsicherheit kommuniziert wird und wie Eingriffe möglich sind, beeinflusst unmittelbar das Verhalten der Nutzer. Ein schlecht gestaltetes Interface kann Automation Bias verstärken, selbst wenn formal eine menschliche Entscheidung vorgesehen ist. Besonders wirkungsvoll sind adaptive Konzepte menschlicher Aufsicht. Hier greift der Mensch nicht pauschal immer ein, sondern gezielt dort, wo das System Unsicherheit signalisiert oder Eingaben außerhalb der Trainingsverteilung erkennt. Die dafür definierten Schwellenwerte sind sicherheitsrelevante Designparameter. Sie müssen risikobasiert begründet, validiert und dokumentiert sein. Human Oversight wird damit Teil der Systemarchitektur und nicht nachträglich ergänzt.
Ein weiterer Aspekt ist die Nachvollziehbarkeit menschlicher Entscheidungen. Abweichungen von KI‑Empfehlungen müssen dokumentiert und zeitlich nachvollziehbar sind. Diese Informationen sind nicht nur regulatorisch relevant, sondern liefern wertvolle Erkenntnisse für Marktüberwachung und Weiterentwicklung. Menschliche Aufsicht wird so selbst zu einem Bestandteil der Sicherheitsstrategie.
Am Ende zeigt sich: Human in the Loop ist kein juristisches Feigenblatt und kein UI‑Element für die Zulassung. Es ist ein integraler Bestandteil von Risikomanagement, Usability Engineering, Validierung und Post‑Market‑Monitoring/Surveillance. Richtig umgesetzt erhöht menschliche Aufsicht nicht nur die regulatorische Sicherheit, sondern auch die Akzeptanz von KI‑Systemen im klinischen Alltag.
Wie Human‑Oversight‑Konzepte korrekt abgeleitet und umgesetzt werden, erläutert das Whitepaper im Detail.
