Was ist es?

Der Automation Bias beschreibt die Tendenz, Ergebnissen und Empfehlungen automatisierter Systeme mehr zu vertrauen als menschlichen Einschätzungen oder der eigenen Wahrnehmung. Das gilt für Algorithmen und Dashboards genauso wie für KI-Tools. Das Tückische daran: Wir folgen dem System oft auch dann, wenn andere Hinweise dagegen sprechen, was es uns sagt.

In der Forschung unterscheidet man zwei Arten von Fehlern. Bei Omission Errors übersehen wir ein Problem, weil das System nicht gewarnt hat. Bei Commission Errors folgen wir einer falschen Empfehlung, obwohl andere Hinweise dagegen sprechen.

Warum passiert das?

Automatisierte Systeme nehmen uns Denkarbeit ab, und das fühlt sich entlastend an. Zahlen, Reports und KI-Analysen wirken außerdem neutral und objektiv, so als wären sie frei von menschlichen Fehlern. Dazu kommt, dass sich Verantwortung leichter abgeben lässt („Das Tool hat’s ja gesagt“). Besonders unter Zeitdruck oder in komplexen Projekten greifen Teams deshalb gern zur schnellen, eindeutigen Antwort.

Warum ist das für die Produktentwicklung relevant?

Beispiel aus dem Produktalltag: Ein Team steht kurz vor einem Relaunch und will beim UX-Research Zeit sparen. Statt echter Tests lässt das Team KI-generierte „Synthetic Users“ das neue Onboarding durchspielen. Der Report sieht sauber aus: 90 % verstehen den Ablauf sofort. Also verzichtet das Team auf Tests mit echten Nutzer*innen.

Jedoch bricht drei Wochen nach dem Launch die Conversion ein. Die synthetischen Nutzer*innen hatten vor allem die Annahmen widergespiegelt, die schon im Prompt und im Modell steckten. Die Verwirrung oder die begrenzte kognitive Kapazität realer Menschen kam darin gar nicht vor. Der Automation Bias lag beim Team, welches dem sauberen Report ohne ihn zu prüfen geglaubt hat.

Produktteams kann dieser Bias auf drei Ebenen begegnen:

Inside: Im Team entsteht falsche Sicherheit, weil „die Daten“ oder die KI etwas Bestimmtes sagen. Qualitative Nuancen aus Interviews gehen unter, weil sie sich schlecht in ein Dashboard pressen lassen.

Outside, also bei den Nutzer*innen: Wenn ihr selbst automatisierte Funktionen oder KI-Assistenten baut, erleben eure Nutzer*innen denselben Bias. Sie vertrauen eurem System, auch wenn es halluziniert. Sobald sie das merken, leidet das Vertrauen in euer ganzes Produkt.

Beyond: Manchmal trifft der Bias Menschen, die das Tool nie selbst benutzt haben (das knüpft an das Konzept der indirekten Stakeholder aus dem Value Sensitive Design an). In der polnischen Arbeitsvermittlung haben Sachbearbeiter*innen die automatische Einstufung von Arbeitssuchenden nur in 0,58 % der Fälle geändert. Für die Betroffenen war der Vorschlag des Systems damit praktisch die Entscheidung (Niklas et al., 2015, zit. nach Ruschemeier, 2023).

Was hilft dagegen?

• Behandle automatisierte Ergebnisse wie die Einschätzung einer sehr schnellen Praktikant*in. Jede Empfehlung ist eine Hypothese, die geprüft werden muss.
• Trianguliere deine Daten. Verlass dich nie auf eine einzige automatisierte Quelle. Verknüpfe Dashboard- oder KI-Daten immer mit qualitativen Insights aus Beobachtungen und Gesprächen mit echten Nutzer*innen.
• Frag im Team aktiv nach: „Was, wenn das Tool hier falschliegt? Was übersehen wir gerade?“
• Mach Ergebnisse prüfbar, wenn ihr selbst KI-Features baut. Zeigt, worauf eine Empfehlung beruht, und macht es euren Nutzer*innen leicht, sie gegenzuchecken oder zu korrigieren.
• Mach Widersprechen genauso leicht wie Zustimmen (Ruschemeier, 2023). Wenn ein Klick reicht, um eine Empfehlung zu übernehmen, aber drei Felder nötig sind, um abzuweichen, gestaltet ihr den Bias direkt mit.
• Mach unhinterfragte Annahmen sichtbar. Jedes automatisierte Ergebnis beruht auf Daten, Prompts und Kennzahlen, die irgendjemand ausgewählt hat. Fragt euch im Team, bevor ihr einer Empfehlung folgt: Worauf beruht dieses Ergebnis eigentlich, und was kann das Tool eigentlich gar nicht wissen?
• Macht es zum festen Teil eures Ablaufs, dass ihr euch erst ein eigenes Urteil bildet und es aufschreibt, bevor ihr euch den Output des Modells anschaut. Mit der Zeit wird das zur Gewohnheit. Die paar Minuten, die es kostet, spart ihr hinterher sehr wahrscheinlich wieder ein.

Verwandte Begriffe

Algorithm Aversion, Datentriangulation, Illusion of Control, Confirmation Bias

Quellen

Skitka, L. J., Mosier, K. L. & Burdick, M. (1999). Does automation bias decision-making? International Journal of Human-Computer Studies, 51(5), 991–1006. https://doi.org/10.1006/ijhc.1999.0252

Hondrich, L. & Ruschemeier, H. (2023). Addressing automation bias through verifiability. Proceedings of the European Workshop on Algorithmic Fairness (EWAF 2023), Winterthur.

Ruschemeier, H. (2023). The Problems of the Automation Bias in the Public Sector – a Legal Perspective.