Ich komme mir gerade ein bisschen vor wie die Person die 1960 sagt, Fernsehen ist böse. Bin ich aber nicht. Ich arbeite jeden Tag mit KI, zur Übersetzung, zur Textgestaltung und Rechtschreibprüfung, auch hier jetzt mit diesem Text, den ich aber selbst geschrieben habe. Trotzdem hat es mich eben irgendwie ziemlich umgehauen, dass KI-Personas inzwischen eher unkritisch auf Usability-Konferenzen angekommen sind. Workshops, in denen man Personas mit generativer KI in Gesprächspartner*innen verwandelt, um sie dann zu fragen, was sie vom eigenen Interface halten.

Die Nutzung von KI als Technologie im Generellen ist dabei nicht mein Problem. Mich macht eher ratlos, dass ausgerechnet die UX- und Usability-Branche da (gefühlt?) so bereitwillig mitmacht. Deshalb schreibe ich hier einmal gesammelt auf, warum ich synthetische Nutzer*innen im UX Research für riskant halte plus Literaturquellen dazu. 

Eine Persona ist im besten Fall eine Verdichtung echter Researchergebnisse, und sie ist ein Kommunikationswerkzeug. Die Persona "weiß" genau so viel, wie in den Interviews drinsteckte, aus denen sie entstand, und keinen Satz mehr.

Aus der Persona wird ein Orakel

Wer eine Persona zum Gesprächspartner macht, stellt ihr früher oder später Fragen, die weit über das hinausgehen, was in der Research, auf der die Persona basiert, überhaupt untersucht wurde. Die KI antwortet trotzdem, flüssig und überzeugend. Die Lücken werden mit plausibler Fiktion gefüllt, und all das trägt dann Gesicht und Namen der Persona, und tut so, als wäre sie die Stimme echter Nutzer*innen. Aber viele Personas basieren nicht mal auf Research, sondern auf Workshop-Annahmen. Dann redet man am Ende mit seinen eigenen Stereotypen und Vorurteilen, die einem freundlich zurückwinken.

Das Absurde daran: Alan Cooper hat Personas als Tool erfunden, um den "elastischen User" loszuwerden. Also jene imaginäre Nutzerin, die sich in Meetings so dehnt, wie es das jeweilige Argument gerade braucht. Eine KI-Persona ist dieser elastische User in Reinform. Sie passt sich jeder Frage an, und zwar in die Richtung, in die wir fragen.

Warum synthetische User gerade zur Hypothesengenerierung nicht taugen: Sie irritieren uns nicht.

Hypothesengenerierung in der Produkt-Discovery bedeutet, dass du plausible Annahmen formulierst, die du später an echten Nutzer*innen testen kannst. Das Ziel ist aber nicht Bestätigung deiner Annahmen/Hypothesen, sondern eher gezielte Irritation. Es geht schließlich darum, die Ängste, Missverständnisse und Mental Models zu finden, die du selbst nicht siehst. Du willst überrascht werden, das sollte eigentlich das Ziel jeder Forschung sein. Und da liegt das Problem bei synthetischen Nutzer*innen.

Drei Gründe, warum sie in frühen Phasen wie der Hypothesengenerierung sogar besonders riskant sind:

1. LLMs erleben keine menschlichen kognitiven Limits 

LLMs haben keine menschlichen "Schwächen" wie ein begrenztes Arbeitsgedächtnis, Aufmerksamkeitsprobleme, Emotionen oder Stress unter Zeitdruck. Sie simulieren ausschließlich Sprache, nicht echte Kognition. Was du bekommst, sind rational formulierte, strukturierte Antworten, die sich total gut anhören. Aber du bekommst keine menschlichen Denkabkürzungen, keine Satisficing-Strategien, keine "dummen", überraschenden Fehler, die echte Menschen unter kognitiver Last machen. Und genau das interessiert uns doch?!

Die Folge: Du verpasst genau das, was interessant ist. Die menschlichen Schwachstellen, die eventuell spezifisch und wichtig für dein Thema sind.

2. LLMs zeigen systematisch soziale Erwünschtheit und Konsensneigung

LLMs zeigen übermäßig sozial erwünschte Antworttendenzen, vereinfachtes moralisches Reasoning und reduzierte Verhaltensvarianz. In Settings mit vielen Agenten können kleine Einzelbiases zu einem verzerrten Konsens hochskaliert werden. Das heißt: Statt der Meinungen von "Minderheiten", die oft die interessantesten Hypothesen liefern, bekommst du die glatte, durchschnittliche Mitte.

Die Folge: Die Hypothesen spiegeln eher den Mainstream wider und werden in der Prüfung dann auch meistens bestätigt, weil sie auf dem ohnehin akzeptierten Konsens basieren. Das geht total am Ziel der Forschung vorbei, dem Entdecken des Unbekannten.

3. Prompt-Framing und Sycophancy verstärken deine eigenen Biases

LLMs passen ihre Antworten systematisch an das Prompt-Framing an und verstärken damit subtile, implizite User-Biases. Sie sind "sycophantic", also darauf ausgelegt, deinen Erwartungen zu entsprechen, statt sie zu irritieren. Wenn du fragst "Welche Ängste könnten Nutzer*innen haben?", bekommst du ggf. Ängste, die du implizit eh schon erwartet hast.

Die Folge: Du zirkelst um deine eigenen Annahmen herum, statt sie zu durchbrechen.

Schröder et al. (2025) fassen es so zusammen: "As plenty of researchers have argued before: LLMs are biased by their reliance on text (specifically: the text in the training data) to behave differently to humans, under-estimate the variance of human answers, and are conceptually distinct from human minds."

Plausibilität ist noch lange keine Evidenz. Was wir aus dem Gedankenexperiment des Chinesischen Zimmers mitnehmen können

Alan Turing fragte mal: "Can machines think?" Kann KI wirklich verstehen, was unsere Nutzer*innen denken? Im Studium sind wir in einem Seminar John Searles Gedankenexperiment des Chinesischen Zimmers durchgegangen, und ich muss echt oft daran denken, weil es so auf das ganze LLM-Zeug passt.

Kurz gesagt: Eine Person sitzt in einem Raum und bekommt chinesische Schriftzeichen zugeschoben. Sie versteht zwar null Chinesisch, aber sie hat ein Regelwerk, das ihr sagt, welche Zeichen sie zurückgeben soll. Für die Leute draußen sieht es so aus, als würde die Person perfekt Chinesisch verstehen. Searle wollte damit eine zentrale Idee hinter dem Turing-Test hinterfragen: Reicht es, wenn eine Maschine so wirkt, als würde sie verstehen? Sein Argument: Syntax, also die Form und Anordnung von Symbolen, ist nicht Semantik, also die inhaltliche Bedeutung.

Nicht umsonst haben Emily Bender, Timnit Gebru und Kolleginnen LLMs 2021 als "stochastische Papageien" bezeichnet: Sie setzen Sprache nach Wahrscheinlichkeiten zusammen, ohne zu verstehen, was sie bedeutet.

Hier wird es für User Research interessant. KI kann erstaunlich schlüssig klingende "Insights" produzieren. Das Problem ist nur, dass eine plausibel klingende Antwort halt noch keine Evidenz für irgendwas ist. Gerade bei synthetischen Usern oder KI-generierten Research-Synthesen vergessen wir schnell zu fragen, worauf diese Aussagen eigentlich basieren. Wenn wir nicht mehr selbst mit Menschen sprechen, sondern uns von der KI erzählen lassen, was Menschen angeblich denken, fühlen oder brauchen, wird es ... etwas heikel.

Wofür KI im UX Research taugt

Die KI darf unser fleißiger Research-Praktikant sein. Sie kann uns beim Formulieren von Fragen und Tasks viel Arbeit abnehmen, vorausgesetzt (wichtig!), wir wissen vorher, welche Frage wir mit welchem Ziel beantworten wollen. Auch beim Transkribieren und Strukturieren hilft sie echt.

Aber bei allem, was davor passiert, also Ziele und Fragen definieren, und bei der eigentlichen Synthese würde ich mich nicht auf sie verlassen, weil schon, wenn ein Mensch die Synthese übernimmt, der die Interviews nicht selbst geführt hat, geht einfach ein Großteil des Kontexts und der Information verloren. Pausen, Unsicherheiten, Ironie, nonverbale cues – all das fließt in die Interpretation ein, steht aber nicht im Transkript. Eine KI arbeitet nur mit dem, was im Text steht.

Warum macht die Branche mit?

Research-Budgets sind geschrumpft, Research Recruiting nervt und kann langwierig sein, und KI im Workshoptitel verkauft sich gerade gut. 

Dazu kommt ein bekannter Effekt aus der Kognitionspsychologie: Aussagen, die sich leicht verarbeiten lassen, halten wir eher für wahr (Processing Fluency, z. B. Reber & Schwarz, 1999). LLM-Antworten sind genau das: glatt, strukturiert, ohne Ähs und Widersprüche. Ich vermute, dass sie sich deshalb oft überzeugender anfühlen als ein echtes Interview, in dem jemand ins Stocken gerät oder sich selbst widerspricht. Dabei stecken gerade in diesen Brüchen oft die interessanten Stellen. 

Und es gibt erste KI-bezogene Studien und Hinweise, dass plausibel wirkende KI-Inhalte unsere Prüfung erschweren können: In einer EEG-Studie zeigte sich bei übersehenen KI-Fehlern gar nicht erst die typische Hirnreaktion auf Ungereimtheiten (Zhu et al., 2026). Außerdem zeigen Experimente, dass Menschen KI-Ratschlägen teils folgen, selbst wenn diese verfügbaren Kontextinformationen oder der eigenen Einschätzung widersprechen (Klingbeil et al., 2024).

Mein Fazit:

Wie Schröder et al. (2025) es betonen: LLMs sind durch ihre reine Textbasis konzeptionell etwas anderes als menschliches Erleben und Verhalten und unterschätzen die Varianz menschlicher Antworten. Wer echte Insights generieren und Risiken minimieren will, braucht Irritation und Reibung (Friction) mit echten Menschen.

Quellen

Adas, M., Tsvilodub, P., Franke, M., & Butz, M. V. (2026). Confirming Our Biases? Evaluating the Capabilities, Risks, and Societal Impact of Large Language Models (arXiv:2608.06977). https://doi.org/10.48550/arXiv.2608.06977

Bender, E. M., Gebru, T., McMillan-Major, A., & Shmitchell, S. (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 🦜. Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, FAccT ’21, 610–623. https://doi.org/10.1145/3442188.3445922

Klingbeil, A., Grützner, C., & Schreck, P. (2024). Trust and reliance on AI: An experimental study on the extent and costs of overreliance on AI. Computers in Human Behavior, 160, 108352.

Mitigating Social Desirability Bias in Random Silicon Sampling. (2026). Transactions on Machine Learning Research. https://openreview.net/forum?id=1njhuA8B3r

Okawa, M. (2026). Emergence of Biased Consensus in Multi-Agent LLM Debates (arXiv:2608.02827). https://doi.org/10.48550/arXiv.2608.02827

Petrescu, M., & Krishen, A. S. (2026). From human panels to silicon samples: A research agenda for synthetic data in marketing research. Journal of Marketing Analytics. https://doi.org/10.1057/s41270-026-00531-w

Reber, R., & Schwarz, N. (1999). Effects of Perceptual Fluency on Judgments of Truth. Consciousness and Cognition, 8(3), 338–342. https://doi.org/10.1006/ccog.1999.0386

Schröder, S., Morgenroth, T., Kuhl, U., Vaquet, V., & Paaßen, B. (2025). Large Language Models Do Not Simulate Human Psychology (arXiv:2508.06950). https://doi.org/10.48550/arXiv.2508.06950

Zhu, S., Zhong, Y., Ye, Z., Du, B., Zhou, Y., Ai, Q., & Liu, Y. (2026). How do humans process AI-generated hallucination contents: A neuroimaging study (arXiv:2605.16953v2). https://arxiv.org/abs/2605.16953

Fotos von The New York Public Library auf Unsplash