KI-Chatbots im UX-Test: Erkenntnisse aus aktuellen UX-Projekten
Ob KI-Chatbots, Sprachassistenten oder KI-Agenten… Unternehmen probieren KI in ihren Produkten aus und etablieren sie in ihren Kundenerlebnissen. Doch je selbstverständlicher KI wird, desto sichtbarer wird auch, was nicht funktioniert: Features, die als Idee überzeugen und im Alltag scheitern. Bots, die mal brillante Antworten geben und mal völlig danebenliegen.
Wie stellst du sicher, dass dein KI-Produkt hält, was es verspricht? Genau hier setzt AI Experience Validation an: die systematische Validierung von KI-Produkten mit echten Nutzer:innen.
In diesem Artikel zeigen wir dir, worauf es beim Testen von KI-Produkten wirklich ankommt, welche Herausforderungen typisch sind und welche Strategien sich in unseren Projekten bewährt haben.
Warum sind UX-Tests von KI-Chatbots wichtig?
KI-Komponenten bringen neue Dimensionen in die User-Experience: Nicht nur das Interface ist relevant, sondern auch das Modellverhalten, die Konsistenz, die Zuverlässigkeit und das Vertrauen, das Nutzer:innen der KI entgegenbringen.
Hinzu kommt der Input, den User in das System einbringen. Für Entwickler:innen ist das ein bisschen wie eine Wildcard: Ohne Tests kannst du gar nicht vorhersehen, was passiert. Auch die Vorerfahrung der Nutzenden spielt eine große Rolle. Es gibt noch enorme Unterschiede beim Prompting, bei den Erwartungen an den Output, bei Korrekturen und beim Umgang mit Fehlern.
Ein KI-Produkt zu validieren heißt daher: Nicht nur das Interface gilt es zu prüfen, sondern das gesamte Zusammenspiel aus Modell, Interface, Nutzererwartung und Kontext, das Nutzer:innen der KI entgegenbringen.
Zwischen Novelty und Alltagsnutzen
Die explorative Phase ist für einen Großteil der Nutzenden vorbei. Sie wissen inzwischen, was KI leisten kann, aber kennen auch ihre Schwächen. Gleichzeitig wächst ihre Erwartungshaltung, je häufiger sie gute KI-Produkte erleben.
Die Frage, die sich Nutzende heute stellen, hat sich verschoben. Nicht mehr: „Was kann diese KI?“, sondern: „Wie gut passt die KI zu meinen Bedürfnissen? Kann sie überhaupt das, was sie mir verspricht?“
Wir erleben das aktuell in jedem zweiten Interview, das mit KI zu tun hat: Viele Nutzende haben schlechte Vorerfahrungen gemacht und manche haben regelrecht eine Abwehrhaltung entwickelt. Neue KI-Tools müssen also nicht nur besser sein als ihre Vorgänger, sondern das auch signalisieren, zum Beispiel durch entsprechende Design-Entscheidungen.
Ein Beispiel: Für einen Kunden haben wir kürzlich einen KI-Bot für die Reiseplanung getestet. Die Testpersonen zweifelten den Mehrwert stark an: Viele nutzen längst ChatGPT oder andere KIs für ihre Reiseplanung, und diese kennen bereits ihre persönlichen Präferenzen. Ein neuer KI-Bot muss sich von diesen etablierten Assistenten spürbar abgrenzen, um überhaupt eine Chance zu haben.
Um herauszufinden, wie das gelingt, brauchst du User-Research und UX-Testing.
Praxisbeispiele und Erkenntnisse aus unseren KI-Projekten
Im Laufe des letzten Jahres haben wir viele Projekte begleitet, in denen KI-Produkte mit echten Nutzer:innen getestet wurden. Details können wir nicht teilen, aber hier die anonymisierten Muster, die uns immer wieder begegnen.
KI-Zusammenfassungen: Vertrauen & Transparenz im redaktionellen Umfeld
Bei einem Projekt mit einem Verlag stand eine KI‑Zusammenfassungsfunktion im Fokus. Testpersonen waren relativ offen gegenüber der Technologie, besonders wenn sie bereits KI-Erfahrung hatten.
Ein zentraler Punkt: Vertrauen & Inhaltsseriosität wurden explizit über Fragen aus standardisierten Fragebögen abgefragt – etwa: „Würden Sie dieser Zusammenfassung trauen?“
Eine Herausforderung für die Nutzenden war, abzugrenzen, was redaktionell (menschlich) und was KI‑generiert ist. Gleichzeitig warfen sie die Frage auf: Brauche ich überhaupt eine KI‑Zusammenfassung, wenn ohnehin schon eine gute Einleitung existiert?
Die Erkenntnis: Ein KI-Feature muss sich immer gegen die bestehende Lösung behaupten. Wenn ein sauber geschriebener Teaser den gleichen Nutzen bringt, ist die KI-Zusammenfassung überflüssig.
KI-Chatbot in der Versicherungskommunikation
In einem Versicherungsprojekt konnten Nutzer:innen einen Chatbot Fragen zu ihren Vertragsdokumenten stellen, zum Beispiel nach Erhalt eines Anschreibens. Der Bot hatte Zugriff auf das Kundenkonto und konnte dadurch sehr präzise Antworten geben. Genau das wurde als großes Plus wahrgenommen. Bedenken zur Datensicherheit spielten in diesem Kontext, in dem die Nutzenden ohnehin eingeloggt waren, kaum eine Rolle.
Die Erkenntnis: Es muss einen echten Mehrwert geben, damit ein Bot als hilfreich empfunden wird. Ein Bot, der nur die FAQ wiedergibt, die man auch selbst findet, reicht nicht.
Interessant war auch, wie die Testpersonen mit dem Bot interagieren wollten. Stichworte: Spracheingabe versus Text und der Grad an „Menschlichkeit“.
Die Testpersonen konnten wählen, ob sie durch Spracheingabe oder schriftlich interagieren möchten. Überraschend war, dass sie fast ausschließlich Texte bevorzugten. Als Grund dafür gaben einige von ihnen an, dass sie sich schriftlich klarer und überlegter ausdrücken können. Auch dass dem Chatbot eine Stimme gegeben wurde, wurde von vielen Testpersonen als unnötig bezeichnet, zumal sie verzerrt und unnatürlich klang.
Dies illustriert: In vielen Kontexten ist Text als Medium geeigneter – besonders in Deutschland, wo die Hemmschwelle, mit einem digitalen System zu sprechen, höher sein kann als in Sprachkulturen wie den USA.
Sensible Daten & Eskalationsprozesse
Sobald Gesundheitsdaten oder mentale Gesundheit ins Spiel kamen, zeigte sich ein deutliches Misstrauen gegenüber KI-Systemen. Viele Nutzer:innen zogen echte menschliche Ansprechpersonen vor – insbesondere aus Sorge, dass ihre Daten für Trainingszwecke verwendet werden könnten.
Die Erkenntnis: Bei sensiblen Themen ist Transparenz über Datenverwendung, Löschprozesse und Datenschutz eine absolute Voraussetzung. Und: Ein sauberer Eskalationspfad zu einer echten Person ist oft wichtiger als jede noch so schlaue KI-Antwort.
No-Go: KI als Verkaufsmittel ohne Mehrwert
In einem weiteren Projekt sollte ein KI-Bot sehr offensichtlich als Verkaufstreiber dienen. Die Testpersonen empfanden ihn als wenig hilfreich, die Angebote wirkten unpassend und störend.
Die Erkenntnis: Wenn KI verkaufen soll, muss das sehr sorgfältig und mit Blick auf die Erwartung der Nutzenden geschehen. Sonst wirkt der Bot eher abschreckend. Bots werden dann als hilfreich wahrgenommen, wenn sie konkrete Schritte zur Problemlösung anbieten und nicht, wenn sie nur Produkte platzieren.
Methoden & Vorgehensweisen: So testest du eine KI-Experience
Wer ein KI-Produkt testet, muss einige Aspekte zusätzlich beachten im Vergleich zu klassischen Interface-Tests.
1. Forschungsfrage schärfen
Bevor du irgendetwas planst: Was willst du wirklich wissen? Geht es um Verständnis, Vertrauen, Effizienz oder Fehlerresistenz? Um die Qualität des KI-Outputs, um die Usability des Interfaces oder um das mentale Modell der Nutzenden? Eine präzise Forschungsfrage ist die Voraussetzung für sinnvolle Szenarien und passende Aufgaben. Ohne sie testest du am Ende alles ein bisschen und nichts richtig.
2. Realistischen Use Case definieren
Nutzende brauchen ein nachvollziehbares Szenario, das ihre Alltagslogik widerspiegelt. Sorge deshalb dafür, dass die Aufgaben dem tatsächlichen Nutzungskontext möglichst nahekommen.
3. Mentale Modelle einbeziehen
Frage nicht nur im Anschluss „Hat dir die Antwort weitergeholfen?“, sondern schon zu Beginn: „Was erwartest du?“ Viele UX-Probleme entstehen nicht durch falsche Antworten, sondern durch falsche Erwartungen. Das mentale Modell entscheidet mit, ob Vertrauen aufgebaut oder verloren wird.
4. Testmethode passend zur Produktphase
Es gibt keine universelle Antwort auf „moderiert oder unmoderiert?“. Wie so oft lautet die Antwort: „Es kommt darauf an.“
Wir haben für uns diese Faustregeln herausgearbeitet:
- Frühe Konzeptphase – Wird das Feature verstanden? Wird es als hilfreich wahrgenommen? Wie sehen mentales Modell und Vertrauen aus? → moderiert, qualitativ, z. B. mit Wizard-of-Oz.
- Spätere Entwicklungsphase – Ist das Feature in seiner Umgebung gut nutzbar? Kommen Nutzende ans Ziel? → unmoderiert, qualitativ.
- Feature ist live – Akzeptanzraten, Task-Success-Rates? → quantitativ.
- Komplexes Feature, viel Vertrauen nötig – Vertrauen und mentale Modelle vertiefen → moderiert.
- Gewöhnung, Lernverhalten, Vertrauensaufbau über Zeit → Langzeitstudie.
5. Wizard-of-Oz als Übergangslösung
Wenn Teile der KI noch nicht stabil oder zuverlässig sind, kannst du den Bot im Hintergrund „faken“. Die Testpersonen glauben, mit einer echten KI zu interagieren. So lässt sich die User-Experience evaluieren, auch wenn das Modell selbst noch nicht steht.
6. Vertrauen gezielt abfragen
Vertrauen ist bei KI ein zentraler Faktor. Nutze offene Fragen oder Skalen, um zu verstehen, wann Nutzende der KI glauben und wann nicht. Transparenz, Kontrolle und Datensicherheit gehören explizit dazu.
Was du bei Tests von KI-Produkten messen solltest
Bei der Auswertung von KI-Tests reicht es nicht, nur zu prüfen, ob die Nutzenden ans Ziel gekommen sind. Du musst genau wissen, was die korrekten Antworten gewesen wären, um einschätzen zu können, ob die KI richtig lag oder nicht. Chatbots geben oft Antworten, die zwar plausibel klingen, tatsächlich aber (zumindest teilweise) falsch sind.
Trenne in der Auswertung sauber zwischen diesen drei Perspektiven:
- Qualität des Outputs – Waren die Antworten der KI richtig?
- Usability – Kommen die Testpersonen zu einem Ergebnis? Funktioniert alles und ist verständlich?
- Die Kombination aus beidem – Kommen die Testpersonen zum richtigen Ergebnis?
Klassische UX-Metriken
Task-Success-Rate, Fehlerquote, Fallback-Raten, Dialoglängen, Abbrüche, Antwortlatenz und Konsistenz der Antworten liefern die Basis.
KI-spezifische Metriken
- Vertrauen – Wie sehr glauben Nutzende der KI?
- Akzeptanzrate – Wie viele Outputs wurden von den Testpersonen tatsächlich angenommen?
- Perceived Accuracy – Wie richtig wirkt die Antwort auf die Testperson (unabhängig davon, ob sie es objektiv ist)?
- Korrektur-Aufwand – Wie viel musste die Testperson nachbessern, um das Ergebnis nutzen zu können?
Reliance-Kalibrierung: die Kernmetrik
Besonders aussagekräftig ist die Frage: Folgten Nutzende der KI bei guten Outputs und korrigierten sie bei schlechten? Das lässt sich in vier Felder aufteilen:
- Korrekt gefolgt – Output war gut, Nutzende sind ihm gefolgt.
- Korrekt verworfen – Output war schlecht, Nutzende haben ihn nicht übernommen.
- Fälschlich gefolgt (Over-Reliance) – Output war schlecht, wurde aber übernommen.
- Fälschlich verworfen (Under-Reliance) – Output war gut, wurde aber ignoriert.
Vor allem Over-Reliance ist kritisch: Wenn Nutzende einer KI auch dann folgen, wenn sie falsch liegt, ist das ein handfestes Produktrisiko.
Standardisierte Fragebögen
Für Themen wie Vertrauen und Inhaltsseriosität lassen sich standardisierte Fragebögen einsetzen, zum Beispiel der UEQ+ oder der CASUX. Sie liefern eine solide Vergleichsbasis, ersetzen aber keine qualitativen Einblicke ins „Warum“ hinter den Zahlen.
Hol dir unser UX-Test-Toolkit für KI-Produkte!
Du willst direkt loslegen? Unser Toolkit erleichtert dir den Einstieg. Es stellt die wichtigen Fragen und gibt dir Tipps, worauf du bei UX-Tests von KI-Produkten achten musst.
UX-Test-Toolkit herunterladen:
Fazit & Ausblick
KI ist da und bleibt. Doch während technologische Sprünge gefeiert werden, bleibt oft unklar, wie gut diese Systeme im Alltag wirklich funktionieren. Genau hier setzen User-Research und UX-Testing an.
Unsere Erfahrungen zeigen:
- Nutzende sind bereit, mit KI zu interagieren, wenn sie den Mehrwert erkennen.
- Ihre Vorerfahrungen mit KI und ihre Expertise im Umgang mit ihr beeinflussen die Nutzung stark.
- Vertrauen, Klarheit und Kontrolle sind zentrale Kriterien für eine positive Nutzererfahrung.
- Die besten KI-Systeme überzeugen nicht durch das große „Wow“, sondern durch Verlässlichkeit und Mehrwert im Kleinen.
- Der Testaufbau entscheidet maßgeblich darüber, wie nützlich die Ergebnisse wirklich sind.
KI zu testen bedeutet nicht nur, technische Qualität zu prüfen. Es bedeutet, die Bedürfnisse der Nutzenden zu verstehen. Nur so wird aus einer smarten Technologie ein Produkt, das im Alltag überzeugt.
Wir bleiben gespannt auf die nächsten Entwicklungen – und begleiten gerne auch euer Projekt mit kritischem Blick, methodischer Klarheit und echtem Nutzerfokus.
Können wir euch bei der Entwicklung eures KI-Bots begleiten?
Deine Ansprechpartnerin
030 / 544 870 24
(Mo bis Fr von 9 bis 18 Uhr)
Sophie Krüger hat Medienkommunikation mit Schwerpunkt Medienpsychologie studiert. Sie verantwortet unsere Kundenkommunikation und schreibt über alles rund um die Agentur.
