Weil verantwortungsvolle Kundeninteraktion eine Qualität erfordert, die sich mit dem Kunden mitentwickelt

Dabei werden bspw. verschiedene Dialogverläufe, unerwartete Nutzeranfragen oder Grenzfälle simuliert, um das Verhalten und das Reaktionsvermögen der Telefon-KI zu testen. Die KI wird dabei bewusst „frei“ durch die verschiedenen Gesprächsfälle geführt. Das Ziel ist es, potenzielle Unklarheiten, Falschaussagen oder fehlerhafte Argumentation, unangemessene Reaktionen bzw. nicht optional formulierte Workflows zu erkennen und zu optimieren. Darüber hinaus soll analysiert werden, ob die KI die formulierten Anliegen richtig versteht, strategisch sinnvolle Rückfragen stellt und auch fachkundig richtige Antworten liefert. Der Fokus liegt insbesondere darauf, ob EIKI® im definierten Handlungsrahmen agiert und eine hohe Konsistenz bzw. Steuerbarkeit in ihren Antworten aufweist.

Während der Entwicklungs- und Integrationsphase werden in regelmäßigen Abständen sowohl intern als auch beim Kunden Tests durchgeführt. Mithilfe dessen soll frühzeitig erkannt werden, ob die bestehenden Gesprächsabläufe bei potenziellen Anpassungen der Prompt-Templates, der Guardrails oder des hinterlegten Workflows, weiterhin konsistent und qualitativ funktionieren oder ob sich „Inkonsistenzen“ entwickelt haben. Continuous Testing steht hierbei für eine kontinuierliche Qualitätssicherung durch permanente Tests zur Überprüfung der Konsistenz der Antworten, Stabilität der Gesprächsstruktur und Zusammenspiel von Gesprächsführung und Prozesslogik nach jeder Anpassung.

Die Systemtests analysieren die technische Infrastruktur der EIKI® Plattform in einer realen Zielumgebung und im vorgesehenen Setup. Geprüft werden insbesondere:

• die Synchronisation von den einzelnen Systemkomponenten, wie Voice-Modul, Wissensbasis/RAG, Prozesslogik etc.
• ob die Schnittstellen zu CRM-, ERP-, SAP- oder anderen Systemen wie gewünscht funktionieren
• ggf. Reaktion auf potenzielle Schnittstellenprobleme
• die Datenübergabe und -verarbeitung
• Reaktionszeiten & Time-out-Verhalten
• Mandanten- und Use-Case-Trennung, etc.

Beim Double-Blind-Test wird die Dialogführung der KI im direkten Vergleich mit einem menschlichen Gespräch gesetzt. Hierbei werden sowohl reale als auch KI-basierte Gespräche in zwei unabhängigen Testgruppen durchgeführt und bewertet, ohne dass die Teilnehmenden wissen, welche Variante sie erleben. Dabei sollen insbesondere die Verständlichkeit, Natürlichkeit und Konsistenz der Gesprächsstruktur, die wahrgenommene fachliche Kompetenz, das Rollenverständnis der KI und der Umgang mit Einwänden analysiert werden sowie auch das Vertrauen im Dialog. Auf der Basis dieses Verfahrens können Qualitätsunterschiede erkannt und Verzerrungen reduziert werden.

Bei diesem Vorgehen kommt die Telefon-KI in einem kontrollierten Pilotbetrieb zum Einsatz, wobei echte Interaktionen mit einem begrenzten Nutzerpool betrachtet werden. Beim Field Test wird nicht nur die Funktionalität der KI getestet, sondern primär auch dessen Akzeptanz im echten Nutzungsverhalten und der Deckung der realen Gesprächsmuster mit dem erwarteten Gesprächsdesign. Darüber hinaus werden Abbruchpunkte, typische bzw. häufige Nutzeranfragen, Akzeptanzsignale, Verständnisschwächen und der richtige Zeitpunkt zur Übergabe an einen menschlichen Ansprechpartner überprüft. Anschließend erfolgt eine schrittweise Erweiterung des Roll-outs.

Mithilfe von Stress-Tests wird die Systemstabilität unter intensiver Nutzung geprüft. Die KI wird bewusst Lastspitzen ausgesetzt. Außerdem werden komplexe Anfragen und potenzielle Fehlerzustände simuliert, um mögliche Schwachstellen zu identifizieren und zu beheben, bevor sie unerwartet im Live-Betrieb auftreten. Geprüft werden unter anderem die

• Systemreaktion bei Ressourcenengpässen
• Stabilität der Gesprächsführung bei gleichzeitigen und komplexen Anfragen
• Robustheit der Prozesskette unter hoher Belastung
• Performance von EIKI® unter Volllast
• Skalierungsfähigkeit
• Priorisierung & Behebung von Fehlern

Der DSGVO Test prüft kontinuierlich die Einhaltung von datenschutzrechtlichen Anforderungen und der im Setup definierten Datenschutzparameter. Dies umfasst insbesondere vereinbarte Konfigurationen bezüglich Audio/Transkripten, Löschfristen, Zugriffskonzepten, sowie Zweckbindung. Darüber hinaus werden die Datenflüsse zwischen den Systemkomponenten sowie angebundenen Drittsystemen permanent kontrolliert, sodass geprüft und sichergestellt wird, dass die Daten ausschließlich über klar definierte und abgesicherte Schnittstellen übertragen werden. Des Weiteren findet eine Analyse der Logging- und Protokollierungsmechanismen statt, sodass eine auditierbare und nachvollziehbare Verarbeitung von personenbezogenen Daten ermöglicht wird.

Im Transparenz-Test wird identifiziert, ob die KI sich auch zu Beginn des Gesprächs als solche ausgibt und transparent ihre Rolle im Gespräch offenlegt. So wird sichergestellt, dass für den Anrufer von Anfang an verständlich ist, dass er mit einem digitalen System interagiert und in welchem Verantwortungsrahmen das Gespräch geführt wird. Ergänzend wird geprüft, ob weitere Prozesse, wie die Übergabe an einen menschlichen Ansprechpartner bei Bedarf oder die Verarbeitung von Daten verständlich für den Anrufer kommuniziert werden.

Der Fake-Test richtet sich primär darauf aus, ob die Telefon-KI potenzielle Manipulationsversuche durch fremde KIs bzw. andere Externe erkennt und wie sie diese handhabt. Es dient der Prüfung, wie EIKI® auf irreführende Anfragen, externe Einflüsse oder unerwartete Handlungen reagiert:

• Werden bei „Trickfragen“ die definierten Guardrails eingehalten?
• Bleibt die Rollenlogik stabil bzw. konsistent?
• Widersetzt sich die KI einer Aufforderung, die außerhalb des vorher formulierten Handlungsrahmens liegt?
• Identifiziert die Telefon-KI potenzielle Versuche der Prompt-Injection bzw. Versuche, interne Entscheidungsregeln zu umgehen?
• Wird der Anrufer bei Unsicherheiten erfolgreich an einen menschlichen Mitarbeiter weitergeleitet?
• Bleibt die Argumentationsstruktur auch unter (negativer) Einflussnahme regelkonform?