Ihren AI Voice Agent mit Simulationen testen

Simulationen ermöglichen es Ihnen, zu testen, wie sich Ihr AI Voice Agent in realen Situationen verhält, bevor er mit einem Kunden spricht. Sie beschreiben ein Anrufszenario und legen fest, wie eine erfolgreiche Konversation aussehen soll. Aircall führt dann simulierte Konversationen zwischen einer von KI gespielten anrufenden Person und Ihrem Agenten durch. Anschließend wird jede Konversation anhand Ihrer Erfolgskriterien bewertet. So sehen Sie genau, wo Ihr Agent gut abschneidet und wo Anpassungen nötig sind.

In diesem Artikel erfahren Sie, was Simulationen sind, warum sie wichtig sind und wie Sie Szenarien erstellen, Simulationen durchführen und die Ergebnisse auswerten.

Was ist eine Simulation?

Eine Simulation ist die textbasierte Nachbildung eines Anrufs. Sie ist kein echter Telefonanruf und enthält kein Audio. Stattdessen übernimmt eine KI die Rolle einer anrufenden Person und führt Zug um Zug eine Konversation mit Ihrem AI Voice Agent, genau wie eine echte anrufende Person.

Ihr Agent antwortet auf Grundlage seiner tatsächlichen Konfiguration, einschließlich seines Anrufskripts, seiner Wissensquellen, Fragen zur Erfassung von Angaben, Anrufweiterleitungsregeln und KI-Aktionen. Die Simulation bildet damit ab, wie sich Ihr Agent bei einem echten Anruf verhalten würde.

Jede Simulation umfasst drei Phasen:

1. Szenario definieren: Beschreiben Sie, wer anruft, warum die Person anruft und was der Agent erreichen muss, damit die Konversation erfolgreich ist.
2. Konversation durchführen: Eine simulierte anrufende Person spricht mit Ihrem AI Voice Agent und bleibt bis zum Ende der Konversation in ihrer Rolle.
3. Ergebnis bewerten: Eine KI-Bewertung prüft die Konversation anhand jedes Erfolgskriteriums und begründet ihr Urteil mit Belegen aus der Callcenter-Analyse und den KI-Aktionen, die der Agent ausgeführt hat.

Warum Simulationen durchführen?

AI Voice Agents basieren auf großen Sprachmodellen (LLMs). Deshalb können sie von einer Konversation zur nächsten leicht unterschiedlich reagieren. Ein einzelner manueller Testanruf zeigt nur ein mögliches Ergebnis. Simulationen helfen Ihnen dabei:

• Probleme vor Ihren Kunden erkennen: Sehen Sie, wie Ihr Agent eine Situation handhabt, bevor er live geht.
• Änderungen sicher überprüfen: Testen Sie Änderungen an Ihrem Anrufskript, Ihren Wissensquellen oder KI-Aktionen und prüfen Sie, ob sie wie erwartet funktionieren.
• Rückschritte vermeiden: Führen Sie Ihre gespeicherten Szenarien nach jeder Änderung erneut aus, um sicherzustellen, dass bisher funktionierende Abläufe weiterhin funktionieren.
• Schwierige Situationen testen: Prüfen Sie, wie Ihr Agent mit frustrierten anrufenden Personen, unklaren Anliegen oder Fragen umgeht, die er nicht beantworten sollte.
• Konsistenz messen: Führen Sie dasselbe Szenario mehrfach aus, um zu sehen, wie zuverlässig Ihr Agent das richtige Ergebnis erzielt.

Kosten und Nutzungslimits

• Kosten: Die Durchführung von Simulationen ist kostenlos.
• Gesprächsminuten: Simulationen sind textbasiert und werden nicht auf Ihre Gesprächsminuten angerechnet.
• Tageslimit: Ihr Unternehmen kann bis zu 100 simulierte Konversationen pro Tag durchführen. Dieses Limit gilt gemeinsam für alle Benutzer und alle AI Voice Agents.
• Szenarien pro Durchlauf: Sie können jeweils ein Szenario mit mehreren Wiederholungen dieses Szenarios ausführen.

Simulationen aufrufen

1. Gehen Sie in Ihrem Aircall Dashboard zu AI Voice Agent und wählen Sie den Agenten aus, den Sie testen möchten.
2. Wählen Sie im linken Menü unter Bereitstellen die Option Simulationen aus.
3. Auf der Registerkarte Szenarien werden alle für diesen Agenten gespeicherten Szenarien angezeigt, einschließlich der Anzahl der Erfolgskriterien und des Zeitpunkts, zu dem jedes Szenario zuletzt gespeichert wurde.

Szenarien erstellen

Ein Szenario ist ein wiederverwendbarer Testfall für Ihren Agenten. Es beschreibt, was die anrufende Person tun wird und was eine erfolgreiche Konversation erreichen soll. Szenarien werden für den Agenten gespeichert. Sie können sie daher bearbeiten, wiederverwenden und nach Änderungen erneut ausführen.

Jedes Szenario enthält:

• Erfolgskriterien: Was der Agent tun muss, damit das Szenario als erfolgreich gilt, zum Beispiel: „Die anrufende Person wird an die Abrechnungsabteilung weitergeleitet.“
• Anrufgrund: Was die anrufende Person möchte, zum Beispiel: „Die anrufende Person möchte wissen, wie sie eine Rückerstattung für ihre Bestellung erhalten kann.“
• Simulierte anrufende Person (optional): Wie sich die anrufende Person verhält, einschließlich ihres Sprechstils und ihrer Gefühlslage, sowie die Angaben, die sie auf Nachfrage macht, etwa eine Account-Nummer.

Sie können Szenarien auf zwei Arten erstellen: selbst schreiben oder mithilfe von KI generieren.

Option 1: Ein Szenario manuell erstellen

Verwenden Sie diese Option, wenn Sie bereits genau wissen, was Sie testen möchten.

1. Wählen Sie auf der Registerkarte Szenarien die Option Szenario erstellen.
2. Geben Sie einen Namen für das Szenario ein, zum Beispiel „Rückerstattungsanfrage“.
3. Fügen Sie Ihre Erfolgskriterien hinzu. Wählen Sie +, um mehrere Kriterien hinzuzufügen.
4. Beschreiben Sie den Anrufgrund.
5. Definieren Sie optional den simulierten Anrufer:
   • Sprechweise: zum Beispiel „Spricht schnell, unterbricht häufig“.
   • Emotionale Verfassung: zum Beispiel „Verwirrt“.
   • Angaben, die der Anrufer machen soll: Informationen, die der Anrufer angibt, wenn der Agent danach fragt, etwa eine Accountnummer oder Bestellnummer. Wählen Sie +, um weitere Angaben hinzuzufügen.
6. Klappen Sie optional Zusätzlicher Kontext auf, um Angaben wie die Telefonnummer des Anrufers oder die Aircall-Telefonnummer hinzuzufügen.
7. Wählen Sie Szenario speichern.

Option 2: Szenarien mit KI erstellen

Mit dieser Option erstellen Sie schnell eine Reihe von Testfällen. Die KI erstellt Szenarien auf Grundlage der Konfiguration Ihres Agenten, etwa seines Anrufskripts, seiner Weiterleitungsregeln, seiner Fragen zur Erfassung von Angaben, seiner KI-Aktionen und seiner Wissensquellen. Sie erstellt auch die Erfolgskriterien für jedes Szenario.

1. Wählen Sie auf der Registerkarte Szenarien die Option Mit KI erstellen.
2. Wählen Sie die gewünschte Anzahl der Szenarien aus.
3. Fügen Sie optional Anweisungen hinzu, um die Szenarien auf das zu konzentrieren, was Sie testen möchten, zum Beispiel „Konzentriere dich auf frustrierte Anrufer, die eine Abbuchung anfechten“ oder „Frage nach einer Bestellnummer“.
4. Wählen Sie Szenarien entwerfen.
5. Prüfen Sie die erstellten Szenarien. Für jedes werden der Typ und die Erfolgskriterien angezeigt. Klappen Sie ein Szenario auf, um alle zugehörigen Kriterien zu sehen.
6. Wählen Sie Szenarien speichern, um sie Ihrer Szenarienliste hinzuzufügen.

Die erstellten Szenarien decken unterschiedliche Situationen ab, damit Sie ein umfassendes Bild von Ihrem Agenten erhalten:

• Ideal: unkomplizierte Konversationen, die eine Vergleichsgrundlage schaffen.
• Standard: Konversationen, die die konfigurierten Abläufe und Entscheidungspunkte Ihres Agenten abdecken.
• Grenzfälle: Anfragen außerhalb dessen, wofür Ihr Agent konfiguriert ist, um zu prüfen, ob er angemessen reagiert.

Gute Erfolgskriterien formulieren

Die KI-Auswertung prüft jedes Erfolgskriterium einzeln. Klare Kriterien führen daher zu klaren Ergebnissen.

• Ein Ergebnis pro Kriterium: Teilen Sie „Der Agent erfasst die Bestellnummer und leitet den Anruf an die Abrechnung weiter“ stattdessen in zwei Kriterien auf.
• Beobachtbares Verhalten beschreiben: „Der Agent bestätigt dem Anrufer das neue Lieferdatum und die neue Lieferzeit“ lässt sich leichter bewerten als „Der Agent ist hilfreich“.
• Aktionen bei Bedarf einbeziehen: „Der Agent sucht nach dem Kontakt, bevor er einen neuen erstellt“ prüft, was der Agent tatsächlich getan hat, nicht nur, was er gesagt hat.

Eine Simulation ausführen

1. Suchen Sie auf der Registerkarte Szenarien das Szenario, das Sie testen möchten, und wählen Sie Simulation ausführen.
2. Geben Sie im Bereich Simulation ausführen einen Simulationsnamen ein, zum Beispiel „Erste Testreihe“.
3. Wählen Sie die zu testende KI-Agentenversion aus: die zuletzt veröffentlichte Version oder Ihren aktuellen Entwurf.
4. Legen Sie fest, ob Sie Echte API-Aktionen verwenden möchten. Diese Einstellung ist standardmäßig deaktiviert. Das bedeutet, dass API-Aktionen simuliert werden. Weitere Informationen finden Sie unten unter „Simulierte und echte API-Aktionen“.
5. Legen Sie die Anzahl der Durchläufe fest, also die Anzahl der Konversationen, die für dieses Szenario ausgeführt werden sollen.
6. Wählen Sie Simulation ausführen.

Ihre Simulation erscheint oben auf der Registerkarte Ausführungsverlauf. Die Ergebnisse werden angezeigt, sobald die jeweilige Konversation abgeschlossen ist.

Simulierte und echte API-Aktionen

Wenn Ihr Agent KI-Aktionen verwendet, die externe Systeme aufrufen, etwa um einen Kontakt in Ihrem CRM zu suchen oder zu erstellen, können Sie festlegen, wie sich diese Aktionen während der Simulation verhalten.

Warum mehrere Durchläufe ausführen?

Da AI Voice Agent auf einem LLM basieren, kann dasselbe Szenario jedes Mal etwas anders ablaufen. Der Agent formuliert eine Frage möglicherweise anders, stellt Fragen in einer anderen Reihenfolge oder führt das Gespräch auf einem anderen Weg.

Wenn Sie dasselbe Szenario mehrmals durchlaufen lassen, sehen Sie, welche unterschiedlichen Konversationen Ihr Agent führen könnte und wie zuverlässig er das richtige Ergebnis erzielt. Ein Szenario, das einmal erfolgreich ist, muss nicht jedes Mal erfolgreich sein. Mehrere Durchläufe helfen Ihnen, solche Probleme zu erkennen, bevor Ihre Kunden darauf stoßen.

Simulationsergebnisse anzeigen

Auf der Registerkarte Durchlaufverlauf sehen Sie alle bisherigen Simulationen für diesen Agenten. Jede Simulation zeigt die Anzahl der Durchläufe, die getestete Agentenversion und die Anzahl der erfolgreichen Durchläufe. Wählen Sie eine Simulation aus, um ihren Simulationsbericht zu öffnen.

Der Simulationsbericht

Im Abschnitt Übersicht wird zusammengefasst, wie der Agent über alle Durchläufe hinweg abgeschnitten hat:

• Erfolgsquote des Szenarios: Der Prozentsatz der Durchläufe, die alle Erfolgskriterien erfüllt haben.
• Durchschnittliche Gesprächslänge: Die durchschnittliche Anzahl der Gesprächsbeiträge und die durchschnittliche Dauer pro Gespräch.
• Kriterium mit der niedrigsten Bewertung: Das Erfolgskriterium, mit dem Ihr Agent die größten Schwierigkeiten hatte. Hier setzen Sie Verbesserungen in der Regel am besten zuerst an.
• Erfolgskriterien: Eine Aufschlüsselung, wie viele Durchläufe das jeweilige Kriterium erfüllt haben.

Unter der Übersicht sind im Abschnitt Szenariodurchläufe die einzelnen Gespräche aufgeführt. Jeder Durchlauf wird anhand Ihrer Erfolgskriterien bewertet und erhält eines der folgenden Ergebnisse:

• Bestanden: Der Agent hat alle Erfolgskriterien erfüllt.
• Teilweise bestanden: Der Agent hat einige, aber nicht alle Erfolgskriterien erfüllt.
• Nicht bestanden: Der Agent hat die Erfolgskriterien nicht erfüllt.

Filtern Sie die Durchläufe über das Dropdown-Menü nach Ergebnis.

Callcenter-Analysen eines Gesprächs prüfen

Wählen Sie bei einem beliebigen Durchlauf Callcenter-Analysen anzeigen aus, um genau zu sehen, was passiert ist. Der Bereich mit den Callcenter-Analysen zeigt Folgendes:

• Die Bewertung für jedes Erfolgskriterium, mit einer Erklärung, warum es erfüllt oder nicht erfüllt wurde.
• Das vollständige Gespräch, Beitrag für Beitrag, zwischen dem simulierten Anrufer und Ihrem Agenten.
• Die vom Agenten ausgeführten KI-Aktionen, die Sie aufklappen können, um die gesendeten und zurückgegebenen Details zu sehen.

Bewährte Vorgehensweisen

• Mit KI-generierten Szenarien beginnen: Generieren Sie zunächst eine Reihe von Szenarien, um die wichtigsten Abläufe Ihres Agenten schnell abzudecken. Ergänzen Sie anschließend manuell erstellte Szenarien für Situationen, die für Ihr Unternehmen spezifisch sind.
• Mehrere Durchläufe ausführen: Lassen Sie jedes Szenario mehrmals durchlaufen, um zu sehen, wie zuverlässig sich Ihr Agent verhält.
• Den Entwurf vor der Veröffentlichung testen: Testen Sie Ihre wichtigsten Szenarien nach jeder Änderung anhand Ihres Entwurfs, um Regressionen zu erkennen, bevor sie Ihre Kunden betreffen.
• Mit simulierten API-Aktionen beginnen: Verwenden Sie simulierte Aktionen, um schnell Anpassungen vorzunehmen. Wechseln Sie dann zu echten API-Aktionen, um Ihre Integrationen abschließend von Anfang bis Ende zu prüfen.
• Vollständige Angaben zum Anrufer bereitstellen: Geben Sie bei echten API-Aktionen alle für die Aktion erforderlichen Felder an, damit die Ergebnisse die tatsächliche Leistung Ihres Agenten widerspiegeln.
• Auf das Kriterium mit der niedrigsten Bewertung konzentrieren: Ermitteln Sie anhand des Berichts, wo Ihr Agent die größten Schwierigkeiten hat, prüfen Sie die zugehörigen Callcenter-Analysen und passen Sie Ihre Konfiguration an.