Tester votre AI Voice Agent à l’aide de simulations

Les simulations vous permettent de tester le comportement de votre AI Voice Agent dans des situations réelles avant qu’il ne parle à un seul client. Vous décrivez un scénario d’appel et ce qui constitue une conversation réussie, puis Aircall lance des conversations simulées entre un appelant incarné par une IA et votre agent. Chaque conversation est ensuite évaluée selon vos critères de réussite, afin que vous puissiez voir précisément ce que votre agent fait bien et ce qui doit être ajusté.

Cet article explique ce que sont les simulations, leur intérêt, et comment créer des scénarios, lancer des simulations et consulter les résultats.

Qu’est-ce qu’une simulation ?

Une simulation est une reproduction textuelle d’un appel. Il ne s’agit pas d’un véritable appel téléphonique et aucun contenu audio n’est utilisé. Une IA joue le rôle d’un appelant et converse avec votre AI Voice Agent, échange après échange, comme le ferait un véritable appelant.

Votre agent répond en utilisant sa configuration réelle, notamment son script d’appel, ses sources de connaissances, ses questions de prise en charge, ses règles de transfert d’appel et ses actions d’IA. La simulation reflète donc le comportement réel de votre agent lors d’un appel.

Chaque simulation se déroule en trois étapes :

1. Définir le scénario : décrivez qui appelle, pourquoi et ce que l’agent doit accomplir pour que la conversation soit réussie.
2. Lancer la conversation : un appelant simulé parle à votre AI Voice Agent et reste dans son rôle jusqu’à la fin de la conversation.
3. Évaluer le résultat : une IA chargée de l’évaluation examine la conversation au regard de chaque critère de réussite et explique son verdict à l’aide d’éléments tirés du document transcrit / transcription et des éventuelles actions d’IA effectuées par l’agent.

Pourquoi lancer des simulations ?

Les AI Voice Agents reposent sur de grands modèles de langage (LLM), ce qui signifie qu’ils peuvent répondre légèrement différemment d’une conversation à l’autre. Un seul appel de test manuel ne montre qu’un résultat possible. Les simulations vous aident à :

• Repérer les problèmes avant vos clients : voyez comment votre agent gère une situation avant sa mise en service.
• Valider les modifications en toute sécurité : testez les changements apportés à votre script d’appel, à vos sources de connaissances ou à vos actions d’IA et vérifiez qu’ils fonctionnent comme prévu.
• Éviter les régressions : relancez vos scénarios enregistrés après chaque modification pour vous assurer que ce qui fonctionnait auparavant fonctionne toujours.
• Tester les situations difficiles : vérifiez comment votre agent gère les appelants mécontents, les demandes peu claires ou les questions auxquelles il ne devrait pas répondre.
• Mesurer la régularité : lancez plusieurs fois le même scénario pour voir si votre agent parvient systématiquement au bon résultat.

Coût et limites d’utilisation

• Coût : les simulations sont gratuites.
• Minutes d’appel : les simulations sont textuelles et ne sont pas décomptées de vos minutes d’appel.
• Limite quotidienne : votre entreprise peut lancer jusqu’à 100 conversations simulées par jour, une limite commune à tous les utilisateurs et à tous les AI Voice Agents.
• Scénarios par lancement : vous pouvez lancer un scénario à la fois, avec plusieurs itérations de ce scénario.

Accéder aux simulations

1. Dans votre tableau de bord Aircall, accédez à AI Voice Agent et sélectionnez l’agent que vous souhaitez tester.
2. Dans le menu de gauche, sous Déployer, sélectionnez Simulations.
3. L’onglet Scénarios répertorie tous les scénarios enregistrés pour cet agent, ainsi que le nombre de critères de réussite et la date du dernier enregistrement de chacun.

Créer des scénarios

Un scénario est un cas de test réutilisable pour votre agent. Il décrit ce que l’appelant fera et ce qu’une conversation réussie devrait permettre d’accomplir. Les scénarios sont enregistrés pour l’agent : vous pouvez ainsi les modifier, les réutiliser et les relancer chaque fois que vous apportez des modifications.

Chaque scénario comprend :

• Critères de réussite : ce que l’agent doit faire pour que le scénario soit réussi, par exemple « L’appelant est transféré au service de facturation. »
• Motif de l’appel : ce que souhaite l’appelant, par exemple « L’appelant veut savoir comment obtenir le remboursement de sa commande. »
• Appelant simulé (facultatif) : le comportement de l’appelant, notamment sa façon de parler et son état émotionnel, ainsi que les renseignements qu’il fournira si on les lui demande, comme un numéro de compte.

Vous pouvez créer des scénarios de deux façons : en les rédigeant vous-même ou en les générant avec l’IA.

Option 1 : créer un scénario manuellement

Utilisez cette option lorsque vous savez déjà exactement ce que vous souhaitez tester.

1. Dans l’onglet Scénarios, sélectionnez Créer un scénario.
2. Saisissez un nom de scénario, par exemple « Demande de remboursement ».
3. Ajoutez vos critères de réussite. Sélectionnez + pour ajouter plusieurs critères.
4. Décrivez le motif de l’appel.
5. Si vous le souhaitez, définissez le correspondant simulé :
   • Façon de parler : par exemple « Parle vite, interrompt souvent ».
   • État émotionnel : par exemple « Confus ».
   • Informations à fournir par le correspondant : informations que le correspondant donnera lorsque l’agent les lui demandera, comme un numéro de compte ou de commande. Sélectionnez + pour ajouter d’autres informations.
6. Si vous le souhaitez, développez Contexte supplémentaire pour ajouter des informations comme le numéro de téléphone du correspondant ou le numéro de téléphone Aircall.
7. Sélectionnez Enregistrer le scénario.

Option 2 : générer des scénarios avec l’IA

Utilisez cette option pour créer rapidement un ensemble de cas de test. L’IA génère des scénarios à partir de la configuration de votre agent, notamment son script d’appel, ses règles de transfert, ses questions de collecte d’informations, ses actions IA et ses sources de connaissances. Elle génère également les critères de réussite de chaque scénario.

1. Dans l’onglet Scénarios, sélectionnez Créer avec l’IA.
2. Choisissez le nombre de scénarios à générer.
3. Si vous le souhaitez, ajoutez des instructions pour orienter les scénarios vers ce que vous souhaitez tester, par exemple « Se concentrer sur les correspondants mécontents qui contestent un prélèvement » ou « Demander un numéro de commande ».
4. Sélectionnez Préparer les scénarios.
5. Examinez les scénarios générés. Chacun indique son type et ses critères de réussite. Développez un scénario pour voir tous ses critères.
6. Sélectionnez Enregistrer les scénarios pour les ajouter à votre liste de scénarios.

Les scénarios générés couvrent différents types de situations afin de vous donner une vue d’ensemble de votre agent :

• Idéaux : des conversations simples qui établissent une base de référence.
• Standard : des conversations couvrant les processus et les points de décision configurés pour votre agent.
• Cas particuliers : des demandes qui sortent du cadre de ce que votre agent est configuré pour traiter, afin de vérifier qu’il réagit de manière appropriée.

Rédiger de bons critères de réussite

L’évaluateur IA vérifie chaque critère de réussite indépendamment : des critères clairs donnent donc des résultats clairs.

• Un seul résultat par critère : au lieu de « L’agent recueille le numéro de commande et transfère l’appel au service de facturation », séparez ces deux résultats en deux critères.
• Décrivez un comportement observable : « L’agent confirme au correspondant la nouvelle date et l’heure de livraison » est plus facile à évaluer que « L’agent est serviable ».
• Incluez les actions lorsque c’est pertinent : « L’agent recherche le contact avant d’en créer un nouveau » permet de vérifier ce que l’agent a réellement fait, et pas seulement ce qu’il a dit.

Lancer une simulation

1. Dans l’onglet Scénarios, trouvez le scénario à tester et sélectionnez Lancer une simulation.
2. Dans le panneau Lancer une simulation, saisissez un nom de simulation, par exemple « Première série de tests ».
3. Sélectionnez la version de l’agent IA à tester : la dernière version publiée ou votre brouillon actuel.
4. Choisissez si vous souhaitez utiliser de véritables actions API. Ce paramètre est désactivé par défaut, ce qui signifie que les actions API sont simulées. Consultez la section « Actions API simulées ou réelles » ci-dessous.
5. Définissez le nombre d’itérations, c’est-à-dire le nombre de conversations à lancer pour ce scénario.
6. Sélectionnez Lancer une simulation.

Votre simulation apparaît en haut de l’onglet Historique des exécutions, et les résultats s’affichent à mesure que chaque conversation se termine.

Actions API simulées ou réelles

Si votre agent utilise des actions IA qui font appel à des systèmes externes, comme la recherche ou la création d’un contact dans votre CRM, vous pouvez choisir le comportement de ces actions pendant la simulation.

Pourquoi effectuer plusieurs itérations ?

Comme les AI Voice Agents reposent sur un grand modèle de langage (LLM), un même scénario peut se dérouler légèrement différemment à chaque fois. L’agent peut formuler une question autrement, poser les questions dans un ordre différent ou suivre un autre chemin au fil de la conversation.

Effectuer plusieurs itérations d’un même scénario vous permet de voir les différentes conversations que votre agent pourrait avoir et de vérifier dans quelle mesure il obtient systématiquement le bon résultat. Un scénario qui réussit une fois peut échouer la fois suivante. Plusieurs itérations vous aident à le repérer avant vos clients.

Consulter les résultats des simulations

Accédez à l’onglet Historique des exécutions pour voir toutes les simulations précédentes de cet agent. Chaque simulation indique le nombre d’itérations, la version de l’agent testée et le nombre d’itérations réussies. Sélectionnez une simulation pour ouvrir son Rapport de simulation.

Le rapport de simulation

La section Vue d’ensemble résume les performances de l’agent sur l’ensemble des itérations :

• Taux de réussite du scénario : pourcentage d’itérations ayant satisfait à tous les critères de réussite.
• Durée moyenne des conversations : nombre moyen de tours de parole et durée moyenne par conversation.
• Critère au score le plus bas : critère de réussite avec lequel votre agent a eu le plus de difficultés. C’est généralement le meilleur point de départ pour apporter des améliorations.
• Critères de réussite : répartition indiquant combien d’itérations ont satisfait à chaque critère.

Sous la vue d’ensemble, la section Itérations du scénario répertorie chaque conversation. Chaque itération est évaluée selon vos critères de réussite et reçoit l’un des résultats suivants :

• Réussie : l’agent a satisfait à tous les critères de réussite.
• Partiellement réussie : l’agent a satisfait à certains critères de réussite, mais pas à tous.
• Échouée : l’agent n’a pas satisfait aux critères de réussite.

Utilisez le menu déroulant pour filtrer les itérations par résultat.

Examiner la transcription d’une conversation

Sélectionnez Voir la transcription pour une itération afin de voir exactement ce qui s’est passé. Le panneau de transcription affiche :

• Le verdict pour chaque critère de réussite, accompagné d’une explication indiquant pourquoi il a été satisfait ou non.
• L’intégralité de la conversation, tour de parole par tour de parole, entre l’appelant simulé et votre agent.
• Les actions IA effectuées par l’agent, que vous pouvez développer pour voir les données envoyées et reçues.

Bonnes pratiques

• Commencez par des scénarios générés par l’IA : générez un premier ensemble de scénarios pour couvrir rapidement les principaux processus de votre agent, puis ajoutez manuellement des scénarios adaptés aux situations propres à votre entreprise.
• Effectuez plusieurs itérations : exécutez chaque scénario plusieurs fois pour vérifier la régularité du comportement de votre agent.
• Testez votre brouillon avant de le publier : exécutez vos scénarios clés sur votre brouillon après chaque modification afin de détecter les régressions avant qu’elles n’affectent vos clients.
• Commencez par des actions API simulées : utilisez des actions simulées pour apporter rapidement des améliorations, puis passez aux actions API réelles pour une dernière vérification de bout en bout de vos intégrations.
• Fournissez des informations complètes sur l’appelant : lorsque vous utilisez des actions API réelles, incluez tous les champs nécessaires à l’action afin que les résultats reflètent les performances réelles de votre agent.
• Concentrez-vous sur le critère au score le plus bas : utilisez le rapport pour trouver les points sur lesquels votre agent rencontre le plus de difficultés, examinez les transcriptions correspondantes et ajustez votre configuration.