Testare l'Agente vocale IA con le simulazioni

Le simulazioni ti permettono di verificare come si comporterà il tuo Agente vocale IA in situazioni reali, prima ancora che parli con un cliente. Descrivi uno scenario di chiamata e come dovrebbe svolgersi una conversazione riuscita; Aircall avvia quindi conversazioni simulate tra un chiamante interpretato dall'IA e il tuo agente. Ogni conversazione viene poi valutata in base ai tuoi criteri di successo, così puoi vedere esattamente dove l'agente funziona bene e dove occorre apportare modifiche.

Questo articolo spiega cosa sono le simulazioni, perché sono importanti e come creare scenari, eseguire simulazioni e leggere i risultati.

Che cos'è una simulazione?

Una simulazione è la riproduzione testuale di una chiamata. Non è una vera telefonata e non prevede audio. Un'IA interpreta invece il ruolo di un chiamante e conversa con il tuo Agente vocale IA, uno scambio alla volta, proprio come farebbe una persona reale.

L'agente risponde in base alla sua configurazione effettiva, che comprende il copione della chiamata, le fonti di conoscenza, le domande iniziali, le regole di trasferimento delle chiamate e le azioni IA. La simulazione riflette quindi il comportamento che l'agente avrebbe durante una chiamata reale.

Ogni simulazione si svolge in tre fasi:

1. Definisci lo scenario: descrivi chi chiama, perché chiama e cosa deve ottenere l'agente affinché la conversazione sia considerata riuscita.
2. Esegui la conversazione: un chiamante simulato parla con il tuo Agente vocale IA e rimane nel personaggio fino alla fine della conversazione.
3. Valuta il risultato: un valutatore IA esamina la conversazione rispetto a ciascun criterio di successo e motiva il suo giudizio usando le informazioni della trascrizione e le eventuali azioni IA eseguite dall'agente.

Perché eseguire simulazioni?

Gli Agenti vocali IA si basano su modelli linguistici di grandi dimensioni (LLM), quindi le loro risposte possono variare leggermente da una conversazione all'altra. Una singola chiamata di prova manuale mostra solo uno dei possibili risultati. Le simulazioni ti aiutano a:

• Individuare i problemi prima dei clienti: verifica come l'agente gestisce una situazione prima di renderlo operativo.
• Convalidare le modifiche in sicurezza: prova le modifiche al copione della chiamata, alle fonti di conoscenza o alle azioni IA e verifica che funzionino come previsto.
• Prevenire le regressioni: riesegui gli scenari salvati dopo ogni modifica per assicurarti che ciò che funzionava continui a funzionare.
• Mettere alla prova le situazioni difficili: verifica come l'agente gestisce chiamanti frustrati, richieste poco chiare o domande a cui non dovrebbe rispondere.
• Misurare la coerenza: esegui più volte lo stesso scenario per vedere con quale affidabilità l'agente raggiunge il risultato corretto.

Costi e limiti di utilizzo

• Costo: l'esecuzione delle simulazioni è gratuita.
• Minuti di chiamata: le simulazioni sono testuali e non vengono conteggiate nei minuti di chiamata.
• Limite giornaliero: la tua azienda può eseguire fino a 100 conversazioni simulate al giorno, condivise tra tutti gli utenti e tutti gli Agenti vocali IA.
• Scenari per esecuzione: puoi eseguire uno scenario alla volta, con più iterazioni dello stesso scenario.

Accedere alle simulazioni

1. Nel Dashboard Aircall, vai su Agente vocale IA e seleziona l'agente che vuoi testare.
2. Nel menu a sinistra, sotto Distribuisci, seleziona Simulazioni.
3. La scheda Scenari elenca tutti gli scenari salvati per questo agente, indicando il numero di criteri di successo e la data dell'ultimo salvataggio di ciascuno.

Creare scenari

Uno scenario è un caso di test riutilizzabile per il tuo agente. Descrive cosa farà il chiamante e cosa dovrebbe ottenere una conversazione riuscita. Gli scenari vengono salvati per l'agente, così puoi modificarli, riutilizzarli e rieseguirli ogni volta che apporti modifiche.

Ogni scenario include:

• Criteri di successo: cosa deve fare l'agente affinché lo scenario sia superato, ad esempio: «Il chiamante viene trasferito al reparto fatturazione».
• Motivo della chiamata: cosa vuole il chiamante, ad esempio: «Il chiamante vuole sapere come ottenere un rimborso per il suo ordine».
• Chiamante simulato (facoltativo): come si comporta il chiamante, compresi il suo modo di parlare e il suo stato emotivo, e i dettagli che fornirà quando gli verranno richiesti, come il numero del mio conto.

Puoi creare scenari in due modi: scrivendoli personalmente oppure generandoli con l'IA.

Opzione 1: creare uno scenario manualmente

Usa questa opzione quando sai già esattamente cosa vuoi testare.

1. Nella scheda Scenari, seleziona Crea scenario.
2. Inserisci un nome per lo Scenario, ad esempio «Richiesta di rimborso».
3. Aggiungi i Criteri di successo. Seleziona + per aggiungere più di un criterio.
4. Descrivi il Motivo della chiamata.
5. Se vuoi, definisci le caratteristiche della Persona che chiama nella simulazione:
   • Stile di conversazione: ad esempio «Parla velocemente, interrompe spesso».
   • Stato emotivo: ad esempio «Confusa».
   • Dettagli che la persona che chiama deve fornire: informazioni che fornirà quando l'agente le richiederà, come il numero del mio conto o un numero d'ordine. Seleziona + per aggiungere altri dettagli.
6. Se vuoi, espandi Contesto aggiuntivo per aggiungere dettagli come il Numero di telefono della persona che chiama o il Numero di telefono Aircall.
7. Seleziona Salva scenario.

Opzione 2: genera scenari con l'IA

Usa questa opzione per creare rapidamente una serie di casi di test. L'IA genera scenari in base alla configurazione dell'agente, come lo script delle chiamate, le regole di trasferimento, le domande iniziali, le Azioni API e le fonti di conoscenza. Genera anche i criteri di successo per ogni scenario.

1. Nella scheda Scenari, seleziona Crea con l'IA.
2. Scegli il Numero di scenari da generare.
3. Se vuoi, aggiungi Istruzioni per concentrare gli scenari su ciò che vuoi testare, ad esempio «Concentrati sulle persone frustrate che contestano un addebito» oppure «Chiedi il numero d'ordine».
4. Seleziona Crea bozze degli scenari.
5. Esamina gli scenari generati. Per ciascuno sono indicati il tipo e i criteri di successo. Espandi uno scenario per visualizzarne tutti i criteri.
6. Seleziona Salva scenari per aggiungerli al tuo elenco di scenari.

Gli scenari generati coprono diversi tipi di situazioni per offrirti una visione completa del tuo agente:

• Ideali: conversazioni semplici che stabiliscono un punto di riferimento.
• Standard: conversazioni che riguardano i flussi di lavoro configurati per l'agente e i punti in cui deve prendere decisioni.
• Casi limite: richieste che esulano da ciò che l'agente è configurato per gestire, per verificare che risponda in modo appropriato.

Come scrivere criteri di successo efficaci

Il valutatore IA verifica ogni criterio di successo separatamente, quindi criteri chiari producono risultati chiari.

• Un risultato per criterio: anziché «L'agente raccoglie il numero d'ordine e trasferisce la chiamata alla Fatturazione», suddividi il risultato in due criteri.
• Descrivi comportamenti osservabili: «L'agente conferma alla persona che chiama la nuova data e l'ora di consegna» è più facile da valutare rispetto a «L'agente è disponibile».
• Includi le azioni quando sono pertinenti: «L'agente cerca il contatto prima di crearne uno nuovo» verifica ciò che l'agente ha effettivamente fatto, non solo ciò che ha detto.

Eseguire una simulazione

1. Nella scheda Scenari, trova lo scenario da testare e seleziona Esegui simulazione.
2. Nel pannello Esegui simulazione, inserisci un Nome della simulazione, ad esempio «Primo gruppo di test».
3. Seleziona la Versione dell'agente IA da testare: l'ultima versione pubblicata oppure la bozza attuale.
4. Scegli se Usare Azioni API reali. Questa impostazione è disattivata per impostazione predefinita: ciò significa che le Azioni API vengono simulate. Consulta la sezione «Azioni API simulate e reali» qui sotto.
5. Imposta il numero di Iterazioni, ovvero il numero di conversazioni da eseguire per questo scenario.
6. Seleziona Esegui simulazione.

La simulazione compare in cima alla scheda Cronologia delle esecuzioni e i risultati vengono visualizzati man mano che ciascuna conversazione termina.

Azioni API simulate e reali

Se il tuo agente usa Azioni API basate sull'IA che interagiscono con sistemi esterni, ad esempio per cercare o creare un contatto nel tuo CRM, puoi scegliere come queste azioni si comportano durante la simulazione.

Perché eseguire più iterazioni?

Poiché gli agenti vocali IA si basano su un modello linguistico di grandi dimensioni (LLM), lo stesso scenario può svolgersi in modo leggermente diverso ogni volta. L'agente potrebbe formulare una domanda in modo diverso, porre domande in un ordine differente o seguire un altro percorso nella conversazione.

Eseguire più iterazioni dello stesso scenario ti permette di vedere la varietà delle conversazioni che l'agente potrebbe avere e con quanta costanza raggiunge il risultato desiderato. Uno scenario che supera il test una volta potrebbe non superarlo sempre: più iterazioni ti aiutano a scoprirlo prima che se ne accorgano i clienti.

Visualizzare i risultati delle simulazioni

Vai alla scheda Cronologia delle esecuzioni per vedere tutte le simulazioni precedenti dell'agente. Ogni simulazione mostra il numero di iterazioni, la versione dell'agente testata e quante iterazioni hanno superato il test. Seleziona una simulazione per aprire il relativo Report della simulazione.

Il report della simulazione

La sezione Panoramica riepiloga le prestazioni dell'agente in tutte le iterazioni:

• Percentuale di scenari superati: la percentuale di iterazioni che hanno soddisfatto tutti i criteri di successo.
• Durata media delle conversazioni: il numero medio di turni di parola e la durata media di ogni conversazione.
• Criterio con il punteggio più basso: il criterio di successo che l'agente ha avuto più difficoltà a soddisfare e da cui, di solito, è meglio partire per migliorarlo.
• Criteri di successo: un dettaglio del numero di iterazioni che hanno soddisfatto ciascun criterio.

Sotto la panoramica, la sezione Iterazioni dello scenario elenca ogni singola conversazione. Ogni iterazione viene valutata in base ai criteri di successo e riceve uno dei seguenti risultati:

• Superata: l'agente ha soddisfatto tutti i criteri di successo.
• Parzialmente superata: l'agente ha soddisfatto alcuni criteri di successo, ma non tutti.
• Non superata: l'agente non ha soddisfatto i criteri di successo.

Usa il menu a discesa per filtrare le iterazioni in base al risultato.

Esaminare la trascrizione di una conversazione

Seleziona Visualizza trascrizione in qualsiasi iterazione per vedere esattamente cosa è successo. Il pannello della trascrizione mostra:

• L'esito per ciascun criterio di successo, con una spiegazione del motivo per cui è stato soddisfatto o meno.
• La conversazione completa, turno per turno, tra il chiamante simulato e l'agente.
• Le azioni IA eseguite dall'agente, che puoi espandere per vedere i dettagli inviati e le risposte ricevute.

Buone pratiche

• Inizia con scenari generati dall'IA: genera un primo gruppo di scenari per coprire rapidamente i principali flussi di lavoro dell'agente, poi aggiungi scenari manuali per le situazioni specifiche della tua attività.
• Esegui più iterazioni: esegui ogni scenario più volte per verificare con quanta costanza si comporta l'agente.
• Testa la bozza prima di pubblicarla: dopo ogni modifica, esegui gli scenari principali sulla bozza per individuare eventuali regressioni prima che incidano sui clienti.
• Inizia con le azioni API simulate: usa le azioni simulate per apportare rapidamente modifiche e ripetere i test, poi passa alle azioni API reali per una verifica finale delle integrazioni dall'inizio alla fine.
• Fornisci tutti i dettagli sul chiamante: quando usi azioni API reali, includi tutti i campi richiesti dall'azione affinché i risultati riflettano le effettive prestazioni dell'agente.
• Concentrati sul criterio con il punteggio più basso: usa il report per individuare le maggiori difficoltà dell'agente, esamina le trascrizioni pertinenti e modifica la configurazione.