Überwachung eines Assistenten
In diesem Abschnitt
Dieser Abschnitt erklärt die verschiedenen Überwachungsfunktionen für Assistenteninteraktionen.
Gesprächsverlauf
Der Gesprächsverlauf eines Assistenten ermöglicht es Ihnen, alle Interaktionen zwischen Endbenutzern und dem Assistenten zu überwachen.
Dieser Bereich ist zugänglich, indem Sie das Menü des Assistenten (die drei Punkte oben rechts auf der Karte) öffnen und Gesprächsverlauf auswählen.
Gesprächsarchiv
Beim Zugriff auf den Bereich können Sie die vollständige Liste der Gespräche innerhalb des angegebenen Zeitraums anzeigen.
Sie können Gespräche filtern nach:
- Benutzer-ID.
- Gesprächs-ID.
- Interaktionskanal.
Für jedes Gespräch werden angezeigt:
- Startdatum und -uhrzeit des Gesprächs.
- Vom Assistenten an den Benutzer gesendete Nachrichten.
- Höflichkeitsantworten (siehe Höflichkeitsantworten und Engagement), die vom Assistenten an den Benutzer gesendet wurden.
- Beantwortete Fragen, d.h. die Anzahl der Benutzerfragen, die eine Antwort erhalten haben (ohne Höflichkeitsantworten)
- Interaktionskanal.
- Live-Chat-Operator (siehe Live Chat), der während des Gesprächs eingegriffen hat.
- Benutzerkontakt, falls während der Interaktion über ein Formular angegeben (siehe Konversationsformulare)
Analysieren eines einzelnen Gesprächs
Durch Auswahl der Option Chat öffnen können Sie das Gesprächstranskript anzeigen.
Oben sehen Sie die Gesprächs-ID und die Quelle, d.h. den Kanal.
Im Transkript befinden sich links in grau die Fragen des Benutzers; rechts in grün die Antworten des Assistenten.
Benutzerfragen
Je nach den vom Assistenten verwendeten Funktionen kann die Benutzerfrage bestimmte Informationen anzeigen.
Wissensbasis
Wenn die Antwort des Assistenten aus der Wissensbasis stammt (siehe Wissensbasis), zeigt das Info-Symbol den Namen des gewinnenden Intents an.
Umformulierte Frage
Wenn die Funktion Frageumformulierung basierend auf Gesprächskontext aktivieren aktiv ist (siehe Generative KI für die Wissensbasis), wird die Benutzerfrage durch ihre umformulierte Version ersetzt, und das Info-Symbol zeigt die ursprüngliche Frage an.
In diesem Fall zeigt das Info-Symbol, selbst wenn die Antwort aus der Wissensbasis stammt, die ursprüngliche Frage des Benutzers an.
Übersetzte Frage
Wenn die Funktion Mehrsprachig aktiv ist, wird die Benutzerfrage durch ihre übersetzte Version in der Basissprache des Assistenten ersetzt (siehe Erstellung eines Assistenten), und das Übersetzungssymbol zeigt die ursprüngliche Frage an.
Assistentenantworten
Je nach den vom Assistenten verwendeten Funktionen können seine Antworten bestimmte Informationen anzeigen.
Antworttyp
Je nach Antworttyp wird ein Code angezeigt:
- WM entspricht der Begrüßungsnachricht (siehe Allgemeine Assistenteneinstellungen)
- QA entspricht einer Antwort aus der Wissensbasis.
- QB entspricht einer Höflichkeitsantwort.
- QG entspricht einer über Generative KI generierten Antwort (siehe Generative KI für die Wissensbasis)
Wenn die generierte Antwort aus der Wissensbasis stammt, wird der QA-Code verwendet.
- SDA entspricht einer Antwort von Smart Document Access (siehe Smart Document Access)
- FORM entspricht einer Antwort oder Frage aus einem Formular (siehe Konversationsformulare)
Übersetzte Antwort
Wenn die Funktion Mehrsprachig aktiv ist, zeigt das Übersetzungssymbol die tatsächliche Antwort an, die dem Benutzer gegeben wurde.
Smart Document Access
Wenn die Antwort von Smart Document Access stammt, wird unten die Option Dokumente anzeigen verfügbar sein.
Wenn ausgewählt, werden die zur Generierung der Antwort verwendeten Dokumente angezeigt.
Wenn die Funktion Die Option 'Dokumente anzeigen' nach der Antwort nicht anzeigen aktiv ist, wird angezeigt, dass Dokumente während der tatsächlichen Interaktion ausgeblendet wurden.
Verstärkung
Der Bereich Verstärkung ermöglicht es Ihnen, alle vom Assistenten bearbeiteten Fragen und Antworten anzuzeigen.
Der Bereich ist zugänglich, indem Sie das Menü des Assistenten auswählen und dann Verstärkung auswählen.
Unbeantwortete Fragen
In diesem Bereich finden Sie die vollständige Liste der unbeantworteten Fragen.
Für jede unbeantwortete Frage können Sie Folgendes anzeigen:
- Benutzerfrage.
- Datum und Uhrzeit.
- Vollständiges Gespräch.
Zum Beispiel hat ein Benutzer den Assistenten gefragt „Stimmt es, dass man punkten kann?“, aber der Assistent konnte nicht antworten.
Der Assistent hat möglicherweise aus zwei Gründen nicht geantwortet:
- Es gibt keinen passenden Intent in der Wissensdatenbank;
- Der Intent ist in der Wissensdatenbank vorhanden, aber der Algorithmus konnte ihn basierend auf der erhaltenen Eingabe nicht erkennen.
Disambiguierungen
In diesem Bereich finden Sie die vollständige Liste der Disambiguierungen.
Für jede Disambiguierung können Sie Folgendes anzeigen:
- Benutzerfrage.
- Ausgewählte Option.
- Antwort entsprechend der ausgewählten Option.
- Datum und Uhrzeit.
- Vollständiges Gespräch.
Positiv bewertete Antworten
In diesem Bereich finden Sie die Liste der Assistentenantworten, die von Benutzern positiv bewertet wurden.
Für jede positive Bewertung können Sie Folgendes anzeigen:
- Benutzerfrage.
- Assistentenantwort.
- Datum und Uhrzeit.
- Vollständiges Gespräch.
Benutzerbewertungen sind nur verfügbar, wenn die Option Abstimmung aktivieren in Parameter und Verstärkung aktiv ist.
Negativ bewertete Antworten
In diesem Bereich finden Sie die Liste der Assistentenantworten, die von Benutzern negativ bewertet wurden.
Für jede negative Bewertung können Sie Folgendes anzeigen:
- Benutzerfrage.
- Assistentenantwort.
- Ausgewählte Option (erfordert die Funktion Vorschläge anzeigen in Parameter und Verstärkung)
- Datum und Uhrzeit.
- Vollständiges Gespräch.
Benutzerbewertungen sind nur verfügbar, wenn die Option Abstimmung aktivieren in Parameter und Verstärkung aktiv ist.
Operator-Lernen
SDA
In diesem Bereich finden Sie die Liste aller Benutzerfragen, die eine Antwort aus der Smart Document Access-Dokumentation erhalten haben (siehe Verbinden eines Assistenten mit der Dokumentation).
Für jede Frage können Sie Folgendes anzeigen:
- Benutzerfrage.
- Assistentenantwort.
- Link zum Dokument.
- Datum und Uhrzeit.
- Vollständiges Gespräch.
Generative KI
In diesem Bereich finden Sie die Liste aller Benutzerfragen, die eine Antwort von der Generativen KI erhalten haben (siehe Generative KI für die Wissensbasis).
Für jede Frage können Sie Folgendes anzeigen:
- Benutzerfrage.
- Assistentenantwort.
- Datum und Uhrzeit.
- Vollständiges Gespräch.
Hinzufügen eines Elements zur Wissensbasis
Alle Verstärkungsbereiche ermöglichen es Ihnen, die Benutzerfrage (und jede generierte Antwort) zur Wissensbasis des Assistenten hinzuzufügen, indem Sie die Option Hinzufügen auswählen.
Die Benutzerfrage kann einem vorhandenen Intent zugewiesen werden, der aus der Liste auswählbar ist.
Alternativ können Sie einen neuen Intent erstellen, dem die Benutzerfrage bereits zugewiesen ist.
In beiden Fällen kann die Benutzerfrage geändert und verbessert werden, sobald sie zur Wissensbasis hinzugefügt wurde (siehe Intent).
Statistiken
Der Bereich Statistiken, zugänglich über das linke Menü, ermöglicht es Ihnen, Daten zur Überwachung und Analyse der Leistung des virtuellen Assistenten anzuzeigen.
In diesem Bereich können Sie Folgendes anzeigen:
- Die Leistung des Assistenten.
- Die Leistung von Webservice-Aufrufen, die von dem/den Assistenten durchgeführt wurden.
Webservice-Aufrufe
Dieser Bereich ermöglicht es Ihnen, statistische Daten zu Webservice-Aufrufen anzuzeigen, die vom ausgewählten Assistenten durchgeführt wurden, falls vorhanden.
Durch Auswahl des Kalendersymbols oben rechts können Sie den Zeitraum definieren, für den Sie Statistiken anzeigen möchten. Der Standardzeitraum beträgt einen Monat ab dem heutigen Datum.
Sie können die Suche mit Filtern verfeinern für:
- Assistententyp.
- Status.
Assistenten
Für jeden Assistenten können Sie über die Symbole auf der rechten Seite auf Folgendes zugreifen:
- Gespräche: enthält Daten zur Leistung des Assistenten bei der Interaktion mit Ihren Benutzern.
- Emotionen: enthält Statistiken zu Emotionen, die vom virtuellen Assistenten erkannt wurden.
- Aufmerksamkeitsniveau: enthält Statistiken zum Aufmerksamkeitsniveau, das vom virtuellen Assistenten erkannt wurde.
- Fragen: enthält das Ranking der häufigsten Anfragen, die eine Antwort vom virtuellen Assistenten erhalten haben.
Die Bereiche Emotionen und Aufmerksamkeit sind nur für freigeschaltete Konten verfügbar.
Gespräche
Allgemeine Statistiken
Dieser Bereich bietet eine allgemeine Zusammenfassung der Leistung des virtuellen Assistenten. Die angezeigten Daten sind:
- Gespräche: Anzahl der Gespräche.
- Nachrichten: Anzahl der ausgetauschten Nachrichten.
- Unbeantwortet: Anzahl der Fragen, die der Assistent nicht beantworten konnte.
- Disambiguierungen: Anzahl der Male, die der Assistent in eine Disambiguierung gegangen ist.
- Gesprächstiefe: durchschnittliche Anzahl der pro Gespräch ausgetauschten Nachrichten.
- Durchschnittliche Gesprächsdauer.
- Gesamte Gesprächsdauer.
- Antwortgeschwindigkeit: durchschnittliche Antwortgeschwindigkeit.
Gesprächstrend
Dieser Bereich bietet einen Überblick über zeitliche Trends in Bezug auf Gespräche, die vom virtuellen Assistenten bearbeitet wurden. Sie können die Datenverteilung nach Zeit und Tag filtern.
Antworttyp
In diesem Bereich werden die Antworten des Assistenten in verschiedene Kategorien eingeteilt, wie korrekte Antworten, Höflichkeitsantworten und Disambiguierungen. Sie können die Verteilung dieser Antworten nach Zeit, nach Tag filtern und auch Gesamtsummen anzeigen.
Interaktionstyp
Dieser Bereich beschreibt die verschiedenen Interaktionsformen des Assistenten, einschließlich Formulare, Engagement und Fragen. Die Verteilung dieser Interaktionen kann nach verschiedenen Parametern wie Zeit und Tag gefiltert werden, und es können auch Gesamtsummen angezeigt werden.
Einzigartige Benutzer pro Kanal
Dieser Bereich listet die Anzahl der verschiedenen Benutzer auf, die mit dem Assistenten interagiert haben, aufgeschlüsselt nach Kommunikationskanal (z.B. Web, Social usw.).
Formulare
Dieser Bereich enthält Daten zu Formularen, die von Benutzern während der Interaktion mit dem Assistenten ausgefüllt wurden. Formulare werden klassifiziert als abgeschlossen, fehlgeschlagen, unvollständig und unterbrochen.
Eingabetyp
In diesem Bereich werden die verschiedenen Eingabetypen katalogisiert, die der Assistent erhalten hat, einschließlich Tastatur, Klick, Engagement und Spracheingabe.
Unbekannte Eingabe bezieht sich auf Facebook-, WhatsApp- und Telegram-Kanäle.
Die Verteilung solcher Eingaben kann nach Zeit und Tag gefiltert werden, und es gibt auch die Möglichkeit, Gesamtsummen anzuzeigen.
Öffnungen nach Domain
In diesem Bereich werden neue Gesprächseröffnungen aufgelistet, kategorisiert nach Quelldomain (z.B. Unternehmenswebsite, App usw.).
Wenn der Assistent in eine einzige Domain integriert ist, zeigt das Diagramm nur ein Segment.
Öffnungen nach Typ
Hier finden Sie Daten zu neuen Gesprächseröffnungen, aufgeschlüsselt nach Eröffnungstyp.
Die Eröffnungstypen sind:
- Textgespräch.
- Sprach- und Textgespräch.
- Digital-Human-Gespräch.
LiveChat-Nachrichten
Dieser Bereich enthält Statistiken zu Nachrichten, die im LiveChat-Modus ausgetauscht wurden, einschließlich der Anzahl der gesendeten und empfangenen Nachrichten.
LiveChat-Aktionen
Dieser Bereich meldet Aktionen, die während LiveChat-Sitzungen durchgeführt wurden.
Verbrauchsdashboard
Das Dashboard ermöglicht es Ihnen, den Status der Verbrauchsmaterialien Ihres Kontos zu überwachen.
Textuell
Der Zähler für Textgespräche gibt die Anzahl der Gespräche an, in denen mindestens einmal eine Textinteraktion (d.h. über Tastatur) verwendet wurde.
Sprachlich
Der Zähler für Sprachgespräche gibt die Anzahl der Gespräche an, in denen mindestens einmal eine Sprachinteraktion (d.h. über Mikrofon) verwendet wurde.
Gen AI
Der Zähler für Gen-AI-Nachrichten gibt die Anzahl der Nachrichten an, für die mindestens eine Gen-AI-Funktion verwendet wurde.
Wenn mehr als eine Gen-AI-Funktion für eine Nachricht verwendet wurde, entspricht die Anzahl der verbrauchten Verbrauchsmaterialien der Anzahl der verwendeten Funktionen.
Wenn ein Assistent beispielsweise sowohl die Funktion Frageumformulierung basierend auf Gesprächskontext aktivieren als auch Antwortumformulierung basierend auf dem Fragekontext aktivieren aktiviert hat (siehe Generative KI für die Wissensbasis), dann verbraucht eine Assistentenantwort zwei Verbrauchsmaterialien.
Wenn ein Assistent beispielsweise die über Smart Document Access generierte Antwort aktiviert hat (siehe Verbinden eines Assistenten mit der Dokumentation) und Von KI Gen festgelegtes Formular starten aktiviert hat, dann verbraucht eine Assistentenantwort zwei Verbrauchsmaterialien.