Best Practices für KI-Scoring

Die KI-Bewertung wertet Interaktionen ausschließlich anhand des Gesprächsprotokolls und des von Ihnen bereitgestellten Bewertungsformulars aus.

Es verwendet keine Metadaten wie beispielsweise:

• Warteschlange oder Routingpfad
• Zeitstempel oder Dauer
• Plattform- oder Systemmetriken

Die KI-Bewertung konzentriert sich ausschließlich auf das Gesagte (oder Geschriebene) – nicht auf Tonfall, Haltung oder implizite Bedeutung.

Do

• Schreiben objektive, auf dem Transkript basierende Fragen Die
• Bieten klarer Hilfetext mit messbaren Kriterien.
• Verwenden einheitliche Terminologie (zum Beispiel „Agent“ und „Kunde“).
• Schreiben vollständige Sätze Die
• Die Fragen werden basierend auf den KI-Bewertungsergebnissen kontinuierlich verfeinert.

Nicht

• Fragen subjektiv Fragen (zum Beispiel: „War der Agent höflich?“).
• Verwenden ungenaue Kurzschrift (zum Beispiel „Begrüßungsprotokoll“).
• Gehen Sie davon aus, dass der Kontext im Transkript nicht sichtbar ist.
• Fragen Sie nach Tonfall oder Emotion dass die KI daraus keine Schlüsse ziehen kann.

Die Formulierung von KI-gestützten Bewertungsfragen erfordert Präzision.
Das KI-Modell kann keine Absichten ableiten. Es muss direkte, messbare Beweise im Protokoll finden.

Grundprinzip	Details	Warum das hilft	Beispielaufgabe und Hilfetext	Schlechtes Beispiel
Anker auf ausschließlich Transkriptbelegen	Fragen Sie nur nach dem, was sich aus dem Konversationstext verifizieren lässt.	Sorgt dafür, dass die Fragen messbar bleiben und verhindert falsche Annahmen.	Q: Begrüßte der Mitarbeiter den Kunden mit einer üblichen Floskel wie „Hallo“, „Guten Morgen“ oder „Guten Morgen“?	Klang der Mitarbeiter freundlich, als er den Kunden begrüßte?
Verhaltensweisen binär oder spezifisch gestalten	Verwenden Sie Ja/Nein- oder vordefinierte Multiple-Choice-Antworten.	Verringert die Mehrdeutigkeit bei der Punktevergabe.	Hilfetext: Ja = Der Agent begrüßte den Kunden mit einer Standardfloskel. Nein = Der Agent hat nicht gegrüßt oder eine unklare Formulierung verwendet.	Hat der Agent angemessen gegrüßt?
Verwenden Sie vollständige Sätze	Vermeiden Sie Abkürzungen oder unvollständige Formulierungen.	KI interpretiert vollständige Sätze genauer.	Q: Hat der Mitarbeiter die Identität des Kunden überprüft, bevor er die Kontodaten mitgeteilt hat?	„Identitätsprüfung.“
Geltungsbereich und Grenzen definieren	Erklären Sie, was zählt und was nicht.	Verhindert Fehlklassifizierungen und falsch positive Ergebnisse.	Hilfetext: Graf: „Können Sie Ihr Geburtsdatum bestätigen?“ Die Frage „Wie heißen Sie?“ zählt nur dann, wenn sie zur Verifizierung dient.	Hat der Agent die Kundendaten verifiziert?
Mach es beobachtbar, nicht emotional.	Konzentriere dich auf das, was man sehen oder lesen kann.	Sorgt für einheitliche Bewertungen.	Q: Hat der Mitarbeiter das Problem des Kunden mit einer Formulierung wie „Es tut mir leid“ oder „Ich verstehe“ zur Kenntnis genommen?	War der Agent empathisch?
Standardisierung der Terminologie	Verwenden Sie im gesamten Formular die gleichen Wörter.	Verbessert die Modellkonsistenz.	Verwenden Sie immer die Begriffe „Agent“ und „Kunde“.	Vermischung von „Vertreter“, „Kunde“ und „Mitarbeiter“.
Geben Sie Beispiele für Transkripte an.	Fügen Sie kurze Ja/Nein-Beispiele hinzu.	Hilft der KI, Formulierungen aus der realen Welt zu erkennen.	Ja: „Ich werde die Gebühr zurückerstatten.“ NEIN: „Wir werden der Sache nachgehen.“	—
Jede Frage sollte fokussiert bleiben	Testen Sie pro Frage nur ein Verhalten.	Vermeidet gemischte Ergebnisse.	Q1: Hat der Mitarbeiter den Kunden begrüßt? Q2: Hat der Agent die Identität bestätigt?	Hat der Agent den Kunden begrüßt? Und Identität zu Beginn bestätigen?
Rechnen Sie mit Formulierungsvariationen.	Schreiben Sie flexibel, nicht wortgetreu.	Verringert verpasste Spiele.	„Hat der Agent die Identität anhand mindestens eines Nachweises (z. B. Geburtsdatum, Telefonnummer oder Kontonummer) überprüft?“	„Hat der Agent nach der Kontonummer gefragt?“
Fragen an Geschäftszielen ausrichten	Verknüpfen Sie jede Frage mit Kundenerfahrung, Compliance oder Effizienz.	Sorgt dafür, dass Beurteilungen aussagekräftig bleiben.	„Hat der Agent die vorgeschriebenen Offenlegungspflichten erfüllt?“	„Hat der Agent Smalltalk geführt?“

Jede Frage sollte einen kurzen, messbaren Hilfetext (≤ 500 Zeichen) enthalten, der Folgendes definiert: Was zählt als Ja oder Nein? , enthält Beispiele und erläutert Sonderfälle.

Beispiel: gut formulierte Frage und Hilfetext

Absicht: Überprüfen Sie die Identität des Kunden, bevor Sie kontospezifische Daten angeben.

Frage: Hat der Mitarbeiter die Identität des Kunden überprüft, bevor er kontospezifische Details mitgeteilt hat?

Hilfetext: Der Agent muss mindestens eine Zugangsberechtigung bestätigen (z. B. Kontonummer, Geburtsdatum, Telefonnummer oder Bestellnummer).

• Ja: Der Agent überprüfte die Berechtigung, bevor er fortfuhr.
• NEIN: Der Agent übersprang oder stellte themenfremde Fragen.

Transkriptbeispiele

✅	Kunde: „Ich muss meine Rechnungsinformationen aktualisieren.“ Agent: „Kann ich die letzten vier Ziffern Ihrer Kontonummer bestätigen?“
❌	Kunde: „Ich muss meine Rechnungsinformationen aktualisieren.“ Agent: „Klar, wie lautet die neue Adresse?“

• Überprüfen Sie die KI-Bewertungsberichte monatlich, um Fragen mit geringer Aussagekraft zu identifizieren.
• Fügen Sie Beispiele hinzu, die die branchenübliche Ausdrucksweise widerspiegeln (z. B. Gesundheitswesen vs. Einzelhandel).
• Die menschlichen Gutachter sollten dieselben Definitionen verwenden wie die KI.
• Verfeinern Sie die Fragen und Hilfetexte, wenn die KI Ergebnisse falsch klassifiziert.

Fehlertyp	Wenn es geschieht	Wie lässt sich das Problem lösen?
Ratenbegrenzungsfehler	Das tägliche Limit von 50 KI-Bewertungsanfragen pro Agent wurde erreicht.	Verteilen Sie die Auswertungen, reduzieren Sie die Wiederholungsversuche oder beantragen Sie eine Quotenerhöhung.
Fehler bei der doppelten Auswertung	Ein Formular mit derselben Evaluator-ID und demselben Gesprächsverlauf existiert bereits.	Vor der Einreichung prüfen, ob bereits Bewertungen vorliegen. Verwenden Sie für erneute Begutachtungen ein anderes Formular oder eine andere Gutachter-ID.
Verarbeitungsfehler	Die Fragestellung ist zu vage oder zu komplex.	Formulieren Sie die Fragen anhand von ausschließlich im Transkript erfassten, messbaren Verhaltensweisen neu.
Geringe Zuversicht bei der Frage	Die KI ist sich aufgrund mehrdeutiger oder subjektiver Formulierungen unsicher.	Formulierungen präzisieren, Beispiele hinzufügen und die Terminologie vereinheitlichen.

Frage:
Hat der Mitarbeiter den Kunden zu Beginn des Gesprächs mit einer üblichen Begrüßung wie „Hallo“, „Guten Morgen“ oder „Guten Morgen“ begrüßt?

Antwortmöglichkeiten:
Ja / Nein

Hilfetext:
Der Agent muss mit einer höflichen Begrüßung beginnen. Akzeptable Begrüßungen sind beispielsweise „Hi“, „Hallo“, „Guten Morgen“ oder Ähnliches.

Transkriptbeispiel:
Kunde: „Ich brauche Hilfe mit meinem Konto.“
Agent: "Guten Morgen! Vielen Dank für Ihren Anruf beim ABC-Support.
→ KI-Markierungen Ja

Frage:
Hat der Mitarbeiter die Identität des Kunden überprüft, bevor er auf kontospezifische Anliegen einging?

Antwortmöglichkeiten:
Ja / Nein

Hilfetext:
Der Agent muss vor dem Fortfahren mindestens eine Kundenangabe, wie z. B. Geburtsdatum, Konto-ID oder Telefonnummer, überprüfen.

Transkriptbeispiel:
Kunde: „Ich möchte meine Rechnungsadresse aktualisieren.“
Agent: „Kann ich die letzten vier Ziffern Ihrer Kontonummer bestätigen?“
→ KI-Markierungen Ja

Frage:
Hat der Agent dem Kunden ermöglicht, seinen Vortrag ohne Unterbrechungen zu beenden?

Antwortmöglichkeiten:
Ja / Nein

Hilfetext:
Eine Unterbrechung liegt vor, wenn der Agent den Kunden mitten im Satz unterbricht. Rückfragen nach Abschluss des Kundengesprächs sind zulässig.

Transkriptbeispiel:
Kunde: „Das Problem begann, als –“
Agent: „Lassen Sie mich Sie hier unterbrechen…“
→ KI-Markierungen Nr.

Frage:
Hat der Agent den Namen des Kunden während des Gesprächs mindestens einmal verwendet?

Antwortmöglichkeiten:
Ja / Nein

Hilfetext:
Die Verwendung des Namens des Kunden personalisiert die Interaktion. Die KI prüft, ob der im Protokoll oder im Gespräch angegebene Name erwähnt wurde.

Transkriptbeispiel:
Kunde: „Ich bin Maria und brauche Hilfe bei meiner Bestellung.“
Agent: „Danke, Maria.“ Werfen wir einen Blick auf Ihre Bestellung.“
→ KI-Markierungen Ja

Frage:
Hat der Agent das Problem des Kunden zur Kenntnis genommen, bevor er mit der Lösung begonnen hat?

Antwortmöglichkeiten:
Ja / Nein

Hilfetext:
Empathie zeigt sich, wenn der Agent das Problem mit Formulierungen wie „Ich verstehe“, „Es tut mir leid, dass das passiert ist“ oder „Ich weiß, das muss frustrierend sein“ zur Kenntnis nimmt. Die KI erwartet eine Bestätigung vor der Lösung.

Transkriptbeispiel:
Kunde: „Mir wurde zu viel berechnet.“
Agent: „Das tut mir leid.“ Lassen Sie uns Ihre Rechnung gemeinsam durchgehen.“
→ KI-Markierungen Ja

Frage:
Hat der Kundendienstmitarbeiter einen klaren Lösungsansatz genannt, wie z. B. eine Rückerstattung, einen Ersatz oder Anweisungen zur Fehlerbehebung?

Antwortmöglichkeiten:
Ja / Nein

Hilfetext:
Eine Lösung muss eine konkrete Maßnahme beinhalten (Rückerstattung, Ersatzlieferung oder technische Schritte). Allgemeine Entschuldigungen ohne klare nächste Schritte reichen nicht aus.

Transkriptbeispiel:
Agent: „Ich habe eine Ersatzbestellung veranlasst, die innerhalb von zwei Tagen eintreffen wird.“
→ KI-Markierungen Ja

Frage:
Hat der Mitarbeiter den Eskalationsprozess klar erläutert, einschließlich der Ansprechpartner, der benötigten Informationen und der zu erwartenden Reaktionszeiten?

Antwortmöglichkeiten:
Ja / Nein

Hilfetext:
Eine vollständige Eskalation umfasst:

1. Nächster Kontaktpunkt

2. Erforderliche Informationen

3. Voraussichtlicher Zeitrahmen für eine Antwort

Transkriptbeispiel:
Agent: „Wenn dieses Problem weiterhin besteht, werde ich es auf Stufe 2 eskalieren.“ Sie benötigen Ihre Fall-ID und werden Ihnen innerhalb von 24 Stunden antworten.“
→ KI-Markierungen Ja

Frage:
Hat der Agent die vorgeschriebenen Offenlegungs- und Compliance-Vorgaben (z. B. Geschäftsbedingungen, Haftungsausschlüsse oder gesetzliche Bestimmungen) eingehalten?

Antwortmöglichkeiten:
Ja / Nein

Hilfetext:
Die Konformitätserklärungen variieren je nach Branche und können vorgeschriebene Offenlegungen, Haftungsausschlüsse oder rechtliche Hinweise enthalten. Die KI sucht im Transkript nach diesen spezifischen Formulierungen.

Transkriptbeispiel:
Agent: „Aus Sicherheitsgründen kann ich Ihnen ohne vorherige Identitätsprüfung keine Kontodaten mitteilen.“
→ KI-Markierungen Ja

Frage:
Hat der Agent unnötige Stille oder lange, unerklärte Pausen vermieden?

Antwortmöglichkeiten:
Ja / Nein

Hilfetext:
Pausen von mehr als 15 Sekunden sind nur dann akzeptabel, wenn sie dem Kunden erklärt werden (zum Beispiel: „Ich werde Sie kurz in die Warteschleife stellen, während ich das prüfe“).

Transkriptbeispiel:
Agent: „Einen Moment bitte, ich rufe Ihre Kontodaten auf.“ [10 Sekunden Stille]
→ KI-Markierungen Ja

Frage:
Hat der Mitarbeiter vor dem Beenden des Gesprächs die Kundenzufriedenheit bestätigt oder die nächsten Schritte zusammengefasst?

Antwortmöglichkeiten:
Ja / Nein

Hilfetext:
Vor Abschluss des Vertrags sollte der Makler die Lösung bestätigen oder die nächsten Schritte klar zusammenfassen. Dies belegt den Abschluss des Projekts und trägt zum Kundenverständnis bei.

Transkriptbeispiel:
Agent: „Ich habe Ihr Passwort zurückgesetzt.“ Können Sie bestätigen, dass Sie sich jetzt einloggen können?
→ KI-Markierungen Ja