Agentforce-Agenten testen: wann ist einer produktionsreif?

Wer Agentforce-Agenten testet, braucht am Ende eine Zahl, die über den Go-live entscheidet. Ein Agent ist produktionsreif, wenn er einen vereinbarten Testsatz mit einer vereinbarten Passrate besteht, über mehrere Läufe, in einer Sandbox, und wenn das Monitoring läuft, bevor der erste Händler ihm schreibt. Salesforce liefert die Werkzeuge: das Testing Center, die Befehle sf agent test und ein Sprachmodell, das die Antworten bewertet. Die Schwelle liefert Salesforce nicht. Diese Zahl gehört der Fachseite, etwa der Serviceleitung, und ich würde sie vor dem Piloten schriftlich festhalten.

Warum testet man einen KI-Agenten anders als Apex?

Ein Apex-Test liefert jedes Mal dasselbe Ergebnis: gleiche Eingabe, gleiche Ausgabe, grün oder rot. Ein Agent auf Basis eines Sprachmodells kann dieselbe Händlerfrage in zwei Läufen unterschiedlich beantworten. Beide Antworten können passen, oder eine ist falsch. Anthropic beschreibt das in seinem Leitfaden zu Agenten-Evaluierungen1: Weil Modellausgaben zwischen Läufen schwanken, prüft man jede Aufgabe mehrfach. Derselbe Leitfaden zeigt, warum ein grüner Lauf wenig beweist. Ein Agent, der eine Aufgabe in 75 Prozent der Versuche löst, besteht drei Versuche hintereinander nur in etwa 42 Prozent der Fälle.

Die Frage lautet also: Wie oft besteht er, und mit welchen Fehlern können wir leben? Eine holprige Zusammenfassung eines Liefertermins ärgert. Eine falsche Aussage, die Maschine sei noch in der Garantie, kostet eine Gutschrift. Diese Fehler brauchen unterschiedliche Schwellen.

Die Testwerkzeuge von Salesforce

Salesforce hat das Agentforce Testing Center2 im November 2024 vorgestellt. Es erzeugt Hunderte synthetische Anfragen aus einer Beschreibung in normaler Sprache und führt sie parallel in einer Sandbox aus. Für Teams mit Versionsverwaltung bietet Agentforce DX3 dasselbe über VS Code, CLI-Befehle und eine Test-API.

Im Pro-Code-Weg ist ein Test eine YAML-Datei. Laut Salesforce Developers Blog vom Juni 20264 enthält jeder Testfall eine Nutzeranfrage und bis zu drei Erwartungen: den Subagenten, an den das Gespräch gehen soll, die Aktionen, die laufen sollen, und eine Beschreibung des richtigen Ergebnisses in normaler Sprache. Dieses Ergebnis bewertet ein Sprachmodell als Prüfer, im Englischen „LLM as a judge“. sf agent test create lädt die Spezifikation in die Org, sf agent test run führt sie aus.

Für Entwickler

Was eine Testspezifikation außerdem prüft

• Qualitätsmetriken. Kohärenz, Vollständigkeit und Prägnanz, jeweils als bestanden oder nicht bestanden, dazu die Latenz in Millisekunden, laut Dokumentation zur Testspezifikation (öffnet in einem neuen Tab).
• Eigene Prüfungen. Exakte Text- oder Zahlenvergleiche auf Daten, die eine Aktion erzeugt hat, ausgewählt per JSONPath. Salesforce zeigt (öffnet in einem neuen Tab) string_comparison und numeric_comparison. Das ist der deterministische Teil des Agententests, und ich würde ihn für jede Regel nutzen, die ausnahmslos gelten muss.
• Ausgabe für CI. Ergebnisse kommen als JSON, TAP oder JUnit, laut Dokumentation zu Testläufen (öffnet in einem neuen Tab). Eine Pipeline liest sie wie Apex-Testergebnisse.

Die Werkzeuge ändern sich schnell. Erweiterungen des Testing Center mit eigenen Bewertungen und mehrstufigen Gesprächstests sind laut TDX-2026-Rückblick5 seit Mai 2026 GA. Zur Dreamforce 20266 kamen Gesprächstests mit einer Metrik für die Aufgabenerledigung (Beta) und Custom Scorers (API GA, Oberfläche in Beta) dazu. Die Entwicklerdokumentation, die ich zitiere, beschreibt noch den bisherigen Testprozess und nicht das neuere Testing Center in Agentforce Studio; prüfen Sie das aktuelle Verhalten daher in Ihrer Org. Halten Sie Ihre Testfälle als einfache Dateien in Git, dann überstehen sie den nächsten Werkzeugwechsel.

Wie legen Sie Passraten-Schwellen für den Go-live fest?

Salesforce liefert Bewertungen, aber keine Schwelle, die „bereit“ bedeutet. Der Lifecycle-Beitrag vom Juni 2026 nennt keine, die Testdokumentation auch nicht. Die Schwellen sind also eine Projektentscheidung, und ich teile sie nach Risiko auf:

1. Geschäftsregeln: 100 Prozent, exakt geprüft. Garantieberechtigung, Kreditlimits, Rabattfreigaben. Sie gehören in deterministische Logik, wie in Agent Script: Regeln statt LLM beschrieben, und Sie testen sie mit Aktionsprüfungen und eigenen Prüfungen ohne Interpretationsspielraum. Ein Fehler stoppt das Release.
2. Routing und Aktionen: nahe 100 Prozent. Landet eine Ersatzteilfrage im falschen Subagenten oder läuft die Auftragsabfrage nicht, kann die Antwort nicht stimmen. Diese Prüfungen sind binär und günstig zu wiederholen.
3. Antwortqualität: eine Passrate über mehrere Läufe. Für das vom LLM bewertete Ergebnis starte ich mit 90 Prozent in jedem von drei vollständigen Läufen. Das ist mein Ausgangswert, keine Salesforce-Vorgabe; die Fachseite bestätigt oder ändert ihn.
4. Schutzfälle: keine Fehler. Anfragen außerhalb des Auftrags, Fragen nach Aufträgen eines anderen Händlers, versteckte Anweisungen in Freitext. Händlerportale und Garantieformulare sind Einfallstore für Prompt Injection, das beschreibe ich in Prompt Injection im Händlerportal.

Auch der Prüfer braucht eine Kontrolle. Anthropic empfiehlt, Modell-Bewerter eng an menschlichen Fachleuten zu kalibrieren. Die Serviceexpertin liest also in den ersten Läufen eine Stichprobe der bewerteten Antworten. Weichen Expertin und Prüfer oft voneinander ab, sind die Ergebnisbeschreibungen in den Testfällen zu vage.

Rechenbeispiel: ein Ersatzteilagent für Händler

Nehmen wir einen Maschinenbauer mit SAP, Service Cloud und einem Händlerportal. Der geplante Agent beantwortet Händlerfragen zu Ersatzteilverfügbarkeit und Auftragsstatus. Alle Zahlen sind Annahmen, die das Vorgehen zeigen sollen.

Der Testsatz. Das Team schreibt 60 Testfälle: 40 typische Fragen aus echten Händler-E-Mails, 10 Grenzfälle wie ersetzte Teilenummern oder eine Seriennummer, die in der installierten Basis fehlt, und 10 Schutzfälle wie die Frage nach Aufträgen eines anderen Händlers. Jeder Fall nutzt im Schnitt drei Aktionen: Maschine identifizieren, SAP abfragen, Antwort formulieren. Anthropics Leitfaden nennt 20 bis 50 Aufgaben aus echten Fehlern einen guten Start.

Die Kosten. Ein vollständiger Lauf sind 60 × 3 = 180 Aktionen zu 16 Sandbox-Credits, also 2.880 Credits. Drei Läufe pro Release ergeben 8.640 Credits, beim Listenpreis von 500 € je 100.000 Credits7 rund 43 €, ohne Prompts. Drei Läufe pro Woche über einen zwölfwöchigen Piloten kosten rund 520 €, weniger als eine falsche Verfügbarkeitszusage an einen Händler, dessen Maschine steht. Wie Sie den Rest der Rechnung schätzen, steht in Flex Credits: Agentforce-Kosten pro Aktion.

Das erste Ergebnis. Routing und Aktionen bestehen in 58 von 60 Fällen, das Ergebnis in 49 von 60. Die Fehler häufen sich: Acht der elf betreffen ersetzte Teilenummern, bei denen SAP die alte Nummer liefert und der Agent das Teil als nicht verfügbar meldet. Das ist eine Aufgabe für das SAP-Team, kein Prompt-Problem. Liefert die API das Nachfolgeteil, besteht das Ergebnis in drei Läufen in 56, 55 und 56 von 60 Fällen, jedes Mal über 90 Prozent, alle Schutzfälle bestehen, und die Serviceleitung gibt den Go-live zuerst für die Händler eines Landes frei.

Die meisten Fehler in so einem Lauf zeigen auf Daten und Schnittstellen. Deshalb stelle ich Business Value und Datenqualität an den Anfang.

Nach dem Go-live läuft das Monitoring ab dem ersten Tag

Tests decken die Fragen ab, an die Sie gedacht haben. Händler stellen andere. Deshalb läuft das Monitoring ab dem ersten Tag:

• Session Traces. Mit Agentforce 38 hat Salesforce ein Datenmodell für Session Tracing in Data Cloud eingeführt, heute Data 360, auf Basis von OpenTelemetry. Die Session Trace OTel API (Beta) exportiert Traces in Werkzeuge wie Splunk oder Datadog.
• Zustand und Alarme. Das Command Center zeigt Latenz, Eskalationen und Fehlerquoten und verschickt Alarme. Agent Health Monitoring mit mindestens 16 eingebauten Metriken ist seit der Dreamforce 2026 GA.
• Gestufter Rollout. Beim Veröffentlichen entsteht eine inaktive Agentenversion, das Aktivieren ist ein eigener Schritt. Starten Sie mit einer Händlergruppe und erweitern Sie, wenn die Zahlen halten.
• Rückkopplung. Jedes Gespräch in Produktion, das schiefging, wird ein neuer Testfall.

Testen Sie neu, sobald sich etwas unter dem Agenten ändert: ein Subagent, ein Flow, Wissensartikel, ein Salesforce-Release, die SAP-API.

Die Tests gehören dem Kunden

Der Partner schreibt die Tests und führt sie aus, aber Testsatz, Schwellen und Go-live-Entscheidung gehören dem Unternehmen, das gegenüber seinen Händlern geradesteht. Das ist das Prinzip aus DevOps in Enterprise-Projekten: Agententests liegen im selben Repository und laufen in derselben Pipeline, mit JUnit-Ausgabe und einer Schranke, die das Deployment unter der Schwelle stoppt. Das aufzusetzen gehört zu meiner Arbeit in DevOps und Release-Management.

1. 01

   Inakzeptable Fehler benennen

   Gemeinsam mit der Fachseite, etwa eine falsche Garantieaussage oder Daten eines anderen Händlers.

2. 02

   20 bis 50 echte Fragen sammeln

   Aus Händler-E-Mails und Servicetickets, dann Grenz- und Schutzfälle ergänzen.

3. 03

   Regeln markieren

   Welche Regeln brauchen exakte Prüfungen statt des LLM-Prüfers?

4. 04

   Schwellen vereinbaren

   Schwellen und Anzahl der Läufe, vor dem ersten Test, nicht nach dem ersten Ergebnis.

5. 05

   Sandbox-Credits budgetieren

   Für jeden Regressionslauf bis zum Ende des Piloten.

6. 06

   Monitoring einschalten

   Und die Rollout-Gruppe festlegen, bevor Sie den Agenten aktivieren.

Quellen8

1. 1Leitfaden zu Agenten-Evaluierungen (öffnet in einem neuen Tab)anthropic.com
2. 2Agentforce Testing Center (öffnet in einem neuen Tab)salesforce.com
3. 3Agentforce DX (öffnet in einem neuen Tab)developer.salesforce.com
4. 4Salesforce Developers Blog vom Juni 2026 (öffnet in einem neuen Tab)developer.salesforce.com
5. 5TDX-2026-Rückblick (öffnet in einem neuen Tab)salesforce.com
6. 6Dreamforce 2026 (öffnet in einem neuen Tab)salesforce.com
7. 7Listenpreis von 500 € je 100.000 Credits (öffnet in einem neuen Tab)salesforce.com
8. 8Agentforce 3 (öffnet in einem neuen Tab)salesforce.com