Operational Excellence für das Agentenunternehmen

Operational Excellence für Agentensysteme erweitert traditionelle DevOps-Praktiken, um die einzigartigen Eigenschaften von AI-Agenten zu berücksichtigen: nichtdeterministisches Verhalten, kontextabhängige Argumentation und Speicher, Zielkomplexität und variable Rückschlusskosten. Herkömmliche Anwendungen folgen vorhersehbaren Codepfaden, Agenten generieren jedoch basierend auf dem Kontext neue Antworten. Bei der traditionellen Überwachung werden bekannte Kennzahlen verfolgt, während die Beobachtbarkeit von Agenten das Verständnis der Argumentation und der Entscheidungsmuster des Sprachmodells erfordert. Standardtests validieren deterministische Ausgaben, die Agentenvalidierung bewertet jedoch die Antwortqualität über mehrere Dimensionen hinweg, einschließlich Genauigkeit, Relevanz, Sicherheit und Fairness.

Produkte und Systeme ändern sich im Laufe der Zeit. Wenden Sie daher diese fünf Designprinzipien an, um betriebliche Spitzenleistungen in Ihre Ausführung zu integrieren: Entwickeln Sie sich mit der Beobachtbarkeit weiter, standardisieren Sie betriebliche Abläufe, übernehmen Sie eine DevOps-Kultur, automatisieren Sie Effizienz und lernen Sie aus allen betrieblichen Ereignissen. Das zentrale Operational Excellence-Prinzip “Evolve with Observability” (Mit Beobachtbarkeit entwickeln) wird für Agentensysteme entscheidend, da das Agentenverhalten aus komplexen Interaktionen zwischen Aufforderungen, abgerufenem Kontext, Modellverhalten und Unterhaltungsverlauf und nicht aus der Ausführung deterministischen Codes resultiert. Architekten können nicht jede Agentenantwort zum Zeitpunkt des Entwurfs prognostizieren, da die Antworten durch das Modell, die Eingabeaufforderung und den Live-Kontext bestimmt werden. Daher sollten Sie auf Beobachtbarkeit und Leitplanken achten. Die umfassende Beobachtbarkeit zeigt, wie sich Agenten unter realen Bedingungen verhalten. Diese Sichtbarkeit ermöglicht datengesteuerte Verbesserungen und schnelle Problemdiagnosen, wenn Agenten unerwartete Ausgaben erstellen.

“Vorgänge als Code” erhält für Agenten neue Dimensionen. Die traditionelle Infrastruktur als Code erstreckt sich auf die Aufforderungsversionierung, die Modellkonfigurationsverwaltung und die Automatisierung der Agentenbereitstellung. Agentenoperationsverfahren betreffen Änderungen an der Modellversion, Aktualisierungen der Aufforderungsentwicklung und Knowledge Base sowie herkömmliche Bereitstellungs- und Rollback-Vorgänge.

“Lernen Sie aus allen betrieblichen Ereignissen” wird mit Agentensystemen noch wertvoller. Agentenvorfälle zeigen oft subtile Probleme beim Prompt-Engineering, Skript- und Orchestrierungsfehler, Knowledge Base-Lücken oder unerwartete Benutzerinteraktionsmuster. Postmortems in Kombination mit systematischen Analysen der Agententelemetrie verwandeln die betriebliche Erfahrung in Organisationsfähigkeiten, die sich im Laufe der Zeit ergänzen.

Die vollständige Unterhaltungsprotokollierung bildet die Grundlage für die Beobachtbarkeit von Agenten. Erfassen Sie jede Unterhaltung, einschließlich Benutzereingaben, Agentenantworten, Argumentationsschritten, aufgerufenen Aktionen, abgerufenen Daten und endgültigen Ergebnissen. Diese Telemetrie dient mehreren Zwecken: Debugging bestimmter Vorfälle, Qualitätsanalyse für viele Interaktionen, Compliance-Überprüfung, Modellverbesserung und Nutzungsmusteranalyse.

Verwenden Sie das native Sitzungsverfolgungsmodell über die benutzerdefinierte Protokollierung. Das Agentforce Session Tracing erfasst Agenteninteraktionsdaten in einem vereinheitlichten Datenmodell in Data 360, statt dass Sie ein paralleles Telemetriesystem erstellen müssen. Das Sitzungsverfolgungsdatenmodell zeichnet die Unterhaltung als Verfolgungshierarchie auf. Jede Sitzung enthält Interaktionen (Drehungen), jede Interaktion enthält Schritte (UserInputStep, LLMExecutionStep, FunctionStep) und Schritte enthalten Nachrichten (Kommunikation zwischen Benutzern und Agenten). STDM verwendet Data 360-Standardobjekte wie AIAgentSession, AIAgentSessionParticipant, AIAgentInteraction, AIAgentInteractionStep und AIAgentInteractionMessage. Interaktionen enthalten verteilte Verfolgungskennzeichner (TelemetryTraceId und TelemetryTraceSpanId) und Schritte enthalten einen Bereichskennzeichner (TelemetryTraceSpanId), der ein Spannenmodell im OpenTelemetry-Stil widerspiegelt.

Das Modellieren von Agentenunterhaltungen als Verfolgungen und Umfänge ist der branchenübliche Ansatz für die Beobachtbarkeit von Agenten. Durch die Wiederverwendung des nativen Modells werden die Skalierungsprobleme vermieden, die bei handgefertigten Objekten auftreten: Speichern von Multiturn-Unterhaltungen, großen JSON-Nutzlasten und einem schnellen Datenwachstum. Das Erstellen von benutzerdefinierten Transaktionsobjekten zum Protokollieren von Unterhaltungen ist eine bewusste Ausnahme, beispielsweise ein leichtes benutzerdefiniertes Objekt, das das Verhalten von Agenten mit Geschäftsergebnissen und nicht mit dem primären Protokollierungssubstrat korreliert.

Sitzungs- und Unterhaltungsmetadaten erfassen kritischen Kontext, einschließlich Sitzungs- und Interaktionskennzeichnern, Benutzeridentität, Agentenidentität, Startzeit und Endzeit. STDM verknüpft zudem jeden Interaktionsschritt mit seinen großen Sprachmodell-Aufrufdatensätzen (über GenerationId und GenAiGatewayRequest/Response-Verweise). Tokennutzung, Modell und Aufforderungsdetails sind über diese Verknüpfungen verfügbar und werden nicht als Sitzungsfelder gespeichert. Metadaten ermöglichen das Filtern und Aggregieren von Unterhaltungen für die Musteranalyse.

Details zur Interaktion und zur Schrittebene erfassen jede Runde, einschließlich Benutzereingabe, Agentenantwort, Begründung (sofern verfügbar), Konfidenzbewertungen, abgerufenem Kontext, versuchten Aktionen und festgestellten Fehlern. Die Verfolgung auf Schrittebene ermöglicht eine detaillierte Vorfallsuntersuchung, bei der genau rekonstruiert wird, was an jedem Punkt der Argumentationskette passiert ist.

Aktionsschritte zeichnen jede Aktion auf, die ein Agent ausführt, einschließlich API-Aufrufen, Datenänderungen, Interaktionen mit externen Systemen und aufgerufener Integrationen. Aktionsdatensätze beantworten Fragen wie “Was hat dieser Agent geändert?” und “Auf welche Systeme hat dieser Agent zugegriffen?”. Diese Antworten unterstützen Sicherheitsuntersuchungen und Compliance-Anforderungen. STDM erfasst Aktionen nativ als Interaktionsschritte.

Argumentationsverfolgungen aus dem Atlas Reasoning Engine zeigen Agentenentscheidungsprozesse auf und helfen so bei der Diagnose, warum Agenten bestimmte Aktionen ausgewählt oder bestimmte Antworten generiert haben. Das Sitzungs-Tracing zeichnet die Schritte des Planers als Teil jeder Interaktion auf. Die Tiefe der offengelegten Argumentation hängt vom Modell und Planer ab. Sofern verfügbar, verbessern diese Spuren jedoch die Debuggbarkeit erheblich.

Der Überprüfungspfad für generative AI der Einstein Trust Layer erfasst jede Interaktion mit generativer AI, die Aufforderungs- und Antworttexte, einschließlich der mit personenbezogenen Daten maskierten Versionen, die an Data 360 übertragen und in Data 360 gespeichert werden. Aktivieren Sie die generative AI von Einstein und die Erfassung und Speicherung von Feedbackdaten, damit Überprüfungs- und Feedbackdaten in Data 360 erfasst werden. Dort können Sie sie mit Data 360-Berichten abfragen und analysieren, um sie langfristig aufzubewahren.

Beispiel:

Gut: In benutzerdefinierten Salesforce-Objekten gespeicherte Unterhaltungsprotokolle mit Feldern für die Benutzereingabe, die Agentenantwort, die ausgeführten Aktionen, den Tokenverbrauch und das Unterhaltungsergebnis. Das Dashboard zeigt die Unterhaltungserfolgsraten nach Agent und Anwendungsfall an. Besser: Die umfassende Protokollierung enthält Argumentationsverfolgungen, die den Entscheidungsprozess des Agenten anzeigen, abgerufenen Kontext, der angibt, welche Informationen auf Antworten basieren, und Konfidenzbewertungen, die Unsicherheit anzeigen. Am besten: Unterhaltungsanalysen korrelieren das Verhalten von Agenten mit Geschäftsergebnissen, identifizieren Verbesserungsmöglichkeiten durch Musteranalysen und führen Pipelines für kontinuierliches Lernen mit qualitätsgekennzeichneten Beispielen durch.

Überwachen Sie die betriebliche Leistung und stellen Sie sicher, dass Agenten die Servicestufen erfüllen und innerhalb der erwarteten Parameter arbeiten.

Die Antwortlatenz verfolgt die Endzeit von der Benutzereingabe bis zur Agentenantwort. Die Latenz wirkt sich direkt auf die Benutzererfahrung aus. Messen Sie die Latenz bei Perzentilen (p50, p95, p99), um typische Leistungs- und Worst-Case-Erfahrungen zu ermitteln. Warnung, wenn die p95-Latenz Schwellenwerte überschreitet, die auf Leistungseinbußen hinweisen.

Zu den Latenzfaktoren für Agenten zählen die Modellrückschlusszeit, die Dauer des Daten- und Kontextabrufs, die Ausführung externer Tools und Aktionen sowie die Netzwerklatenz. Instrumentieren Sie jede Phase separat, um eine gezielte Optimierung zu ermöglichen, wenn die Gesamtlatenz Ziele überschreitet.

Der Tokenverbrauch misst die pro Unterhaltung, Agent und Anwendungsfall verwendeten Token. Der Tokenverbrauch steigert die Rückschlusskosten und wirkt sich auf die Antwortzeit aus (mehr Token erfordern mehr Rückschlussberechnung). Verfolgen Sie die Tokenverteilung und zeigen Sie an, ob die tatsächliche Nutzung mit den Projektionen übereinstimmt. Erkennen Sie Ausreißerunterhaltungen, bei denen übermäßige Token verwendet werden, was auf Aufforderungsprobleme oder Missbrauch hindeutet.

Tokenkennzahlen umfassen Aufforderungstoken (Eingabe in Modell), Vervollständigungstoken (Modellausgabe) und Gesamttoken (Summe aus Aufforderung und Vervollständigung). Aufforderungstoken sind besser steuerbar als Vervollständigungstoken. Optimieren Sie Eingabeaufforderungen und den abgerufenen Kontext, um den Verbrauch von Eingabeaufforderungs-Token zu reduzieren und gleichzeitig die Qualität beizubehalten.

Die Durchsatzüberwachung verfolgt gleichzeitige Unterhaltungen, Anforderungen pro Sekunde und Unterhaltungsvolumentrends und kann die Projektkapazität und die Skalierungsanforderungen unterstützen. Vergleichen Sie den aktuellen Durchsatz mit bekannten Ratenobergrenzen oder Kapazitäts-Basiswarnungen bei Annäherung an Schwellenwerte.

Die Fehlerratenverfolgung überwacht Fehler nach Typ, einschließlich modellspezifischer Fehler, Zeitüberschreitungsfehler, Fehler aufgrund verweigerter Berechtigungen und Fehler bei der externen Integration. Fehlermuster zeigen systematische Probleme auf, die behoben werden müssen. Berechnen Sie Fehlerraten als Prozentsatz der Gesamtanforderungen, um einen Vergleich zwischen Agenten und Zeiträumen zu ermöglichen.

Unterscheiden Sie zwischen Fehlerkategorien, die unterschiedliche Antworten erfordern. Modellspezifische Fehler erfordern möglicherweise sofortige Anpassungen oder wechseln zu einem besseren Modell. Berechtigungsfehler erfordern Sicherheitskonfigurationsänderungen. Integrationsfehler erfordern die Untersuchung des externen Systems oder die Aktivierung des Leistungsschalters.

Die Verfügbarkeitsüberwachung misst die Agentenverfügbarkeit und erfolgreiche Betriebszeiträume. Berechnen Sie die Verfügbarkeit als Prozentsatz der Zeit, in der Agenten erfolgreich auf Anfragen antworten. Verfolgen Sie die Verfügbarkeit im Vergleich zu Service Level Objectives (SLOs), um proaktive Reaktionen zu ermöglichen, wenn die Verfügbarkeit unter die Ziele fällt.

Proactive Monitoring wertet Ihre Organisation auf Plattformanomalien und Ressourcenauslastungsprobleme aus, die sich auf den Zustand der Agenteninfrastruktur auswirken können. Es werden Signale angezeigt, bevor sie zu für Benutzer sichtbaren Problemen eskalieren. Verwenden Sie sie, um Bedingungen auf Infrastrukturebene einen Schritt voraus zu sein, die die Agentenleistung beeinträchtigen könnten, beispielsweise ungewöhnliche API-Aktivitäten oder der Ressourcenverbrauch, der zu Plattformobergrenzen führt. Überprüfen Sie die Signale Ihrer Agenten im Vergleich zur normalen Betriebsgrundlage, um handlungsrelevante Anomalien von erwarteten Abweichungen zu unterscheiden.

Überwachen Sie die Antwortqualität kontinuierlich und erkennen Sie die Verschlechterung, bevor sie sich auf die Geschäftsergebnisse auswirkt. Wenn die Plattform integrierte Auswertungstools bietet, verwenden Sie sie anstelle von benutzerdefinierten oder manuellen Prozessen. Beginnen Sie mit nativen Test- und Evaluierungstools. Mit dem Agentforce-Testcenter können Sie wiederverwendbare Testfallsets verwalten und Agenten im Batch-Modus darauf abstimmen und überprüfen, ob der Agent das erwartete Thema und die erwartete Aktion ausgewählt und eine akzeptable Antwort generiert hat, statt Ihren eigenen Teststrang zu erstellen und auszuführen. Sie unterstützt auch native Auswerter, einschließlich vorkonfigurierter Qualitätsdimensionen und eines LLM-as-Judge-Ansatzes zur Bewertung der Unterhaltungsqualität, und ermöglicht das Erstellen benutzerdefinierter Auswerter für organisationsspezifische Kriterien. Verwenden Sie repräsentative Unterhaltungen in Ihren Testsets, damit die Auswertung die tatsächliche Nutzung widerspiegelt.

Die Antwortgenauigkeit misst, ob Agentenantworten richtige Informationen enthalten. Für eine genaue Auswertung sind Behauptungen mit bekannter Antwort oder eine menschliche Überprüfung erforderlich. Bei faktischen Fragen mit bekannten Antworten vergleicht die automatisierte Auswertung Agentenantworten mit richtigen Antworten. Behalten Sie diese als Testfälle im Testcenter bei, um sie wiederholbar auszuwerten. Bei Fragen mit offenem Ende bewerten menschliche Prüfer die Genauigkeit von Beispielunterhaltungen. Verfolgen Sie Genauigkeitstrends im Laufe der Zeit und zeigen Sie auf, ob Aufforderungsänderungen, Modellaktualisierungen oder Knowledge Base-Änderungen die Leistung verbessern oder beeinträchtigen.

Die Antwortrelevanz misst, ob Agentenantworten Benutzerfragen angemessen beantworten, auch wenn sie nicht vollständig genau sind. Relevante Antworten verstehen den Benutzer-Intent und bieten hilfreiche Informationen, selbst wenn eine vollständige Antwort nicht möglich ist. Bewerten Sie die Relevanz mithilfe von nativen Auswertern, sofern verfügbar, der menschlichen Überprüfung von in Stichproben aufgenommenen Unterhaltungen und Benutzersignalen. Bei Agenten, die auf einer Knowledge Base basieren, kann die native Analyse der Abrufqualität die Kontextrelevanz, die Antwortrelevanz und die Treue (Grundlage) der Antworten bewerten.

Leitplanken erkennen unsichere, unangemessene oder schädliche Reaktionen, einschließlich Verzerrungen, beleidigender Inhalte, gefährlicher Ratschläge und Reaktionen außerhalb des Geltungsbereichs. Die Einstein Trust Layer wendet die Toxizitätserkennung zur Laufzeit auf LLM-Interaktionen an. Dies ist Ihre erste Verteidigungslinie. Verbessern Sie die Sicherheitsüberwachung durch Inhaltsfilterung, manuelle Stichprobenentnahme bei Überprüfungen, Benutzerberichterstellungsmechanismen und Fairness-Prüfungen zur Bewertung der Ergebnisverteilungen zwischen demografischen Gruppen.

Kennzahlen zur Benutzerzufriedenheit erfassen die subjektive Erfahrungsqualität. Agentforce-Feedback fließt in die generativen AI-Aktivierungs- und Feedback-Datenmodelle von Einstein (GenAIFeedback/GenAIFeedbackDetail in Data 360). Diese Modelle erfassen explizite Benutzersignale (Daumen hoch/runter, Akzeptieren/Ablehnen, Bearbeitungen und ausführliche Kommentare) aus einer menschlichen oder Systemquelle zusammen mit den Gateway-Anforderungs- und Generierungsdaten.Erfassen Sie explizites Feedback (Fragen vor der Eskalation, nach dem Ende einer Unterhaltung und durch Folgeumfragen), wo Sie es benötigen, und kombinieren Sie explizite und implizite Signale für eine umfassende Qualitätsperspektive.

Salesforce bietet verschiedene Modelloberflächen. Die generative Ebene stellt die Unterhaltungs-Überlegungen bereit, die Agenten ausführen: Von Agentforce gehostete Modelle liefern vorkonfigurierte Argumente innerhalb der Salesforce Trust Grenze und bieten externe LLMs oder Anbietern eigene Links zu LLMs (BYOLLM). Die Prognosestufe stellt die strukturierten Bewertungen bereit, auf denen Agenten ihre Entscheidungen treffen: BYOM ruft Nullkopie-Prognosebewertungen von extern gehosteten Plattformen ab und native Einstein-Modelle generieren automatisierte Bewertungen und Klassifizierungen für CRM-Objekte. Zusammen ermöglichen diese Oberflächen es einem autonomen Agenten, in natürlicher Sprache zu argumentieren, während sein Workflow auf strukturierten statistischen Daten basiert.

Überwachen Sie die Modelldrift, die angibt, dass die Leistung im Laufe der Zeit beeinträchtigt wurde oder sich die Bedingungen ändern, die angepasst werden müssen. Lesen Sie die Versionshinweise und testen Sie wichtige Anwendungsfälle in einer Sandbox, bevor jede Hauptversion in die Produktion geht. Verwenden Sie die Versionsmatrix und das Sandbox-Vorschaufenster, um Kompatibilitätsprobleme frühzeitig zu erkennen.

Leistungsverschlechterungen treten auf, wenn sich die Genauigkeit, Relevanz oder Sicherheit der Agenten im Laufe der Zeit verschlechtert. Verfolgen Sie Qualitätskennzahlen im Zeitverlauf und erkennen Sie statistisch signifikante Rückgänge. Die Leistungsverschlechterung kann durch Modellverschlechterung, veraltete Knowledge Base, fehlerhafte Eingabeaufforderungen und geänderte Nutzungsmuster oder Konzeptverschlechterungen, bei denen sich Beziehungen zwischen Eingaben und gewünschten Ausgaben entwickeln, verursacht werden.

Richten Sie die Basisleistung unmittelbar nach der ersten Agentenbereitstellung ein und messen Sie Genauigkeit, Relevanz, Sicherheit und Zufriedenheit in repräsentativen Testfällen. Werten Sie diese regelmäßig mit denselben Testfällen erneut aus, um Leistungsänderungen unabhängig von Nutzungsmusterverschiebungen zu erkennen.

Warnung, wenn die Qualitätskennzahlen über akzeptable Schwellenwerte zurückgehen. Definieren Sie Schwellenwerte anhand der Toleranz für Geschäftsauswirkungen. Einige Anwendungsfälle tolerieren eine moderate Qualitätsminderung, andere erfordern eine sofortige Reaktion auf einen Rückgang.

Verteilungsabweichungen treten auf, wenn sich Benutzereingabemuster erheblich von Trainings- oder Tuning-Datenverteilungen ändern. Die Verteilungsabweichung beeinträchtigt die Leistung, wenn Agenten Eingabetypen finden, für die sie nicht vorgesehen sind. Überwachen Sie Eingabemerkmale wie die Fragenlänge, die Themenverteilung, die Sprachkomplexität und die Domänenterminologie, um signifikante Verschiebungen zu erkennen.

Vergleichen Sie aktuelle Eingabeverteilungen mit historischen Grundlagen. Große Verteilungsschichten können auf neue Anwendungsfälle, ein geändertes Benutzerverhalten oder sich entwickelnde Geschäftsprozesse hindeuten. Für Verteilungsschichten können sofortige Aktualisierungen, Knowledge Base-Erweiterungen oder Erweiterungen der Agentenfunktionen erforderlich sein.

Verhaltensabweichungen treten auf, wenn sich die Antwortmuster der Agenten unerwartet ändern. Überwachen Sie die Antworteigenschaften, einschließlich der durchschnittlichen Antwortlänge, der Aktionsaufrufraten, der Eskalationshäufigkeiten und der Fehlermuster. Signifikante Verhaltensänderungen können auf Aufforderungsprobleme, Modellprobleme oder zugrunde liegende Systemänderungen hinweisen.

Legen Sie Verhaltensgrundlagen frühzeitig in der Produktion fest und erfassen Sie normale Betriebseigenschaften wie regelmäßige Leistungsmuster, Werkzeugnutzung und Entscheidungspfade. Diese Grundlagen werden zum Maßstab für die spätere Anomalieerkennung. Vergleichen Sie das laufende Verhalten mit den Grundlagen und warnen Sie, wenn Abweichungen die erwartete Variation überschreiten.

Automatische Warnungen ermöglichen eine proaktive Driftreaktion. Konfigurieren Sie Benachrichtigungen, die ausgelöst werden, wenn Drift-Kennzahlen Schwellenwerte überschreiten, die Untersuchungen und potenzielle Korrekturen auslösen, einschließlich Aufforderungsverfeinerungen, Knowledge Base-Aktualisierungen, Testsatzerweiterungen oder erneuter Schulung des BYOM-Modells.

Erkennen Sie automatisch ungewöhnliches Agentenverhalten, das untersucht werden muss.

Kostenanomalien, einschließlich Spitzen beim Tokenverbrauch, Rückschlussratenerhöhungen oder Gesamtkostenbeschleunigung. Kostenspitzen können auf Probleme bei der Eingabeaufforderung hindeuten, die zu übermäßiger Tokengenerierung, Missbrauch oder Missbrauch führen, wodurch unerwartete Nutzungen verursacht werden, oder Infrastrukturprobleme, die redundante Anrufe verursachen.

Überwachen Sie Token-Verbrauchsverteilungen, die Ausreißerunterhaltungen erkennen. Untersuchen Sie Unterhaltungen, bei denen das 10-fache der typischen Tokenanzahl verbraucht wird, um nachzuvollziehen, ob es sich um legitime Edge-Kundenvorgänge oder Probleme handelt, die behoben werden müssen.

Fehlerratenspitzen, einschließlich plötzlicher Anstiege der Fehlerraten, neue Fehlertypen, die auf der Grundlage nicht vorhanden waren, oder lokalisierte Fehlerkonzentrationen, die sich auf bestimmte Benutzer, Agenten oder Anwendungsfälle auswirken. Fehlerspitzen gehen häufig vor Qualitätseinbußen, die Kunden anzeigen können. Die proaktive Erkennung ermöglicht die Behebung vor weitreichenden Auswirkungen.

Änderungen des Antwortmusters, einschließlich plötzlicher Verschiebungen der Antwortlänge, der Aktionsaufrufhäufigkeit oder der Eskalationsrate. Musteränderungen können auf Aufforderungsprobleme, Änderungen am Modellverhalten oder sich ändernde Nutzungsmuster hinweisen.

Die Unterhaltungsbeendigung nimmt zu, wenn Benutzer Unterhaltungen mit höheren Raten abbrechen, was auf eine verringerte Qualität, eine höhere Latenz oder Funktionslücken hindeutet. Verfolgen Sie die Aufgabe nach Unterhaltungsphase und ermitteln Sie, ob Benutzer die Aufgabe während der ersten Interaktion, während der Unterhaltung oder nach Abschluss der Aufgabe verlassen. Überwindungsmuster zeigen spezifische Verbesserungsmöglichkeiten auf.

Entwerfen Sie eine Benachrichtigungsarchitektur, die zwischen schneller Benachrichtigung und Benachrichtigungsmüdigkeit abgleicht. Leiten Sie wichtige Agentenfehler sofort an Techniker im Bereitschaftsdienst weiter. Leiten Sie Warnungen zur Qualitätsminderung während der Geschäftszeiten an Produktteams zur Untersuchung weiter. Aggregieren Sie kleinere Anomalien zu täglichen Auszügen für die Trendanalyse.

Eingabeaufforderungen, Konfigurationen und Modellmetadaten zur Versionskontrolle ermöglichen die Wiederherstellung, A/B-Tests und die Wartung von Prüfprotokollen.

Bei Eingabeaufforderungsvorlagen handelt es sich um im Eingabeaufforderungsgenerator erstellte wiederverwendbare Eingabeaufforderungen, die das Ziel, die Einschränkungen und die Markenrichtlinien des Agenten sowie Platzhalter für dynamische Kontextdaten wie Kunden- oder Produktdetails definieren. Speichern Sie Eingabeaufforderungsvorlagen in Git zusammen mit Anwendungscode und behandeln Sie Eingabeaufforderungen als wichtige Anwendungslogik, die dieselbe Strenge wie Code verdient. Aufforderungsänderungen durchlaufen Codeüberprüfung, Tests und kontrollierte Bereitstellung.

Verwenden Sie den Eingabeaufforderungsgenerator für die iterative Eingabeaufforderungsentwicklung mit Versionsverlauf und Testfunktionen. Wenn Sie Eingabeaufforderungsvorlagen als Agentenaktionen verwenden, zeigen Sie eine Vorschau der Vorlage im Eingabeaufforderungsgenerator an, um sicherzustellen, dass Briefvorlagenfelder richtig aufgelöst werden. Verwenden Sie dann das Testcenter, um durchgängige Tests auszuführen, die bestätigen, dass der Agent die Aktion ausgewählt und die richtigen Ausgaben generiert hat.

Exportieren Sie Eingabeaufforderungen für die Produktion in die Versionsverwaltung und erstellen Sie eine Synchronisierung zwischen der Entwicklung des Eingabeaufforderungsgenerators und quellgesteuerten Bereitstellungspipelines.

Die Konfigurationsverwaltung verfolgt die Modellauswahl, Temperatureinstellungen, Abrufkonfigurationen und Funktionskennzeichnungen. Speichern Sie Konfigurationen als Code, damit Sie umgebungsspezifische Werte verwenden, Bereitstellungen automatisieren und Konfigurationsabweichungen erkennen können.

Die semantische Versionierung gilt für Agentenversionen. Hauptversionen weisen auf fehlerhafte Änderungen wie geänderte Eingabe-/Ausgabeverträge oder erheblich geändertes Verhalten hin. Nebenversionen weisen auf Funktionsergänzungen oder Verbesserungen hin, die die Kompatibilität aufrechterhalten. Patch-Versionen weisen auf Fehlerbehebungen hin. Durch die Versionsnummerierung werden die Auswirkungen von Änderungen für Betriebsteams und Benutzer mitgeteilt.

Implementieren Sie die semantische Versionierung für Agentenkomponenten, einschließlich Aufforderungsvorlagen, Agentenkonfigurationen und Knowledge Bases. Versionsnummern in Protokollen ermöglichen die Vorfallskorrelation mit bestimmten Bereitstellungen.

Die Änderungsdokumentation erfasst die Gründe für Aufforderungsänderungen, Konfigurationsänderungen und Modellaktualisierungen. Dokumentieren Sie, was sich geändert hat, warum sich die Änderung geändert hat, welche Tests die Änderung validiert haben und welche Wiederherstellungsverfahren vorhanden sind. Die Änderungsdokumentation beschleunigt die Untersuchung von Vorfällen und den Knowledge Transfer.

Verwalten Sie eine umfassende Registrierung mit Modellversionen, Aufforderungen, Konfigurationen und Bereitstellungsverlauf.

In der Modellregisterkarte wird erfasst, welche Modellversionen wo bereitgestellt werden. Dazu zählen die Modellfamilie, die spezifische Version, der Feinabstimmungsstatus, die Bereitstellungsumgebung (Produktion, Staging und Entwicklung), das Bereitstellungsdatum und das verantwortliche Team. Die Registrierung bietet eine einzige Informationsquelle für den Status der Agenteninfrastruktur.

Die Bereitstellungsverfolgung protokolliert jede Agentenbereitstellung, einschließlich der bereitgestellten Version, der Umgebung, des Bereitstellungszeitstempels, des bereitgestellten Benutzers, der erhaltenen Genehmigungen und des Bereitstellungsergebnisses. Verwenden Sie den Bereitstellungsverlauf, um die Auswirkungen zu bewerten, wenn Probleme auftreten (z. B. “Welche Agenten wurden vor Beginn dieses Vorfalls bereitgestellt?”) und um Compliance-Berichte zu unterstützen.

Die Abhängigkeitsverfolgung ordnet Beziehungen zwischen Agenten, Aufforderungen, Knowledge Bases, Aktionen und Integrationen zu. Wenn freigegebene Knowledge Base-Aktualisierungen vorgenommen werden, zeigt die Abhängigkeitsverfolgung, welche Agenten betroffen sind. Wenn sich die externe Integration ändert, identifiziert die Abhängigkeitsverfolgung die betroffenen Agenten.

Dokumentieren Sie Abhängigkeiten explizit, statt sie bei Vorfällen zu entdecken. Erstellen Sie Abhängigkeitszuordnungen, die über Entwicklungs- und Bereitstellungsprozesse verwaltet werden.

Abschreibungsrichtlinien definieren Lebenszyklen für Modellversionen, einschließlich Supportdauer, Abschreibungszeitachse und Migrationsanforderungen. Klare Abschreibungsrichtlinien verwalten die technischen Schulden und verhindern die unbegrenzte Unterstützung alter Modellversionen. Erstellen Sie einen Abschreibungsplan, der die Zeitachsen ausreichend im Voraus kommuniziert und geplante Migrationen anstelle von Notfallreaktionen auf erzwungene Abschreibungen ermöglicht. Eine gut kommunizierte und durch Policen unterstützte Mindestankündigungsfrist bietet eine angemessene Migrationszeit für wichtige Änderungen.

Mit Rollback-Verfahren können Teams sich schnell von problematischen Bereitstellungen erholen. Dokument-Rollback-Verfahren für jeden Agenten und beinhalten Folgendes:

Bedingungen, die ein Rollback auslösen
Auf welche Version zurückgegriffen werden soll
Ausführen des Rollbacks
Wer autorisiert und führt das Rollback aus?
Welche Tests bestätigen, dass die Wiederherstellung erfolgreich war, und welche Teams benachrichtigt werden sollen.

Testen Sie Rollback-Verfahren regelmäßig in Nicht-Produktionsumgebungen, um sicherzustellen, dass sie funktionieren, bevor Sie bei Produktionsvorfällen darauf angewiesen sind. Proben Sie mit simulierten Bereitstellungen, damit das Team genau weiß, was zu tun ist. Nicht getestete Wiederherstellungsverfahren schlagen oft fehl, wenn sie am dringendsten benötigt werden.

Erhalten Sie die Agentenqualität durch fortlaufende Schulungs-, Feinabstimmungs- und Optimierungs-Workflows.

Die Feedbacksammlung erfasst systematisch Benutzerfeedback, Korrekturen menschlicher Überprüfungen, Qualitätsbewertungen und Ergebnismessungen. Feedback bietet Rohmaterial für Verbesserungen. Ohne systematische Sammlung wird Verbesserung zu Rätselraten. Sammeln Sie explizites Feedback durch Fragen, indem Sie Fragen vor der Eskalation, nach dem Ende einer Unterhaltung oder durch Folgeumfragen stellen. Sammeln Sie implizites Feedback über Abschlussraten, Eskalationshäufigkeiten und Wiederholungsmuster. Kombinieren Sie explizite und implizite Signale, um eine umfassende Qualitätsperspektive zu erhalten.

Die Datenkuratierung gewährleistet hochwertige Schulungs-Datensets durch Kuratierung, Qualitätsprüfung und Verzerrungsprüfung. Die Trainingsdatenqualität bestimmt direkt die Modellqualität. Schlechte Daten führen zu unzuverlässigen Modellen. Hervorragende Daten ermöglichen eine außergewöhnliche Leistung.

Pflegen Sie Unterhaltungsprotokolle in Trainings-Datensets durch:

Filtern nach Qualität – einschließlich hoch bewerteter Unterhaltungen und erfolgreicher Ergebnisse
Entfernen problematischer Beispiele, einschließlich Sicherheitsverstößen und Fehlern
Sicherstellen der Repräsentativität – einschließlich diverser Szenarien und Randfälle
Duplizieren – Entfernen nahezu identischer Beispiele

Anpassen von Agenten an Ihre Domäne – spezialisiertes Vokabular, einzigartige Geschäftsprozesse, organisationsspezifisches Knowledge – vor allem durch die in Data 360 basierende abruferweiterte Generierung (RAG) und die Aufforderungsabstimmung, den nativen Pfad von Salesforce.

In Salesforce ist kein generatives Modell optimiert. Sie wählen Modelle über AI-Modelle und Eingabeaufforderungsgenerator aus und konfigurieren sie. Wenn die Erdung nicht ausreicht, passen Sie die Einstellungen extern an und stellen Sie dann eine Verbindung über BYOLLM her.

Die Eingabeaufforderungsverfeinerung verbessert Eingabeaufforderungen iterativ anhand von Leistungsdaten mit dem Eingabeaufforderungsgenerator. Das Prompt Engineering ist kontinuierliche Praxis und keine einmalige Übung. Wenn sich Nutzungsmuster ändern, sich Geschäftsprozesse ändern und sich die Erwartungen der Benutzer ändern, müssen Eingabeaufforderungen angepasst werden, um die optimale Leistung aufrechtzuerhalten.

Richten Sie einen regelmäßigen Rhythmus für die Überprüfung von Aufforderungen ein, in dem aktuelle Unterhaltungen, Qualitätskennzahlen und Benutzerfeedback untersucht und Verbesserungsmöglichkeiten identifiziert werden. Implementieren Sie Aufforderungsänderungen inkrementell mit A/B-Tests, die Verbesserungen vor der vollständigen Einführung validieren.

Die Auswertungsautomatisierung führt eine Qualitätsauswertung für ausgesetzte Testsätze aus, um eine schnelle Bewertung von Verbesserungskandidaten zu ermöglichen. Die automatisierte Auswertung bietet objektive Messwerte, die die subjektive menschliche Bewertung ergänzen.

Verwalten Sie Testsets, die glückliche Pfade, Edge-Kundenvorgänge, kontradiktorische Eingaben und historische Problemszenarien abdecken. Legen Sie die Testautomatisierung so fest, dass Ihre Testszenarien in einem regelmäßigen Rhythmus ausgeführt werden. Fügen Sie die automatisierte Ergebnisüberwachung, Schwellenwerte und Benachrichtigungen hinzu, um Administratoren bei Anomalien zu benachrichtigen. Diese automatisierten Tests sind entscheidend für die Erkennung negativer Auswirkungen durch externe Faktoren wie die Modellabweichung.

Erweitern Sie Testsets kontinuierlich, wenn neue Edge-Kundenvorgänge in der Produktion angezeigt werden. Testautomatisierung ist wichtig. Führen Sie jedoch auch regelmäßige manuelle Stichprobenüberprüfungen, einmalige Tests und Gorilla-Tests aus, um sicherzustellen, dass Ihre Agentenbereitstellung mit Edge-Kundenvorgängen Schritt hält.

Stellen Sie Agentenänderungen schrittweise bereit und überwachen Sie die Qualität vor der vollständigen Einführung, um den Explosionsradius von Problemen zu begrenzen. Wenn sich eine Änderung auf mehrere Bereiche erstreckt – Eingabeaufforderungen, Modellkonfiguration, Aktionen, Kontextbildung, Integrationen –, kann dies das Verhalten auf eine Weise beeinträchtigen, die von Tests nicht erkannt wurde. In diesem Fall deutet die daraus resultierende Qualitätsregression selten auf eine einzelne, offensichtliche Ursache hin. Senden Sie kleine Änderungen einzeln, damit eine Regression bis zu ihrer Quelle verfolgt werden kann, und geben Sie sie zunächst für einen begrenzten Datenverkehr frei, um die Auswirkungen während der Diagnose einzudämmen.

Funktionskennzeichnungen entkoppeln die Bereitstellung von der Version, indem Agenten mit deaktivierten Funktionen hinter der Konfiguration bereitgestellt werden. Implementieren Sie Funktionskennzeichnungen mithilfe von Logik oder benutzerdefinierten Metadatentypen oder benutzerdefinierten Einstellungen. Funktionskennzeichnungen ermöglichen Tests in der Produktionsumgebung, ohne dass Benutzer Funktionen anzeigen müssen, schrittweise Einführungen für bestimmte Benutzersegmente, A/B-Tests zum Vergleichen von Implementierungen und sofortige Wiederherstellung durch Deaktivieren von Kennzeichnungen ohne erneute Bereitstellung.

Verwenden Sie Funktionskennzeichnungen für wichtige Agentenänderungen, bei denen der Explosionsradius eines Fehlers schwerwiegend sein könnte, beispielsweise Änderungen, die sich auf geschäftskritische Agenten auswirken, Neue Argumentationsmuster mit unsicherem Produktionsverhalten Integrationen in externe Systeme, bei denen Interaktionsmuster von Tests abweichen können.

Bei kanarischen Bereitstellungen werden Agentenänderungen an kleinen Benutzerteilmengen zunächst überwacht, bevor Fehlerraten, Qualitätskennzahlen und die Leistung breiter eingeführt werden. Verwenden Sie Berechtigungssätze zum Steuern von Kanarienvogel-Bereitstellungen – schränken Sie den Agentenzugriff auf eine Teilmenge von Benutzern ein oder filtern Sie innerhalb der Orchestrierungslogik anhand von Benutzerattributen.

Überwachen und messen Sie Erfolgsraten, Antwortqualität und Benutzerfeedback. Vergleichen Sie kanarische Kennzahlen mit Kontrollgruppen mithilfe der vorherigen Agentenversion. Erweitern Sie die Einführung nur, wenn Canary eine gleichwertige oder verbesserte Leistung aufweist.

Bei A/B-Tests werden Agentenvariationen verglichen, die Qualität, Kosten und Benutzerzufriedenheit messen. A/B-Tests bieten empirische Nachweise für Verbesserungsentscheidungen. Stellen Sie Varianten für zufällig ausgewählte Benutzerteilmengen bereit, um die statistische Gültigkeit sicherzustellen. Messen Sie die Ergebnisse über mehrere Dimensionen hinweg (Genauigkeit, Zufriedenheit, Kosten und Latenz) und bieten Sie so einen umfassenden Vergleich.

Definieren Sie Erfolgskriterien und -hypothesen, bevor Sie mit A/B-Tests beginnen. Eindeutige Kriterien verhindern mehrdeutige Ergebnisse, bei denen sich einige Kennzahlen verbessern, während andere sich verschlechtern. Die Erfolgskriterien sollten mit den Geschäftszielen übereinstimmen (z. B. “Variante B muss innerhalb von 2 % der Genauigkeit von Variante A entsprechen und gleichzeitig die Kosten um 15 % senken”).

Bei Champion-Herausforderer-Tests werden im Vergleich zu aktuellen Champions-Versionen verbesserte Agentenversionen für Teilmengen des Datenverkehrs bereitgestellt. Das Champion-Herausforderer-Muster steuert das Verbesserungsrisiko, indem die bewährte Version als Ausweichversion beibehalten wird. Wenn der Herausforderer unterdurchschnittlich ist, wechseln Sie zum Champion ohne Auswirkungen auf den Benutzer. Wenn der Herausforderer besser abschneidet, befördern Sie ihn zum neuen Champion.

Legen Sie objektive Höherstufungskriterien fest, einschließlich der Mindeststichprobengröße für die statistische Validität, der Qualitätsschwellen, die Herausforderer überschreiten müssen, und der Bewertungsdauer vor Höherstufungsentscheidungen. Dokumentieren Sie Sonderangebotsentscheidungen, die einen Überprüfungsprotokoll dazu erstellen, warum sich Agentenversionen geändert haben.

Richten Sie die Vorfallserkennung ein, um Agentenbetriebsprobleme schnell durch eine umfassende Überwachung zu identifizieren.

Die Agentenfehlermodi unterscheiden sich von herkömmlichen Anwendungsfehlern. Allgemeine Fehlermodi:

Halluzinationen – Generieren plausibler, aber falscher Informationen
Antworten außerhalb des Themas – Missverständnis des Benutzer-Intents
Übermäßiger Kostenverbrauch – Generierung von Token für Ausreißer
Zeitüberschreitungsfehler – Rückschluss dauert zu lange
Berechtigungsfehler – Versuch nicht autorisierter Aktionen
Integrationsfehler – Nichtverfügbarkeit des externen Systems
Sicherheitsverstöße – Generieren unangemessener Inhalte

Erkennen Sie Fehler durch automatische Überwachungswarnungen zu Fehlerraten, Verschlechterung der Qualitätskennzahl, Kostenanomalien, Latenzerhöhungen und Benutzereskalationen. Ergänzen Sie die Funktionen mit Selbstberichterstellungsmechanismen für Benutzer, einschließlich Feedbackanforderungen und klarer Anleitungen dazu, wie und wo Sie Feedback geben können, damit Sie gemeldete Lücken in der Automatisierung beheben können.

Die Schweregradklassifizierung leitet Vorfälle mit geeigneter Dringlichkeit an die entsprechenden Responder weiter. Kritische Vorfälle deuten darauf hin, dass die Produktion nicht verfügbar ist und viele Benutzer betroffen sind, dass das Risiko von Datenbeschädigungen durch Agentenaktionen, Sicherheitskompromittierungen oder Sicherheitsverstöße sofort reagiert werden muss. Hoher Schweregrad deutet auf eine verschlechterte Qualität hin, die sich auf geschäftskritische Agenten oder erhebliche Kostenüberschreitungen auswirkt. Mittlerer Schweregrad gibt an, dass während der Geschäftszeiten vereinzelte Probleme oder sich nähernde Schwellenwerte untersucht werden müssen. Geringer Schweregrad deutet auf kleinere Probleme hin, die außerhalb des Vorfallsverwaltungsprozesses verfolgt werden.

Definieren Sie Schweregradkriterien objektiv anhand der Benutzerauswirkung, des Explosionsradius, des Datenintegritätsrisikos und der Wiederherstellungsdringlichkeit. Objektive Kriterien verhindern eine Untereskalation realer Probleme und eine Übereskalation kleinerer Probleme. Verwalten Sie die Dokumentation zu den Ergebnissen der Vorfallsbehebung, um den Prozess kontinuierlich zu verbessern.

Anfängliche Antwortverfahren leiten sofortige Maßnahmen zur Stabilisierung der Situation an. Zu den Verfahren zählen:

Deaktivieren des fehlschlagenden Agenten – Aktivierung des Leistungsschalters
Weiterleiten von Benutzern an Ausweichoptionen – menschliche Übergabe, einfacherer Agent, statische Antworten
Erfassen von Diagnoseinformationen – aktuelle Unterhaltungen, Fehlerprotokolle, Ressourcenkennzahlen
Benachrichtigen von Beteiligten – Technikern auf Abruf, Produktinhabern, betroffenen Benutzern
Initiieren der Kommunikation mit Vorfällen – Aktualisierungen der Statusseite, interne Koordinierungskanäle
Dokumentieren Sie Verfahren für die erste Reaktion als Runbooks, die eine schnelle Ausführung ermöglichen, ohne dass eine ereignisspezifische Untersuchung erforderlich ist.
Runbooks müssen von Bereitschaftsingenieuren ohne fundierte Agentenkenntnisse ausgeführt werden können.

Verhindern Sie eskalierende Fehler und behalten Sie die Teilfunktionalität bei Agentenvorfällen bei.

Das Leistungsschaltermuster deaktiviert automatisch fehlerhafte Agenten, wodurch wiederholte Fehler und Benutzerauswirkungen verhindert werden, während Probleme behoben werden. Implementieren Sie Leistungsschalter, die Fehlerraten überwachen und öffnen (Deaktivierungsagent), wenn die Fehlerrate den Schwellenwert für einen längeren Zeitraum überschreitet.

Konfigurieren Sie Leistungsschalter mit Fehlerschwellenwert, Dauerfenster und Wiederherstellungstests. Beispielsweise eine Fehlerrate von 50 % mit einem rollierenden Zeitfenster von fünf Minuten und eine regelmäßige Testversion, bei der getestet werden muss, ob der Agent wiederhergestellt wurde. Leiten Sie Anforderungen beim Öffnen des Schaltkreises an Ausweichoptionen weiter. Nach einer Zeitüberschreitung geht die Schaltung in einen halboffenen Zustand über, in dem Testanforderungen durchlaufen werden können. Wenn Testanforderungen konsistent erfolgreich sind, schließen Sie den Stromkreis und setzen Sie den normalen Betrieb fort.

Ausweichhierarchien sorgen für eine anmutige Verschlechterung, wenn primäre Agenten fehlschlagen. Entwerfen Sie Ausweichsequenzen, die immer einfachere Optionen bieten, bis eine akzeptable Antwort erreicht ist. Beispiel für eine Ausweichhierarchie: Primärer anspruchsvoller Agent → Einfacherer Backup-Agent → Statische Antworten auf häufig gestellte Fragen → Übergabe durch Menschen.

Implementieren Sie Ausweichlogik in der Orchestrierungsebene und nicht in Agenten, um ein konsistentes Verhalten im gesamten Agenten-Ökosystem zu ermöglichen. Testen Sie Ausweichpfade regelmäßig und validieren Sie sie bei Bedarf.

Die menschliche Übergabe eskaliert an menschliche Agenten, wenn AI-Agenten Anforderungen nicht verarbeiten können. Entwerfen Sie Übergabe-Workflows, die den Unterhaltungskontext beibehalten, den Übergabegrund kommunizieren, die Weiterleitung an geeignete menschliche Agenten mit relevantem Fachwissen vornehmen und die Übergabehäufigkeit verfolgen, um Verbesserungsmöglichkeiten aufzuzeigen.

Überwachen Sie Eskalationsraten nach Thema, Agent und Fehlerursache. Höhere Raten weisen auf Lücken in der Agentenfunktion hin, die sofortige Verbesserungen, Knowledge Base-Erweiterungen oder Verbesserungen an Anwendungsfällen erfordern.

Durch eine empfindliche Verschlechterung wird die teilweise Funktionalität während des beeinträchtigten Betriebs beibehalten. Wenn komplexe Argumentation fehlschlägt, greifen Sie auf eine einfachere Logik zurück. Wenn Echtzeitdaten nicht verfügbar sind, verwenden Sie zwischengespeicherte Daten. Wenn externe Integrationen fehlschlagen, arbeiten Sie im schreibgeschützten Modus. Durch eine erhebliche Verschlechterung kann ein System weiterhin mit einer reduzierten Kapazität betrieben werden, statt vollständig auszufallen.

Führen Sie Überprüfungen ohne Tadel nach einem Vorfall durch, wobei Sie sich auf Systemverbesserungen konzentrieren, statt dass einzelne Fehler psychologische Sicherheit schaffen, um eine ehrliche Bewertung vorzunehmen.

Die Zeitachsenrekonstruktion erstellt eine detaillierte Sequenz von den Anfangsbedingungen über das erste Signal, die Erkennung, die Bestätigung, die Untersuchung, die Antwortaktionen, die Wiederherstellung und die Validierung. Zeitstempel für jedes Ereignis, der die Daueranalyse jeder Phase ermöglicht und aufzeigt, wo die Reaktion auf Vorfälle verzögert wurde.

Fügen Sie Folgendes in Ihre Zeitachse ein:

Was wurde kürzlich bereitgestellt (Aufforderungen, Konfigurationen, Modelle, Integrationen)?
Welche Änderungen in den Nutzungsmustern (plötzlicher Anstieg des Datenverkehrs, neue Unterhaltungstypen) wurden beobachtet?
Welche externen Faktoren haben dazu beigetragen (Serviceverschlechterung durch Drittanbieter, Plattformaktualisierungen)?
Warum ist die Erkennung langsamer als ideal?

Die Ursacheidentifikation bestimmt die direkte technische Ursache. Unterscheiden Sie die unmittelbare Ursache (Modell-Timeout) von beitragenden Faktoren (Aufforderungsdesign, das Tokenobergrenzen bei bestimmten Unterhaltungsmustern überschreitet). Die Ursachenanalyse verhindert vereinfachte Schlussfolgerungen (“der Agent hatte einen Fehler”) zugunsten spezifischer Ergebnisse, die zu einer effektiven Behebung führen.

Verwenden Sie die “Fünf Gründe”-Technik, um von Symptomen zu grundlegenden Ursachen zu bohren.

Oberflächenbeispiel: “Agent hat falsche Informationen erstellt” → “Warum? Abgerufener Kontext enthielt veraltete Daten” → “Warum? Knowledge Base wurde nicht mit aktuellen Produktänderungen aktualisiert. Für das Produktteam ist kein Prozess vorhanden, der Knowledge Base-Aktualisierungen auslöst” → Ursache: Fehlender Workflow zur Verbindung von Produktversionen mit der Knowledge Base-Wartung.

Beitragende Faktoren zeigen organisatorische, prozessbezogene oder architektonische Bedingungen auf, die die Auswirkungen von Vorfällen ermöglichen oder verstärken. Allgemeine Faktoren sind Überwachungslücken, die dazu führen, dass Probleme länger bestehen als erkannt, Testlücken, die Fehlerszenarien offen lassen, Dokumentationslücken, die die schnelle Diagnose verlangsamen, Automatisierungslücken, die manuelle Wiederherstellungsschritte erzwingen, und Architekturlücken wie einzelne Fehlerpunkte oder fehlende Redundanz.

Die Beitragsfaktorenanalyse zeigt Verbesserungsmöglichkeiten auf, die über die sofortige Behebung der Ursache hinausgehen. Die meisten Vorfälle haben mehrere beitragende Faktoren, die sich jeweils verstärken.

Bei der Erkennungsanalyse wird untersucht, wie der Vorfall erkannt wurde und ob die Erkennung schneller hätte erfolgen können. Viele Agentenvorfälle werden zuerst von Benutzern gemeldet und nicht von der automatisierten Überwachung, was auf eine Überwachungslücke hindeutet. Bestimmen: Welches Signal hätte das Problem früher erkennen sollen? Welche Überwachung würde eine schnellere Erkennung ermöglichen? Welche Warnkriterien hätten angemessen ausgelöst?

Zu den Verbesserungen der Erkennungsanalyse zählen: Hinzufügen fehlender Überwachungsabdeckungen, Abstimmen von Benachrichtigungsschwellenwerten zur Beseitigung falsch negativer Werte, Anreichern des Benachrichtigungskontexts für eine schnellere Triage und Verbessern von Dashboards zur proaktiven Problemerkennung.

Bei der Antwortauswertung wird bewertet, was gut gelaufen ist und was langsamer oder härter als nötig war. Antwortenauswertungsfragen: Waren Runbooks hilfreich und genau? Waren Eskalationspfade klar und effektiv? Wurden Rollback-Verfahren getestet und sind sie bereit? Haben Tools die erforderlichen Diagnoseinformationen bereitgestellt? War die Kommunikation rechtzeitig und effektiv?

Zu den Verbesserungen bei der Antwortauswertung zählen: Aktualisieren von Runbooks mit gewonnenen Erkenntnissen, Klären von Eskalationskriterien, regelmäßiges Testen von Rollback-Verfahren, Hinzufügen von Diagnosetools und Verbessern von Kommunikationsvorlagen für Vorfälle.

Aktionselemente geben konkrete, zugewiesene und zeitgebundene Verbesserungen an, die Wiederholungen verhindern oder künftige Reaktionen verbessern. Vermeiden Sie vage Aktionselemente wie “Überwachung verbessern” zugunsten bestimmter Aufgaben wie “Benachrichtigung hinzufügen, wenn die Agentenfehlerrate über einen Zeitraum von 10 Minuten 5 % überschreitet, zugewiesen: Alex, fällig: 2 Wochen.”

Verfolgen Sie den Abschluss von Aktionselementen in nachfolgenden Überprüfungen, um sicherzustellen, dass tatsächlich eine kontinuierliche Verbesserung eintritt. Überprüfen Sie offene Aktionselemente aus vorherigen Vorfällen während jeder Überprüfung nach dem Vorfall. Niedrige Abschlussraten deuten darauf hin, dass ein kontinuierlicher Verbesserungsprozess fehlschlägt, der Aufmerksamkeit erfordert.

Knowledge Sharing dokumentiert Überprüfungen nach Vorfällen in freigegebenen Wikis, Knowledge Bases oder Bereichen für die Zusammenarbeit mit Tags, die die Musteranalyse über mehrere Vorfälle hinweg ermöglichen. Vorfallsrückblicke sollten anhand des Fehlermodus, der betroffenen Komponenten und des Zeitraums durchsucht werden können, sodass künftige Mitarbeiter aus historischen Vorfällen lernen können.

Geben Sie Überprüfungen nach einem Vorfall weit über die unmittelbaren Vorfallsreaktionen hinaus frei. Für organisatorisches Lernen ist die Verbreitung von Informationen erforderlich. Stellen Sie wichtige Erkenntnisse zu Vorfällen in Teambesprechungen oder Lunch-and-Learning-Sitzungen vor, um Knowledge zu verbreiten und kollektive Funktionen aufzubauen.

Erforderliche Genehmigung, bevor Produktionsagenten bereitgestellt werden, um die Überprüfung, Risikobewertung und Ausrichtung der Beteiligten sicherzustellen.

Mit der Checkliste vor der Bereitstellung wird die Bereitschaft überprüft, einschließlich:

Umfangreiche Tests abgeschlossen – Funktionalität, Qualität, Sicherheit, Leistung
Sicherheitsüberprüfung genehmigt – Berechtigungsgrenzen, Datenzugriff, Aktionsautorisierung
Compliance validiert – behördliche Anforderungen, Richtlinieneinhaltung
Dokumentation abgeschlossen – Runbooks, Rollback-Verfahren, Eskalationspfade
Konfigurierte Überwachung – Qualitätskennzahlen, Fehlerraten, Kostenverfolgung
Genehmigung der Beteiligten – Produktinhaber, Sicherheit, Compliance

Die Checkliste bietet konsistente Bewertungskriterien für alle Agenten. Passen Sie die Checkliste für das Agentenrisikoprofil je nach Agentenkritikalität, Datenvertraulichkeit und Autonomiestufe unterschiedlich tief an.

Die Risikobewertung bewertet die potenziellen Auswirkungen von Agentenausfällen, einschließlich:

Blast radius (Explosionsradius): Anzahl der von einem Fehler betroffenen Benutzer
Datenvertraulichkeit – Zugriff des Datenagenten
Aktionsautorität – welche Änderungen der Agent vornehmen kann
Integrationsabhängigkeiten – Auswirkungen des Systemagenten
Wiederherstellungskomplexität – wie schwierig ist die Wiederherstellung
Compliance-Auswirkungen – welche Vorschriften gelten

Die Risikobewertung bestimmt die Genehmigungsanforderungen. Agenten mit hohem Risiko benötigen die Genehmigung durch die Geschäftsleitung, Sicherheitsüberprüfung und schrittweise Einführung, während Agenten mit niedrigem Risiko eine gleichrangige Überprüfung und Standardtests benötigen.

Genehmigungsworkflows leiten Bereitstellungsanfragen an geeignete Überprüfer weiter. Implementieren Sie Genehmigungs-Workflows mithilfe von Salesforce-Genehmigungsprozessen oder externen Bereitstellungstools. Automatisieren, verfolgen und prüfen Sie Genehmigungs-Workflows, um Compliance-Berichte und Vorfallsuntersuchungen zu ermöglichen.

Dokumentieren Sie Genehmigungsentscheidungen und erstellen Sie einen Überprüfungsprotokoll, in dem angegeben wird, wer Bereitstellungen genehmigt hat, welche Informationen für Genehmigungen relevant sind, welche Bedingungen oder Einschränkungen gelten und welche Überwachungsverpflichtungen eingegangen wurden.

Notfallumgehungsverfahren ermöglichen eine schnelle Bereitstellung während Produktionsvorfällen, wenn bei normalen Genehmigungsprozessen wichtige Korrekturen verzögert würden. Notfallverfahren sollten die Genehmigung durch die Exekutive erfordern, eine begründete Dokumentation enthalten und eine beschleunigte Überprüfung nach der Bereitstellung auslösen, um Notfalländerungen zu validieren.

Verfolgen Sie Notfallbereitstellungen getrennt von Standardversionen. Die Bereitstellungshäufigkeit für hohe Notfälle deutet auf Prozessprobleme hin, die untersucht werden müssen.

Definieren Sie Qualitätstore, die die Agenten vor der Produktionsbereitstellung passieren müssen, um zu verhindern, dass problematische Agenten Benutzer erreichen.

Durch Funktionstests können Agenten die vorgesehenen Aufgaben in repräsentativen Szenarien ordnungsgemäß ausführen. Testen Sie glückliche Pfade, die typische Interaktionen abdecken, Edge-Kundenvorgänge, die seltene, aber gültige Szenarien abdecken, Fehlerpfade, die testen, ob Agenten ungültige Eingaben ordnungsgemäß verarbeiten, und Randbedingungen, die überprüfen, ob der Agent innerhalb der Obergrenzen, Tokenobergrenzen und Datenvolumenobergrenzen liegt.

Funktionstests für Agenten unterscheiden sich von herkömmlichen Tests, da nicht deterministische Ausgaben eine genaue Übereinstimmung verhindern. Testausgabeeigenschaften (enthält erforderliche Informationen, behält den richtigen Ton bei, enthält die erforderlichen Zitate) anstelle von exaktem Text.

Bei Antwortqualitätstests werden die Antwortgenauigkeit und die Relevanz in Testszenarien bewertet. Für Qualitätstests sind menschliche Auswertungen oder Datensets mit der Basiswahrheit und erwarteten Ausgaben erforderlich. Legen Sie Mindestqualitätsschwellenwerte fest, die Agenten erfüllen müssen (z. B. “95 % Genauigkeit bei ausgesetztem Testset, null Sicherheitsverstöße, Fairness-Aktivierung zeigt keine demografischen Unterschiede von mehr als 5 %”). Verwalten und erweitern Sie Testsets kontinuierlich, wenn neue Edge-Kundenvorgänge entdeckt werden.

Durch Sicherheitstests wird überprüft, ob Agenten gefährliche, unethische oder Anforderungen außerhalb des Geltungsbereichs ablehnen. Sicherheitstests versuchen kontradiktorische Eingaben, einschließlich:

Eingabeaufforderungsversuche – Versuch, Anweisungen zu überschreiben
Jailbreak-Versuche – Versuch, Sicherheitseinschränkungen zu umgehen
Eskalation anfordern – Aufforderung zu immer sensibleren Aktionen
Anforderungen außerhalb des Umfangs – Versuche mit nicht autorisierten Aufgaben

Weisen Sie Sicherheitstests unabhängigen Teammitgliedern zu, die nicht an der Erstellung des Agenten beteiligt waren. Ziehen Sie für Agenten mit hohem Risiko Spezialisten des roten Teams hinzu.

Bei Leistungstests werden Latenz, Durchsatz und Kosten überprüft, um die Erwartungen zu erfüllen. Testen Sie unter realistischer Last, einschließlich gleichzeitiger Unterhaltungen, typischer Unterhaltungslängen und prognostiziertem Nutzungsvolumen. Leistungstests zeigen Obergrenzenprobleme, Ressourceneinschränkungen und Engpässe bei der Skalierbarkeit auf, die bei Einzelbenutzertests nicht sichtbar sind.

Messen Sie den Verbrauch der Testumgebung während der Leistungstests und verwenden Sie sie zum Projizieren des Produktionskapazitätsbedarfs.

Bei Sicherheitstests werden Berechtigungsgrenzen, Datenzugriffssteuerungen und die Aktionsautorisierung validiert. Sicherheitstests bestätigen Folgendes: Agenten können nicht auf nicht autorisierte Daten zugreifen, Agenten können keine nicht autorisierten Aktionen ausführen, die Eingabeaufforderung kann keine Berechtigungen eskalieren und die Überwachungsprotokollierung erfasst alle Agentenaktivitäten.

Integrieren Sie das Scannen statischer Codes in die Bereitstellungs-Pipeline mit dem Salesforce Code Analyzer, der Apex, Flows, Lightning und Visualforce auf Sicherheitslücken überprüft und über die Befehlszeilenschnittstelle (Command Line Interface, CLI) oder die GitHub-Aktion in kontinuierlicher Integration/Bereitstellung ausgeführt werden kann. Verwenden Sie spezielle AI-/Agentensicherheitstests, um Schwachstellen beim Einschleusen von Aufforderungen und Risiken für die Offenlegung sensibler Daten zu erkennen, da es sich hierbei um LLM-Eingabebedrohungen handelt, die während der Laufzeit außerhalb des Anwendungsbereichs der statischen Codeanalyse liegen.

Wenden Sie die Disziplin “Änderungsverwaltung” auf Agentenbereitstellungen an, um sicherzustellen, dass Änderungen dokumentiert, überprüft und kommuniziert werden.

Dokumentationsänderungserfassungen:

Was sich geändert hat – Aufforderungsänderungen, Konfigurationsaktualisierungen, Modelländerungen
Warum diese Änderung vorgenommen wurde – Qualitätsverbesserung, Kostenoptimierung, Fehlerbehebung
Welche Tests diese Änderung validiert haben – Testergebnisse, Qualitätsbewertungen, Sicherheitsscans
Welches Rollback-Verfahren vorhanden ist

Die Änderungsdokumentation ermöglicht die Untersuchung von Vorfällen, Compliance-Berichte und Knowledge Transfer. Dokumentierte Änderungen schaffen eine Lernorganisation, die auf früheren Erfahrungen aufbaut, statt Lektionen erneut zu entdecken.

Die Kommunikationsplanung benachrichtigt Beteiligte über Agentenänderungen, einschließlich betroffener Benutzer, Betriebsteams, Supportteams und Geschäftsbeteiligter. In der Mitteilung sollte Folgendes beschrieben werden: welche Änderungen sich ändern, wenn Änderungen bereitgestellt werden, welche Vorteile Benutzer sehen, welche Risiken bestehen und an wen sie sich bei Problemen wenden können.

Richten Sie Kommunikationsvorlagen für verschiedene Änderungstypen ein, um Nachrichten zu standardisieren und den Aufwand für die Bereitstellungsvorbereitung zu reduzieren.

Bereitstellungsplanungszeiträume für Agentenbereitstellungen in Zeiträumen mit geringer Nutzung, die durch Ereignisüberwachungsdaten mit tatsächlichen Nutzungsmustern informiert werden. Vermeiden Sie Bereitstellungen während der Spitzennutzung, des Monatsabschlusses, des Quartalsabschlusses oder wichtiger Geschäftsereignisse. Kommunizieren Sie Bereitstellungszeitfenster, einschließlich der erwarteten Dauer und der Zeitachse für die Rollback-Entscheidung.

Planen Sie wichtige Änderungen für Anfang bis Mitte der Woche und vermeiden Sie Bereitstellungen in der späten Woche, damit Probleme mit geeigneten Ressourcen behoben werden können. Priorisieren Sie die schnelle Wiederherstellung und die starke Überwachung nach der Bereitstellung gegenüber einer festen Kalenderregel.

Änderungsfenster und Fixierungen schützen wichtige Geschäftszeiten. Richten Sie Änderungs-Fixierungszeiträume vor wichtigen Geschäftsereignissen (Geschäftsjahresende, Produkteinführungen und wichtige Marketingkampagnen) ein, um Bereitstellungsprobleme in Zeiten mit hohem Einsatz zu vermeiden.

Kalender zum Fixieren von Dokumentenänderungen pro Jahr, in dem eingeschränkte Zeiträume ausreichend im Voraus kommuniziert werden, sodass Teams entsprechend planen können. Übermäßige Fixierungen verlangsamen die Geschwindigkeit; unzureichende Fixierungen schaffen Geschäftsrisiken.

Richten Sie Feedbackschleifen ein, die die betriebliche Telemetrie mit der Agentenverbesserung verbinden.

Die Benutzerfeedbacksammlung erfasst explizites Feedback durch Fragen oder Folgeumfragen. Sammeln Sie implizites Feedback durch Abschlussraten, Eskalation an menschliche Agenten, Wiederholungsmuster und Folgefragen, die auf Unzufriedenheit hinweisen. Kombinieren Sie explizite und implizite Signale und bieten Sie so eine umfassende Qualitätsperspektive.

Sammeln Sie Feedback inline – genau dann, wenn es geschieht, und nicht später. Die verzögerte Feedbackerfassung reduziert die Antwortraten und führt zu Rückrufverzerrungen.

Die Nutzungsanalysen zeigen reale Unterhaltungsmuster wie Themen, Fragen und Trends an, die sich wiederholen. Sie testen, ob die Komplexität eines Agenten erhalten bleibt, ob Funktionen aufgrund schlechter Auffindbarkeit ungenutzt bleiben und ob die ursprüngliche Designannahme durch die reale Nutzung validiert wird.

Abfrageunterhaltungsprotokolle, die Fragentypen, Unterhaltungsdauern, Erfolgsraten nach Thema und Benutzerzufriedenheit nach Unterhaltungsmerkmalen analysieren. Die Analyse des Nutzungsmusters führt Sie zur Optimierung, Erweiterung der Knowledge Base und Priorisierung der Funktionen.

Bei der Fehlermusteranalyse werden systematische Qualitätsprobleme identifiziert, die behoben werden müssen. Analysieren Sie die Fehlerprotokollgruppierung nach Fehlertyp, betroffenen Benutzern, Unterhaltungsmustern und zeitlicher Verteilung. Fehlermuster zeigen Aufforderungsprobleme, Knowledge Base-Lücken, Integrationsprobleme oder Randfälle, die verarbeitet werden müssen.

Priorisieren Sie die Fehlerbehebung nach Häufigkeit und Auswirkung. Hochhäufige Fehler, die viele Benutzer betreffen, verdienen sofortige Aufmerksamkeit. Fehler mit geringer Häufigkeit können je nach Geschäftsauswirkung und Behebungskosten akzeptable Randfälle darstellen.

Die Qualitätstrendüberwachung verfolgt Genauigkeit, Relevanz, Sicherheit und Zufriedenheit im Laufe der Zeit und erkennt die Verschlechterung, bevor sie schwerwiegend wird. Richten Sie Qualitätsgrundlagen nach der ersten Agentenbereitstellung ein. Überwachen Sie die anhaltende Qualität anhand von Grundlagenwarnungen, wenn Trends über akzeptable Schwellenwerte zurückgehen.

Die Qualitätsüberwachung zeigt, ob Aufforderungsänderungen, Modellaktualisierungen oder Knowledge Base-Änderungen die Leistung verbessern oder beeinträchtigen, wodurch datengesteuerte Verbesserungsentscheidungen ermöglicht werden.

Verfolgen Sie Experimente systematisch, um Verbesserungsentscheidungen mit empirischen Nachweisen zu treffen.

Das Experiment-Framework bietet eine konsistente Struktur für Testverbesserungen, einschließlich:

Hypothese – welche Verbesserung wird erwartet
Experimentelles Design – Bereitstellung von Varianten
Kennzahlen – welche Ergebnisse gemessen werden
Stichprobengröße: Anzahl der für die statistische Validierung erforderlichen Interaktionen
Erfolgskriterien – welche Ergebnisse rechtfertigen eine Höherstufung

Dokumentexperimente vor der Ausführung verhindern eine mehrdeutige Interpretation der Ergebnisse. Vordefinierte Erfolgskriterien ermöglichen klare Sonderangebotsentscheidungen und vermeiden lange Debatten darüber, ob die Ergebnisse “gut genug” sind.

Bei der Variantenverfolgung wird protokolliert, welche Benutzer welche Varianten erhalten haben, wodurch die Ergebniskorrelation aktiviert wird. Verfolgen Sie die Variantenzuweisung in Unterhaltungsmetadaten, um Qualität, Kosten und Zufriedenheit nach Variante zu analysieren.

Durch die statistische Validierung wird sichergestellt, dass Experimente lange genug ausgeführt werden und eine ausreichende Stichprobengröße für zuverlässige Schlussfolgerungen vorhanden ist. Berechnen Sie die erforderliche Stichprobengröße vor Experimenten anhand der erwarteten Effektgröße, des statistischen Leistungsbedarfs und der akzeptablen Fehlerraten. Unzureichende Stichproben führen zu verrauschten Ergebnissen, die zu schlechten Entscheidungen führen.

Die Optimierung mehrarmiger Banditen ordnet während der Experimente dynamisch mehr Datenverkehr zu leistungsstärkeren Varianten zu. Mehrarmige Banditen-Ansätze reduzieren die Opportunity-Kosten für Experimente, indem sie die Exposition gegenüber minderwertigen Varianten reduzieren und dennoch genügend Daten für statistische Analysen erfassen.

Im Experimentkatalog werden die Varianten, Ergebnisse und Entscheidungen jedes Experiments protokolliert. Sie verhindert, dass Teams fehlgeschlagene Ansätze erneut testen, verteilt Lerninhalte in der gesamten Organisation und erstellt einen freigegebenen Datensatz darüber, was tatsächlich funktioniert.

Operational Excellence für Agentensysteme erfordert die Erweiterung traditioneller DevOps-Praktiken, um spezifische AI-Eigenschaften zu berücksichtigen. Die umfassende Beobachtbarkeit ermöglicht das Verständnis des Verhaltens von neu auftretenden Agenten. Ein systematisches Lebenszyklusmanagement gewährleistet Qualität, Sicherheit und Kostenkontrolle. Vorfallsreaktionsverfahren betreffen agentenspezifische Fehlermodi. Durch die kontinuierliche Verbesserung wird die betriebliche Erfahrung in Organisationsfähigkeit umgewandelt.

Wichtige Vorgehensweisen für Operational Excellence in Agentensystemen:

Protokollieren Sie vollständige Unterhaltungen, einschließlich Eingaben, Ausgaben, Argumentationsverfolgungen, Aktionen und Ergebnissen.
Überwachen Sie die Antwortqualität kontinuierlich durch Kennzahlen zu Genauigkeit, Relevanz, Sicherheit und Zufriedenheit.
Erkennen Sie Modellabweichungen und Verhaltensänderungen durch Vergleiche der Grundlagen und Anomalienerkennung.
Eingabeaufforderungen, Konfigurationen und Modelle für die Versionskontrolle, die die Wiederherstellung und A/B-Tests ermöglichen.
Implementieren Sie die schrittweise Einführung mit Funktionskennzeichnungen und Kanarienvogelbereitstellungen, die den Explosionsradius begrenzen.
Entwerfen Sie Leistungsschalter und Ausweichhierarchien, die eskalierende Agentenausfälle verhindern.
Führen Sie fehlerfreie Überprüfungen nach einem Vorfall durch, die sich auf systematische Verbesserungen konzentrieren.
Richten Sie Qualitäts-Gates und Genehmigungsprozesse ein, die verhindern, dass problematische Agenten in die Produktion gelangen.
Erstellen Sie Feedbackschleifen, die die betriebliche Telemetrie mit der Agentenverbesserung verbinden.
Verfolgen Sie Experimente systematisch mithilfe empirischer Nachweise, um Verbesserungsentscheidungen zu treffen.

Organisationen, die in operative Spitzenleistungen für Agenten investieren, erhalten einen nachhaltigen Wettbewerbsvorteil durch zuverlässige, hochwertige AI-Funktionen, die sich kontinuierlich mit den Geschäftsanforderungen weiterentwickeln.

Teilen Sie uns Ihr Feedback zum Well-Architected Framework mit.