In der traditionellen Softwareentwicklung bietet der Software Development Lifecycle (SDLC) einen strukturierten, phasenweisen Ansatz zum Erstellen von Anwendungen. Sie schafft Qualität, reduziert Risiken und bietet einen klaren Fahrplan von der Idee bis zur Veröffentlichung. Der Agent Development Lifecycle (ADLC) ist eine ähnliche Methode, die speziell auf die einzigartigen Komplexitäten der Erstellung autonomer Agenten zugeschnitten ist.

Agenten sind keine passiven Anwendungen, sondern Systeme, die in dynamischen Ausführungsumgebungen grundlegend, handelnd und lernend sind. Ihr nichtdeterministisches Verhalten macht traditionelle Qualitätssicherung unzureichend. Der Agent Development Lifecycle (ADLC), der von Plattformen wie Agentforce unterstützt wird, befasst sich in fünf Phasen damit: Idee und Design, Entwicklung ("innere Schleife"), Test und Validierung, Bereitstellung und kontinuierliche Überwachung und Optimierung ("äußere Schleife").

Dieses Dokument dient Entwicklern und Enterprise-Architekten als umfassende Anleitung, die bereits mit den Feinheiten des Software Development Lifecycle (SDLC) vertraut sind und ihr Fachwissen auf agentenbasierte Systeme erweitern möchten. Unser primäres Ziel ist es, ein schnelles Verständnis des Agent Development Lifecycle (ADLC) zu ermöglichen, indem die wichtigsten Unterschiede zu traditionellen SDLC-Methoden hervorgehoben werden und ein strukturiertes Framework für die Konzeptionierung des gesamten Prozesses der Erstellung, Bereitstellung und Verwaltung intelligenter Agenten bereitgestellt wird.

Das Dokument ist in drei verschiedene Kapitel unterteilt, die jeweils darauf ausgelegt sind, Ihr Knowledge und Ihre praktischen Fertigkeiten schrittweise zu erweitern:

• Kapitel 1: Das ADLC-Framework. In diesem Kapitel wird der Agent Development Lifecycle (ADLC) vorgestellt, in dem die Unterschiede zum SDLC aufgrund der besonderen Herausforderungen bei der Entwicklung autonomer Agenten erläutert werden. Es schafft ein Framework für das Entwerfen, Entwickeln, Testen und Bereitstellen von Agenten.
• Kapitel 2: Die Agentforce Platform. In diesem Kapitel wird Agentforce vorgestellt, eine einheitliche Plattform, die den gesamten Lebenszyklus der Agentenentwicklung optimiert und beschleunigt. Agentforce bietet Tools für das Design, die Datenverarbeitung, die Modellschulung, die Bereitstellung und die kontinuierliche Überwachung von Agenten. Dadurch werden komplexe Aufgaben vereinfacht und die Effizienz verbessert.
• Kapitel 3: Pro-Code-Implementierung. In dieser Anleitung werden die Pro-Code-Tools von Agentforce verwendet, um praktische schrittweise Anleitungen und Beispiele für die Agentenentwicklung bereitzustellen. Sie deckt den gesamten Lebenszyklus der Agentenentwicklung ab, vom Prototyping und Funktionsengineering über die Modellbereitstellung bis hin zur Leistungsoptimierung und -wartung. So erhalten Entwickler die Fertigkeiten, Agenten für die Produktion zu erstellen.

In diesem Dokument soll Ihnen das theoretische und praktische Knowledge der Pro-Code-Tools von Agentforce vermittelt werden. Sie lernen, Agenten effizient, sicher und zuverlässig zu erstellen, bereitzustellen und zu überwachen, erhalten ein umfassendes Verständnis des ADLC und maximieren das Potenzial von Agentforce bei der Entwicklung intelligenter Agenten.

Die nichtdeterministische Natur von AI-Agenten erfordert ein spezielles Entwicklungs-Framework. In diesem Kapitel wird dieses Framework durch Einführung des Agent Development Lifecycle (ADLC) beschrieben. Dieses Kapitel bietet einen umfassenden Überblick über die fünf Kernphasen des ADLC, von der ersten Idee und dem Design bis hin zur kontinuierlichen Überwachung und Optimierung. In diesem Kapitel werden die grundlegenden Knowledge vermittelt, die zum Erstellen zuverlässiger und zuverlässiger Agenten erforderlich sind.

In diesem Abschnitt werden SDLC-Konzepte den fünf Phasen des ADLC zugeordnet.

Dies ist die grundlegende Phase, in der der strategische Zweck und die operativen Grenzen eines Agenten definiert sind. Eine gut strukturierte Designphase ist der wichtigste Schritt für den Erfolg, da sie eine Geschäftsanforderung in eine technische Blaupause übersetzt. Der Designprozess stellt sicher, dass der Agent nicht nur funktional, sondern auch verantwortungsvoll ist und den Erwartungen der Benutzer entspricht. Hier werden das Was und das Warum festgelegt, bevor Code geschrieben wird.

1. Definieren von Agentenzielen und -funktionen: Zunächst müssen Sie das primäre Ziel des Agenten und die spezifischen, messbaren Aufgaben, die er ausführen wird, klar formulieren. Dazu müssen die Rolle (z. B. "Kundendienstassistent"), die Kernfunktionen (z. B. "Termine buchen", "Produktfragen beantworten") und die Erfolgskennzahlen für die einzelnen definiert werden.
2. Einrichten von Persona und ethischen Leitplanken: Dieser Schritt beinhaltet das Entwerfen der Persönlichkeit des Agenten und das Definieren seiner ethischen Grenzen, um sicherzustellen, dass er vertrauenswürdig und sicher ist. Sie legt den Ton des Agenten fest (z. B. "formal", "freundlich") und implementiert strenge Regeln, um schädliche, verzerrte oder unangemessene Reaktionen zu verhindern.
3. Kontext und Verständnis zuordnen: Sie müssen bestimmen, welche Informationen der Agent verstehen und sich daran erinnern muss, effektiv zu sein. Dazu zählen die Definition des Umfangs der Knowledge Base und des Unterhaltungsspeichers, wodurch kohärente Unterhaltungen mit mehreren Runden möglich sind.
4. Identifizieren von Tools und Systemintegrationen: Dies beinhaltet die Inventarisierung der externen Systeme, APIs und Datenquellen, mit denen der Agent eine Verbindung herstellen muss, um Aufgaben auszuführen. Jedes Tool (z. B. eine Buchungs-API, eine Kundendatenbank) wird identifiziert und seine Funktion einer bestimmten Agentenfunktion zugeordnet.
5. Plan für die Eskalation von Menschen in der Schleife: Es ist wichtig, die Bedingungen zu definieren, unter denen ein Agent zu einem Menschen eskaliert. Dies beinhaltet die Überprüfung potenzieller Fehlerpunkte und "Sackgassen" der Unterhaltung, um zu bestimmen, wann ein Agent zu einem menschlichen Operator eskalieren sollte. Das Design sollte beschreiben, wie diese Übergabe durchgeführt wird, um sicherzustellen, dass genügend Kontext übertragen wird, sodass er schnell verwendet werden kann, um eine nahtlose Kundenerfahrung zu gewährleisten.

Dies ist die praktische Bauphase, in der die Entwurfsplanung in einen funktionalen Agenten umgewandelt wird. Entwickler erstellen den Agenten, verbinden ihn mit seinen Tools und geben ihm die Daten an die Hand, die er zur Erfüllung seiner Aufgaben benötigt. Diese iterative "innere Schleife" des Erstellens und Verfeinerns ist der Ort, an dem der Agent wirklich lebendig wird.

1. Konfigurieren der Logik und Entscheidungsfindung des Agenten: Dieser Schritt beinhaltet die Gestaltung der Argumentation des Agenten, indem sein Entscheidungsrahmen mit Kontext, Tools und Datenquellen verbunden wird. Die Rolle des Entwicklers besteht darin, das Verhalten des Agenten zu definieren, indem er APIs erstellt oder vorhandene APIs wiederverwendet, betriebliche Leitplanken festlegt und angibt, wie der Agent verfügbare Tools auswählt und verwendet, um komplexe Aufgaben in mehreren Schritten auszuführen.
2. Engineer Prompts and Fine-Tune Models (Engineer-Aufforderungen und Feinabstimmungen an Modellen): Die Persona, Anweisungen und Einschränkungen des Agenten werden durch sorgfältige Eingabeaufforderungen codiert. Dieser Prozess umfasst die Erstellung der Master-Eingabeaufforderung, die das Large Language Model (LLM) anleitet, und für fortgeschrittenere Anwendungsfälle die Feinabstimmung des Modells an domänenspezifischen Daten, um seine Leistung zu verbessern.
3. Integrieren und Sichern von AI-Tools: Die während der Designphase identifizierten Funktionen und APIs sind mit dem Agenten verbunden. Mithilfe eines SDK schließen Entwickler vorhandene Funktionen ein oder erstellen neue, wodurch sie für den Agenten sicher aufrufbar sind und die ordnungsgemäße Authentifizierung und Fehlerbehandlung gewährleistet ist.
4. Erstellen von Daten und RAG-Pipelines: Entwickler erstellen die Datenpipelines für die abruferweiterte Generierung, um dem Agenten externes Knowledge bereitzustellen. Dazu müssen Daten aus Quellen wie Vektorspeichern, relationalen Datenbanken, Diagrammdatenbanken oder internen Dokumenten verbunden und indiziert werden, sodass der Agent auf diese Informationen zugreifen kann, um genaue, kontextbezogene Antworten bereitzustellen.

Das Testen von AI-Agenten führt zu einem Paradigmenwechsel von der deterministischen Validierung herkömmlicher Software. Während eine herkömmliche Anwendung auf Richtigkeit getestet wird – eine bestimmte Eingabe muss eine einzelne erwartete Ausgabe erzeugen –, erfordert die Nichtdeterministik eines Agenten einen komplexeren Ansatz. Das Ziel besteht nicht darin, eine einzelne richtige Antwort zu validieren, sondern sicherzustellen, dass das Verhalten des Agenten mit seinem vorgesehenen Zweck übereinstimmt, robust gegen unerwartete Eingaben ist und zuverlässig in einem Spektrum akzeptabler Ergebnisse bleibt.

1. Einheitentests: Diese Ebene konzentriert sich auf die deterministischen Nicht-AI-Komponenten des Agenten. Dazu gehören herkömmliche Einheitentests, um zu überprüfen, ob jedes einzelne Tool und jede Funktion isoliert ordnungsgemäß funktioniert, und so eine zuverlässige Grundlage zu gewährleisten, bevor die komplexen Argumente des Agenten angewendet werden.
2. Durchgängige Tests (E2E): In dieser Phase wird die Fähigkeit des Agenten bewertet, Ziele in realistischen Szenarien zu erreichen, was aufgrund seiner nichtdeterministischen Natur entscheidend ist. Statt auf eine genaue Ausgabe zu überprüfen, überprüfen diese durchgängigen Tests, ob der Agent Aufgaben erfolgreich ausführt und ob seine Leistung nicht beeinträchtigt wird, wenn Änderungen vorgenommen werden.
3. Kontradiktorische und Robustheitstests: Dies ist die Praxis, bei der der Agent absichtlich versucht, seine Schwächen proaktiv zu erkennen. Tester verwenden mehrdeutige Anforderungen, böswillige Aufforderungen und andere Randfälle, um Schwachstellen aufzudecken und sicherzustellen, dass der Agent unter Druck stabil und sicher bleibt.
4. Human-in-the-Loop-Bewertung (HITL): Da automatisierte Tests keine differenzierten Eigenschaften wie Ton oder Unterhaltungsfluss messen können, ist diese Phase auf menschliches Feedback angewiesen. Tester interagieren mit dem Agenten, um seine Antworten für die Hilfsbereitschaft und die allgemeine Benutzererfahrung zu bewerten und wichtige Daten zur Feinabstimmung seines Verhaltens bereitzustellen.
5. Leistungs- und Skalierungstests: Dies ist ein wichtiger Schritt, um Leistungsengpässe zu vermeiden, bevor sie sich auf Benutzer auswirken. Dieser Prozess simuliert realistische Szenarien mit Spitzennutzung, um sicherzustellen, dass Agenten und Anwendungen hohe Volumen reibungslos und vorhersehbar verarbeiten können. Sie validiert, dass die Lösung nicht nur richtig ist, sondern auch skalierbar ist.

Bei der Bereitstellung eines AI-Agenten handelt es sich um einen verwalteten Prozess, bei dem sichergestellt werden soll, dass der validierte Agent auf zuverlässige und wiederholbare Weise mit den Benutzern interagiert. Dies erfordert einen strukturierten Ansatz, der den Agenten von einem versionsgesteuerten Vermögenswert zu einem live überwachten Service bewegt.

1. Paketerstellung und Versionskontrolle: Die gesamte Definition des Agenten, einschließlich seiner Aufforderungen und Tools, wird als Metadaten in einer Datei erfasst und in einem Quellcodeverwaltungssystem wie Git gespeichert. Dadurch wird eine einzige Quelle der Wahrheit und ein überprüfbarer Verlauf aller Änderungen erstellt.
2. CI/CD-Pipelines: Der Weg zur Produktion ist automatisiert, um menschliche Fehler zu vermeiden und Konsistenz zu gewährleisten. Diese Pipelines befördern den Agenten automatisch durch Entwicklungs-, Test- und Produktionsumgebungen und führen in jeder Phase durchgängige Tests aus, die als Qualitätstor fungieren.
3. Strategien für die phasenweise Einführung: Um das Risiko zu minimieren, werden neue Agentenversionen zunächst für einen kleinen Teil der Benutzer mit Strategien wie Canary Releases veröffentlicht. Dies ermöglicht die Überwachung der realen Leistung vor einer vollständigen Einführung und die Möglichkeit, Probleme schnell wiederherzustellen.
4. Aktivierung und Governance: Der wichtige Schritt bei der Einführung eines Agenten besteht darin, den Agenten sicher mit den richtigen Berechtigungen zu aktivieren und sicherzustellen, dass er mit Überwachungstools verbunden ist. Dadurch erhalten Sie sofort Einblick in den Zustand und die Leistung des neu bereitgestellten Agenten, sobald er live geschaltet wird.

Die Bereitstellung ist nicht das Ende des Agentenentwicklungslebenszyklus, sondern der Anfang seiner kontinuierlichen "äußeren Schleife". Agenten sind dynamische Systeme, die in unvorhersehbaren realen Umgebungen funktionieren. Diese Phase ist darauf ausgerichtet, die Live-Leistung des Agenten zu beobachten, Statistiken aus seinen Interaktionen zu erfassen und diese Daten zu verwenden, um seine Effektivität, Sicherheit und Effizienz im Laufe der Zeit systematisch zu optimieren und zu verbessern.

1. Echtzeit-Leistungsüberwachung: Dabei werden die wichtigsten betrieblichen Kennzahlen des Agenten verfolgt, während er mit Benutzern interagiert. Dashboards werden zur Überwachung der Latenz, des Tokenverbrauchs (Kosten) und der API-Fehlerraten verwendet und bieten einen sofortigen allgemeinen Überblick über den Zustand und die Effizienz des Agenten.
2. Verhaltens- und Erfolgsanalysen: Dazu müssen Unterhaltungsprotokolle analysiert werden, um nachzuvollziehen, wie der Agent seine Aufgaben tatsächlich erfüllt. Sie konzentriert sich auf die Verfolgung der Abschlussraten von Aufgaben, die Identifizierung häufiger Fehlerpunkte oder Unterhaltungs-"Sackgassen" und die Messung der Benutzerzufriedenheit, um festzustellen, ob der Agent seine Ziele erfolgreich erreicht. Als Beispiel für Serviceagenten könnte es Kennzahlen dazu bereitstellen, wie oft und warum ein Agent zu einem Menschen eskaliert.
3. Intelligentes Tuning und Verfeinerung: Dies ist der aktive Prozess, bei dem Statistiken aus der Überwachung verwendet werden, um den Agenten zu verbessern. Dies kann vom prompten Engineering bis zur Werkzeugoptimierung reichen.
4. Datengesteuerte RAG-Verbesserung: Die Qualität der Knowledge Base des Agenten wird anhand realer Abfragen kontinuierlich verbessert. Die Überwachung kann ergeben, dass der Agent mit bestimmten Themen zu kämpfen hat, was zu einer Verfeinerung der Datenquellen oder des Abrufprozesses (RAG-Verfeinerung) führt, um die Genauigkeit seiner Antworten zu verbessern.
5. Kontinuierliches Lernen und Anpassung: Dazu gehört das Erstellen einer Feedbackschleife, in der Produktionsdaten verwendet werden, um den Agenten intelligenter zu machen. Durch die Bezeichnung von Interaktionsprotokollen – entweder mit menschlicher Aufsicht oder LLM-basierter Bezeichnung – wird ein zusammengestelltes Datenset erstellt, das verwendet werden kann, um das zugrunde liegende Modell zu optimieren und weitere Verbesserungen zu empfehlen.

Agentforce unterstützt alle ADLC-Phasen mit integrierten Tools für Design, Entwicklung, Tests, Bereitstellung, Überwachung und Analysen – alles auf einer einzigen einheitlichen Plattform, um schnell zuverlässige Agenten zu erstellen und zu testen.

Der Agentforce ADLC basiert auf den folgenden Leitprinzipien:

• Für Low-Code und Pro-Code entwickelt: Unterstützung der konfigurationsbasierten Bereitstellung (Low-Code) und der programmgesteuerten Erweiterbarkeit (Pro-Code).
• Kontinuierliche AI-gestützte Unterstützung und Feedbackschleifen: Erfasst und analysiert Unterhaltungsdaten, um die Agentenabstimmung für eine kontinuierliche AI-gestützte Verbesserung zu informieren.
• Testgesteuerte Entwicklung auf allen Ebenen: Strenge Tests über alle Phasen hinweg, Validierung deterministischer Komponenten durch herkömmliche Einheitentests und Bereitstellung neuer Ansätze zum Testen der Argumentation von Agenten und nicht deterministischem Verhalten.
• Führungskraft und LOB-Beobachtbarkeit: Bereitstellen von Kosten-, Nutzungs- und Leistungskennzahlen für betriebliche und leitende Beteiligte.

In diesem Kapitel wird gezeigt, wie Agentforce jede Phase des ADLC unterstützt**.**

Idee

Die Ideenphase ist die grundlegende Phase des ADLC, in der die anfängliche Vision und die Anforderungen an Agenten formuliert werden. Es beinhaltet einen tiefen Einblick in das Problem, das Identifizieren potenzieller Lösungen und das Darlegen der Kernfunktionen des Agenten.

Starten Sie den Ideenfindungsprozess Ihres Agenten, indem Sie seine wichtigsten Attribute definieren:

1. Zweck/Ziel: Definieren Sie das primäre Ziel des Agenten eindeutig. Welches spezifische Problem soll mit ihr gelöst werden oder welche Aufgabe soll sie erfüllen? Wem sollte der Agent dienen? Dies sollte eine präzise und messbare Aussage sein, die den gesamten Entwicklungsprozess steuert.
2. Persona: Entwickeln Sie eine detaillierte Persona für den Agenten. Dies beinhaltet die Definition der Identität, des Kommunikationsstils und der Rolle, die er bei der Interaktion mit Benutzern oder anderen Systemen spielt. Beachten Sie den Tonfall, das Formalitätsniveau und alle spezifischen Merkmale, die sie im vorgesehenen Kontext wirksam machen.
3. Muster: Identifizieren Sie relevante Agentenmuster und Implementierungsstrategien und verknüpfen Sie sie mit ihnen. Dazu gehören Architekturentwürfe oder bewährte Vorgehensweisen, die die Struktur und das Verhalten des Agenten beeinflussen können. "Agentische Muster und Implementierung in Salesforce Agentforce: Ein technisches Whitepaper" stellt eine wertvolle Ressource für diesen Schritt dar und bietet Statistiken zum effektiven Agentendesign auf Salesforce Platform und Agentforce.

Design

In der Designphase werden die Konzepte aus der Idee in eine detaillierte Blaupause für die Konstruktion des Agenten übersetzt. Dazu zählen die Definition der Architektur, der Benutzer-Flows, der Interaktionsmodelle und der technischen Spezifikationen wie Themen, Tools und Leitplanken.

Während der Designphase erstellen Sie eine detaillierte Blaupause für die Konstruktion Ihres Agenten, die Folgendes enthält:

• Agentendesign: Erläutern Sie die interne Struktur des Agenten, einschließlich seiner Komponenten, Module und ihrer Interaktion. Dazu gehören möglicherweise die Definition der Knowledge Base, Konfiguration und Logik zum Steuern des Agentenverhaltens, der NLP-Komponenten (Natural Language Processing) und der Integrationspunkte in andere Systeme.
• Benutzer-Flows/Interaktionsdesign: Ordnen Sie die vollständige Benutzer-Journey und die Interaktionen des Agenten zu. Definieren Sie Unterhaltungs-Flows, Entscheidungsstrukturen, Fehlerbehandlung und Feedback-Mechanismen, um intuitive und effektive Erfahrungen zu erstellen.
• Technische Spezifikationen: Dokumentieren Sie die technischen nicht funktionalen Anforderungen an den Agenten, beispielsweise Leistungskennzahlen, Überlegungen zur Skalierbarkeit, Sicherheitsprotokolle und Integrationsspezifikationen.
• Prototyping & Mockups: Erstellen Sie visuelle Darstellungen oder interaktive Prototypen der Benutzeroberfläche und Interaktionen des Agenten. Dies ermöglicht frühzeitige Tests und Feedback und hilft so, das Design zu optimieren, bevor die umfassende Entwicklung beginnt.
• Daten: Identifizieren Sie beim Bestimmen des Datentyps und der Datenquellen, die ein Agent benötigt, Datensets, APIs, Datenbanken und Repositorys, auf die der Agent zugreifen muss. Konzentrieren Sie sich bei Agentforce darauf, welche Daten als Kontext bereitgestellt werden, ob sie strukturiert oder unstrukturiert sind und ob sie in Echtzeit oder Batch vorliegen. Die Agentforce Platform wurde mit einer umfassenden Integration in Data 360 entwickelt, sodass Sie strukturierte und unstrukturierte Daten aus Salesforce CRM und anderen Quellen verwenden können. Unstrukturierte Inhalte können nativ in Gruppen unterteilt und für RAG indiziert werden. Mit MuleSoft können Sie eine Verbindung zu externen Systemen herstellen.
• Tools: Identifizieren Sie die Aktionen, die der Agent ausführen muss. Verwenden Sie Agentforce Actions (Agentforce-Aktionen), um Tools zum Erreichen von Geschäftszielen bereitzustellen. Diese Aktionen nutzen vorhandene Salesforce-Datenbestände wie Eingabeaufforderungen über Eingabeaufforderungsgenerator, MuleSoft, Apex, Flows und APIs mit OpenAPI-Spezifikationen. Jede aufrufbare Aktion kann in Agentforce integriert und vom Agenten verwendet werden, sodass alle vertrauten Salesforce-Entwicklungstools als Agentforce-Aktionen verfügbar sind.
• Eingabedaten für Agenten: Bei herkömmlichen SDLCs werden Eingaben genau angegeben. Im ADLC sind Eingaben oft natürliche, nicht deterministische Freiformäußerungen. Erfassen Sie ein repräsentatives Korpus von Äußerungen, von denen erwartet wird, dass sie entsprechende Antworten hervorrufen.

Der Fokus der Entwicklungsphase liegt auf der Übersetzung des in der Ideen- und Designphase festgelegten Zwecks, der Funktionen und des operativen Umfangs des definierten Agenten in einen neuen Agentforce Agent.

Agentforce unterstützt Entwickler beim Erstellen von Agenten mit dem Agentengenerator und Agentforce Developer Experience (AFDX). Diese grundlegenden Tools dienen als primäre Umgebungen für die Erstellung und Konfiguration des Agenten.

• Der Agentengenerator bietet eine Benutzeroberfläche zum Definieren der Kernfunktionen des Agenten.
• AFDX bietet eine programmgesteuerte Oberfläche für die Anpassung und Integration in andere Systeme.

Zum Entwickeln und Erstellen eines Agenten sind die folgenden Schritte erforderlich, die mit dem Agentengenerator oder AFDX ausgeführt werden können:

1. Definieren der Persona: Ein entscheidender Aspekt des Agentendesigns besteht darin, eine eigene Persona zu etablieren. Dies beinhaltet die Konfiguration der:
   • Agentenbeschreibung: Eine detaillierte Beschreibung der Rolle, der Ziele und der spezifischen Kundendienstaufgaben des Agenten.
   • Ton: Der Kommunikationsstil des Agenten, sein Einfühlungsvermögen und alle spezifischen Markenrichtlinien, die eingehalten werden müssen.
2. Definieren von Agententhemen und -aktionen: Damit ein Agent raffiniert ist und eine Vielzahl von Aufgaben bewältigen kann, ist es wichtig, seine Funktionen in verschiedene Themen mit entsprechenden Aktionen aufzuschlüsseln.
   • Themen: Jedes Thema kann als eigener spezialisierter Agent mit einem einzigartigen Satz an Anweisungen und Tools konzipiert werden.
     • Modulare Architektur. Der modulare Ansatz für Themen ermöglicht eine bessere Organisation und Skalierbarkeit. Durch das Definieren mehrerer Themen kann der Agent eine breitere Palette komplexer Szenarien verarbeiten. Beispielsweise kann ein Agent über separate Themen für "Auftragsverwaltung", "Häufig gestellte Fragen", "Technischer Support" und "Abrechnungsanfragen" verfügen.
   • Themenanweisungen (Leitplanken): Jedes Thema enthält spezifische Anweisungen, die als Leitplanken fungieren und den Umfang definieren, den der Agent in diesem Thema besprechen oder tun kann. Diese Anweisungen verhindern, dass der Agent vom Thema abweicht oder irrelevante Informationen bereitstellt. Sie tragen auch dazu bei, die Konsistenz und Genauigkeit der Antworten aufrechtzuerhalten.
   • Aktionen: Themen sind auch mit "Tools" ausgestattet, die die Aktionen darstellen, die der Agent ausführen kann. Folgende Tools können verwendet werden:
     • Informationsaktionen: Abrufen von Daten aus einer Knowledge Base oder einem externen System zum Beantworten einer Abfrage.
     • Transaktionsaktionen: Ausführen von Aktionen im Namen des Benutzers, beispielsweise Erteilen eines Auftrags, Aktualisieren eines Kundendatensatzes oder Initiieren eines Rückerstattungsprozesses. Diese Aktionen sind häufig in andere Systeme (z. B. CRM, ERP) integriert.

Bei der Bewertung der Leistung und Zuverlässigkeit von AI-Agenten sehen sich Tester oft mit einer Reihe von Herausforderungen konfrontiert, die die Benutzererfahrung beeinträchtigen können. Diese Probleme reichen von der falschen Interpretation des Benutzer-Intents bis hin zur fehlerhaften Ausführung von Aufgaben.

Allgemeine Agentenfehlerszenarien

Zum Erstellen eines zuverlässigen Agenten müssen Sie wissen, wie und wo Fehler auftreten können. In der folgenden Tabelle werden häufige Probleme während des Agentenlebenszyklus kategorisiert, von fehlerhafter Argumentation bis hin zum schlechten Knowledge Retrieval. Verwenden Sie dies als strategische Anleitung während der Entwicklung und als Checkliste während des Tests, um sicherzustellen, dass Ihr Agent nicht nur funktional, sondern auch zuverlässig und intuitiv für den Endbenutzer ist. Diese Fehlerszenarien sollten Ihnen beim Definieren von Testfällen helfen.

Bewährte Vorgehensweisen zum Testen von AI-Agenten

Im Folgenden werden bewährte Vorgehensweisen beschrieben, die beim Testen von Agenten in Agentforce zu beachten sind.

1. Erweitern von Testdaten
   Grundlage effektiver Tests sind umfassende und realistische Testdaten. Befolgen Sie die folgenden Grundsätze, um sicherzustellen, dass Sie über effektive Testdaten zum Testen Ihrer Agenten verfügen:

   • Ausreichende Abdeckung: Ziel ist es, über genügend Testdaten zu verfügen, um alle wichtigen Themen und Benutzerpersonas abzudecken.
   • Realistische Szenarien: Stellen Sie sicher, dass Ihre Testdaten die realen Benutzerinteraktionen genau darstellen.
   • Negative und Edge-Kundenvorgänge: Fügen Sie negative Testfälle (was der Agent nicht tun sollte) und Randszenarien hinzu, um die Grenzen des Agenten zu hinterfragen.
   • Leitplankentest: Fügen Sie spezifische Testfälle hinzu, um zu überprüfen, ob die Leitplanken des Agenten ordnungsgemäß funktionieren.

2. Optimieren von Testläufen
   Optimieren Sie die Ausführung Ihrer Tests, um Ihre Testressourcen optimal nutzen zu können. Beim Testen von Agentforce Agenten sind folgende Überlegungen zu berücksichtigen:

   • Testvorgangsvolumen: Sie können bis zu 1.000 Testfälle verwenden.
   • Gleichzeitige Tests ausführen: Innerhalb eines Zeitraums von 10 Stunden können bis zu 10 Testfälle gleichzeitig ausgeführt werden.
   • Ressourcen verwalten: Beachten Sie, dass beim Ausführen von Tests Guthaben verbraucht wird. Stellen Sie sicher, dass Sie mit Ihren Testdaten zufrieden sind, bevor Sie eine Ausführung starten, um unnötige Kosten zu vermeiden.

3. Ergebnisse überprüfen
   Analysieren Sie die Testergebnisse sorgfältig, um Verbesserungsbereiche zu identifizieren:

   • Fehler analysieren: Untersuchen Sie jeden fehlgeschlagenen Testfall einzeln. Lesen Sie den Unterschied zwischen den erwarteten und den tatsächlichen Ergebnissen sorgfältig und verstehen Sie ihn, um das Problem zu identifizieren.
   • Verwenden einer Sandbox-Umgebung: Testagenten können CRM-Daten ändern. Um unbeabsichtigte Änderungen an Ihren Live-Daten zu verhindern, sollten Sie Tests immer in einer Nicht-Produktionsumgebung wie einer Sandbox oder einer Testorganisation durchführen.

4. Abstimmen und erneut testen
   Das Testen ist ein iterativer Prozess, der mit der Weiterentwicklung des Agenten fortgesetzt wird:

   • Kontinuierliche Tests: Führen Sie Tests nach jeder Änderung an den Themen oder Aktionen des Agenten aus. Dadurch werden die Änderungen validiert und die Qualität sichergestellt.
   • Erweitern der Testabdeckung: Pflegen und erweitern Sie Ihr Datenset kontinuierlich mit neuen Testfällen, um die Gesamtabdeckung und Robustheit des Agenten zu verbessern.

Testansätze

Angesichts der Komplexität des Agenten ist keine einzige Testmethode ausreichend. Eine umfassende Validierungsstrategie muss mehrschichtig sein und verschiedene Ansätze kombinieren, um alles abzudecken, von vorhersehbaren, deterministischen Aktionen bis hin zu den Nuancen ihres nicht deterministischen Unterhaltungsverhaltens. Diese Ansätze bieten einen Rahmen für die systematische Auswertung jeder Komponente des Agenten, um sicherzustellen, dass sie robust, zuverlässig und sicher ist.

1. Manuelle Tests mit dem Agentensimulator und der Planverfolgung

   • Zweck: Dies ist die erste und oft einfachste Methode, einen Agenten zu testen. Sie eignet sich ideal für eine kleine Reihe von Beispielanwendungsfällen und um ein grundlegendes Verständnis des Verhaltens des Agenten zu erhalten.
   • Mechanismus: Ein Agentensimulator bietet eine kontrollierte Umgebung, in der Entwickler und Administratoren direkt mit dem Agenten interagieren können. Dieser Simulator ermöglicht eine detaillierte Verfolgung der vom Administrator/Entwickler bereitgestellten Informationen und bietet Statistiken dazu, wie der Agent Eingaben verarbeitet und Ausgaben generiert.
   • Vorteile:
     • Schnelles Feedback
     • Einfach zu identifizierende sofortige Probleme
     • Hilft beim Verständnis des Logik-Flows des Agenten

2. Automatische Tests mit dem Testcenter oder der AFDX Test Suite

   • Zweck: Sobald manuelle Tests eine Basisfunktionalität festgelegt haben, werden automatisierte Tests für Skalierbarkeits-, Gründlichkeits- und Regressionstests entscheidend.
   • Mechanismus: Tools wie das Testcenter oder die AFDX-Test-Suite ermöglichen die Generierung automatisierter Tests anhand vordefinierter Beispielanwendungsfälle. Mit diesen Tests soll überprüft werden, ob die Anweisungen und Unteragentenklassifizierungen des Agenten in einem breiteren Spektrum von Szenarien ordnungsgemäß funktionieren.
   • Vorteile:
     • Gewährleistet konsistente Leistung
     • Identifiziert subtile Fehler
     • Unterstützt Pipelines für kontinuierliche Integration/kontinuierliche Bereitstellung (CI/CD)
     • Bietet eine umfassende Abdeckung

3. Aktionsspezifische Einheitentests mit Apex und Flows

   • Zweck: Validieren der in Agentenaktionen gekapselten deterministischen Geschäftslogik. Obwohl das Verhalten des Agenten insgesamt nicht deterministisch ist, basieren Agentenaktionen häufig auf Technologien wie Flows und Apex, für die Standardentwicklungsmethoden gelten.
   • Mechanismus: Entwickler schreiben Einheitentests für bestimmte Flows oder Apex-Klassen, die von einer Agentenaktion aufgerufen werden. Diese Tests überprüfen die einzelnen Komponenten der Logik des Agenten und stellen sicher, dass sie die erwarteten Ausgaben für einen bestimmten Satz von Eingaben generieren.
   • Vorteile:
     • Durch die Integration dieser Einheitentests in eine DevOps-Pipeline wird ein automatisiertes Sicherheitsnetz bereitgestellt.
     • Stellt sicher, dass Änderungen oder Verbesserungen an der Logik einer Aktion keine Regressionen bewirken
     • Stellt die Zuverlässigkeit der Funktionen des Agenten sicher, bevor sie in der Produktion bereitgestellt werden

4. Kontradiktorische Tests – Sicherheit und Schutzmaßnahmen:

   • Zweck: Für die Erstellung verschiedener Agententypen muss der Schwerpunkt auf Sicherheit gelegt und sichergestellt werden, dass sie innerhalb definierter Parameter und Leitplanken funktionieren. Dies ist wichtig, um unbeabsichtigte Aktionen, Datenverletzungen oder Missbrauch zu verhindern. Daher besteht der Zweck kontradiktorischer Tests darin, diese potenziellen Schwachstellen proaktiv zu identifizieren und zu beheben, indem der Agent gezielt mit Eingaben herausgefordert wird, die seine Sicherheitsmechanismen umgehen sollen, und so seine Robustheit und Widerstandsfähigkeit gegen Manipulationen getestet wird.
   • Mechanismus: Widersprüchliche Tests werden implementiert, indem herausfordernde, mehrdeutige oder bösartige Eingaben erstellt werden, die die Grenzen des vorgesehenen Verhaltens des Agenten überschreiten. Plattformtools wie die Funktion "Guardrails" im Agentengenerator bieten zwar Statistiken zur Einhaltung von Anweisungen, Entwickler sollten jedoch auch benutzerdefinierte kontradiktorische Testfälle erstellen, die aktiv versuchen, den Agenten in einer kontrollierten Umgebung fehlschlagen zu lassen.
   • Vorteile: Durch diesen Ansatz werden Sicherheits- und Compliance-Risiken vor der Bereitstellung systematisch minimiert. Durch das Identifizieren potenzieller Fehlerpunkte erhöhen kontradiktorische Tests die Vertrauenswürdigkeit der Agenten und stellen sicher, dass sie bei der Interaktion mit Benutzern sicher und erwartungsgemäß funktionieren.

Iterative Tests in Testorganisationen und Sandbox-Instanzen

Die "innere Schleife" ist der kritische, iterative Zyklus, in dem ein Agent vom Konzept zu einer validierten Komponente wechselt, die für die Bereitstellung bereit ist. Dieser Prozess der kontinuierlichen Optimierung erfordert Umgebungen für die Entwicklung und Tests. Agentforce stellt dieses Framework über Testorganisationen zur Verfügung, bei denen es sich um isolierte temporäre Umgebungen für die schnelle Prototyperstellung handelt, die sich nicht auf freigegebene Umgebungen auswirken, und Sandbox-Instanzen, die gründliche Tests mit realistischen Daten ermöglichen, um den Weg zur Produktion zu beschleunigen.

1. Entwicklung in Testorganisationen: Die anfängliche Entwicklung sollte in einer Testorganisation erfolgen. Die in der Entwicklungsumgebung bereitgestellten Tools wie der Agentengenerator und AFDX werden hier vollständig genutzt. Testorganisationen sind starke Kandidaten für CI/CD-Pipelines, um Einheitentests auszuführen, Codeanalysen durchzuführen und Änderungen in höheren Umgebungen zu fördern.
2. Bereitstellung in der Sandbox für Echtdatentests: Nachdem die Kernfunktionen des Agenten in einer Testorganisation entwickelt wurden, stellen Sie sie in einer Sandbox bereit. Sandbox-Instanzen sind Kopien einer Produktionsumgebung und bieten ein realistischeres Testfeld.
   • Realdaten vs. Daten simulieren: Während einige Entwickler möglicherweise Daten in Testorganisationen für anfängliche Tests simulieren, ermöglicht die Bereitstellung in einer Sandbox Tests mit "echten Daten". Dies ist wichtig, um die Leistung des Agenten in Szenarien zu bewerten, die die tatsächlichen Kundeninteraktionen genau widerspiegeln. Die Verwendung repräsentativerer Daten in einer Sandbox beschleunigt die Entwicklung und Optimierung erheblich.
   • Vollständige oder teilweise Sandbox für zentrale CRM-Daten: Je nach Datenvolumen und spezifischen Testanforderungen kann eine vollständige oder teilweise Sandbox verwendet werden.
     • Full Sandbox: Bietet einen vollständigen Abgleich der Produktionsumgebung, einschließlich aller Metadaten und Daten. Ideal für umfangreiche Tests und Leistungsoptimierungen mit großen Datensets.
     • Partial Sandbox: Enthält eine Teilmenge der Produktionsdaten, die oft ausreicht, um bestimmte Funktionen oder Funktionen zu testen, bei denen ein vollständiges Datenset nicht unbedingt erforderlich ist.
   • Knowledge und RAG-Verwaltung: Wenn der Agent auf einer Knowledge Base oder einem RAG-Modell (Retrieval-Augmented Generation) basiert, nehmen Sie alle relevanten Inhalte in die Sandbox auf und indizieren Sie sie neu. Dadurch wird sichergestellt, dass der Agent während des Tests aktuelle Informationen verwendet und Inhalte genau abrufen und synthetisieren kann.

Agentforce definiert Agenten über Metadaten, sodass sie mithilfe von Salesforce-Standardverfahren wie Änderungssets oder AFDX bereitgestellt werden können. Diese Phase betont eine sichere und kontrollierte Einführung durch wichtige Funktionen wie die Agentenversionierung und einen separaten Aktivierungsschritt, der die Systemstabilität gewährleistet und eine schnelle Behebung von Problemen ermöglicht.

Führen Sie die folgenden Schritte aus, um Ihren neuen Agenten bereitzustellen und freizugeben.

1. Bereitstellung über Änderungsset/Metadaten-API oder AFDX: Beim Bereitstellungsprozess für Agenten werden standardmäßige Salesforce-Verfahren verwendet, bei denen Agenten als Metadaten behandelt werden. Dies sollte ein vertrauter Prozess für alle sein, die mit der Entwicklung und Bereitstellung von Salesforce vertraut sind. Die Verwendung von Änderungssets oder AFDX gewährleistet einen strukturierten und konsistenten Ansatz für die Migration von Agentenkonfigurationen zwischen Umgebungen, beispielsweise von der Sandbox zur Produktion. Diese Methode erleichtert die Versionskontrolle und die ordnungsgemäße Änderungsverwaltung, die für die Aufrechterhaltung der Systemstabilität und Zuverlässigkeit entscheidend sind.
2. Aktivieren von Agenten nach der Bereitstellung: Nach einer erfolgreichen Bereitstellung ist es für einen Systemadministrator unerlässlich, den Agenten aktiv zu "aktivieren". Die Bereitstellung platziert einfach den Code und die Metadaten des Agenten in der Zielumgebung. Die Aktivierung ist der Schritt, der den Agenten einsatzbereit und zur Verwendung verfügbar macht. Diese Trennung ermöglicht eine kontrollierte Einführung und Tests, bevor ein Agent live geschaltet wird und mit Endbenutzern oder anderen Systemkomponenten interagiert.
3. Verwenden der Versionsverwaltung für die sichere Agentenverwaltung: Die Agentenversionierung ist eine wichtige Funktion, die die Sicherheit und Flexibilität der Agentenentwicklung und -wartung erheblich erhöht.
   1. Erstellen, Testen und Veröffentlichen neuer Versionen: Die empfohlene Vorgehensweise besteht darin, eine neue Version eines Agenten zu erstellen, wenn Änderungen oder Erweiterungen erforderlich sind. Diese neue Version kann dann in einer Sandbox-Umgebung gründlich getestet werden, ohne dass sich dies auf den aktivierten Live-Agenten auswirkt. Sobald die neue Version validiert wurde und als bereit gilt, kann sie veröffentlicht und anschließend aktiviert werden, wodurch die vorherige Betriebsversion ersetzt wird. Dieser iterative Prozess ermöglicht kontinuierliche Verbesserungen und Innovationen und minimiert gleichzeitig Unterbrechungen.
   2. Zurücksetzen zu vorherigen Versionen: Ein wesentlicher Vorteil der Versionierung ist die Möglichkeit, schnell und einfach auf eine vorherige stabile Version zurückzugreifen, wenn ein Problem mit einem neu bereitgestellten oder aktivierten Agenten auftritt. Wenn etwas schiefgeht, beispielsweise wenn ein Agent sich falsch verhält oder einen unvorhergesehenen Fehler einführt, können Administratoren einfach zur letzten bekannten guten Version zurückkehren und sie aktivieren. Diese Funktion bietet ein wichtiges Sicherheitsnetz, das eine schnelle Wiederherstellung ermöglicht und Ausfallzeiten minimiert, wodurch die Geschäftskontinuität und die Benutzerzufriedenheit gewährleistet werden.

Agentenüberwachung

Das Agentforce Session Tracing ist ein offenes, erweiterbares Modell, das auf Data 360 basiert und durchgängige Agenteninteraktionen erfasst. Die Agentforce-Sitzungsverfolgung erfasst Daten aus verschiedenen Quellen (beginnend mit Protokollen des Argumentationsmoduls) und kombiniert alles unter einer Sitzungs-ID.

Das Sitzungsverfolgungsdatenmodell (Session Tracing Data Model, STDM) bietet detaillierte Informationen dazu, was während Agentensitzungen passiert ist. Dazu zählen:

• Turn-by-Turn-Interaktionen
• Begründung der Ausführung des Moduls
• Aktionen, Eingabeaufforderungen und Gateway-Ein-/Ausgaben
• Fehlermeldungen
• Endgültige Antworten

Das STDM ist ein wichtiges Tool, mit dem Entwickler:

• Debuggen von Agenten-Setup- und Konfigurationsproblemen während der Erstellungszeit.
• Erfahren Sie, warum bestimmte Testfälle während Batch-Tests fehlgeschlagen sind.
• Geben Sie an, warum ein Agent eine Reihe von Benutzerfragen nicht verarbeiten kann oder vom Thema abweicht.

Entwickler sollten diese Sitzungsverfolgungsdaten verwenden, um Agentenereignisse, Vorfälle und Verhaltensmuster zu beobachten, zu überwachen, zu untersuchen und zu beheben.

Das STDM besteht aus Data-Lake-Objekten (DLOs) und Datenmodellobjekten (DMOs), in denen detaillierte Protokolle des Agentenverhaltens gespeichert werden. Metadaten zu jedem vom Argumentationsmodul getätigten LLM-Aufruf können mit Feedback- oder Leitplankenkennzahlen verknüpft werden. Datenströme werden in DLOs in Data 360 übertragen und den entsprechenden DMOs zugeordnet.

Entwickler können auf diese Daten zugreifen und Statistiken abrufen, indem sie Abfragen und Berichte für das STDM ausführen. Die Komponenten eines STDM werden im Folgenden beschrieben.

ERD des Agentforce Session Tracing-Datenmodells

Agentforce Optimierung

Agentforce Optimization ist eine leistungsstarke Funktion, mit der die Leistung von AI-Agenten durch detaillierte Statistiken zu Benutzerinteraktionen verbessert werden soll. Basierend auf den Analysefunktionen des Session Tracing Data Model (STDM) können Administratoren und Entwickler Benutzerthemen, Interaktionsmuster und die Effektivität von Agentenlösungen nachvollziehen.

Zu den wichtigsten Aspekten der Agentforce Optimierung zählen:

• Momentspezifische Daten: Agentforce Optimization erweitert STDM durch die Einführung von "Momente", die Interaktionen darstellen, die sich auf einen bestimmten Benutzer-Intent oder eine bestimmte Anforderung während einer Sitzung konzentrieren. Diese detaillierten Daten ermöglichen eine detaillierte Untersuchung aller Aspekte einer Interaktion, von der anfänglichen Benutzeranforderung bis zur Lösung des Agenten.
• Automatische Momentenverarbeitung: Momente werden täglich generiert und dann wöchentlich über alle aktiven Agenten hinweg mithilfe eines erweiterten großen Sprachmodells (Large Language Model, LLM) geclustert und mit Tags versehen. Diese Segmentierung vereinfacht die Abfrage und bietet Statistiken zu verschiedenen Bereichen von Agentensitzungen.
• Abfrage und Analyse: Benutzer können Momente anhand von Tags, Qualitätsbewertungen und anderen Kriterien abfragen. Dadurch kann das Benutzerengagement anhand von Kennzahlen wie der Dauer des Moments und der Relevanzqualitätsbewertungen bewertet werden, wodurch Verbesserungsbereiche identifiziert werden können.
• Zusammengeführtes Datenmodell: Die Agentforce Optimierung nutzt das vereinheitlichte Sitzungsverfolgungsdatenmodell (Session Tracing Data Model, STDM), das jedes protokollierte Ereignis in einer Sitzung erfasst, einschließlich einzelner Unterhaltungsrunden. Alle relevanten Einheiten werden bereitgestellt, wenn STDM im Setup aktiviert wird.

Durch die Analyse der AI-Agenteninteraktionen können Benutzer mit der Agentforce-Optimierung Verbesserungsbereiche identifizieren und Konfigurationen optimieren, um die Benutzeranforderungen besser zu erfüllen.

Weitere Informationen finden Sie unter Datenmodell für Agentforce Optimization.

Dieses Kapitel ist eine praktische Anleitung für Pro-Code-Entwickler. Hier erfahren Sie, wie Sie Agenten mit Agentforce DX (AFDX) und unserem Python-SDK schnell und sicher erstellen, testen und bereitstellen können. Wir werden den gesamten Lebenszyklus durchlaufen – vom ersten Entwurf bis hin zum versionsgesteuerten Agenten. Verwenden Sie dazu die leistungsstarke Kombination aus AFDX und unserem Python-SDK.

In den folgenden Beispielen werden zwei wichtige Toolsets zum Erstellen und Verwalten von Agenten auf der Agentforce Platform verwendet. Ein grundlegendes Verständnis dieser Tools wird empfohlen, um diesen Leitfaden optimal nutzen zu können.

1. Agentforce DX (AFDX): Verwalten des Lebenszyklus

Agentforce DX erweitert den vertrauten Salesforce Developer Experience-Toolsatz (SFDX), einschließlich der Salesforce CLI und VS Code-Erweiterungen, um den gesamten Agentenentwicklungslebenszyklus zu unterstützen. Sie wird verwendet, um einen Agenten als versionsgesteuerte Metadaten zu verwalten, Tests über die Befehlszeile zu automatisieren und Bereitstellungen zwischen Ihren Entwicklungs-Sandbox-Instanzen und der Produktion zu orchestrieren.

Weitere Informationen finden Sie unter: Erste Schritte mit Agentforce DX Development

2. Agentforce Python SDK: Erstellen des Agenten

Das Python-SDK stellt die programmgesteuerte Oberfläche für die "innere Schleife" der Entwicklung bereit. Damit können Sie die Argumentationslogik eines Agenten definieren, seine Tools verbinden und Eingabeaufforderungsvorlagen direkt in einer vertrauten Python-Umgebung verwalten und so die Kernkonstruktionsphase des ADLC optimieren.

Das SDK ist unter PyPI: https://pypi.org/project/agentforce-sdk/ verfügbar.

Das vollständige Projekt finden Sie hier:
https://github.com/akshatasawant9699/ADLC_Whitepaper.

Diese grundlegende Phase definiert den Zweck, die Persona und die Kernfunktionen eines Agenten. Es beinhaltet die Beantwortung wichtiger Fragen, um das "Gehirn" des Agenten zu entwickeln, bevor Code geschrieben wird. In diesem Beispiel wird ein Agent für Coral Cloud Resorts entworfen.

• Mission: Der Agent fungiert als Resort-Manager und bearbeitet Kundenbeschwerden, verwaltet Mitarbeiterpläne und stellt einen reibungslosen Resort-Betrieb sicher.
• Persona: Der Agent hat einen hilfreichen, professionellen und gesprächigen Ton.
• Tools und Funktionen: Der Agent benötigt Zugriff auf Reservierungssysteme, Mitarbeiterplanungssoftware und Resortrichtlinien.
• Entscheidungslogik: Der Agent verwendet AI-generierte Themen, um den Benutzer-Intent zu bestimmen und entsprechende Aktionen zu generieren.

Mit Agentforce DX wird die Designphase in eine handfeste Spezifikationsdatei übersetzt: Agentforce DX: Generieren einer Agentenspezifikation. Der erste Schritt der Pro-Code-Journey besteht darin, eine Datei vom Typ agentSpec.yaml zu generieren. Die YAML-Datei erfasst das Kerndesign des Agenten, einschließlich seiner Rolle, relevanter Unternehmensdetails und einer AI-generierten Liste von Themen, die die Aufträge definieren, die er bearbeiten kann.

Verwenden Sie die Salesforce CLI, um diese Spezifikation über interaktive Eingabeaufforderungen zu generieren. Führen Sie zum Erstellen Ihres Agenten mit Agentforce DX Folgendes aus:

Sie müssen spezifische Details angeben, die während der Ideenphase definiert wurden:

• Agententyp: Kunde
• Firmenname: Coral Cloud-Resorts
• Unternehmensbeschreibung: Coral Cloud Resorts bietet Kunden außergewöhnliche Aktivitäten für Reiseziele, unvergessliche Erfahrungen und Reservierungsservices, die alle von der Verpflichtung unterstützt werden, erstklassigen Kundenservice zu bieten.
• Agentenrolle: Der Resort-Manager leitet Kundenbeschwerden ein, verwaltet Mitarbeiterpläne und stellt sicher, dass alle Prozesse reibungslos ausgeführt werden.

Durch Ausführen dieses Befehls wird eine Datei agentSpec.yaml im Verzeichnis der Spezifikationen des DX-Projekts erstellt. Die Datei enthält die Informationen, die zusammen mit einer Liste AI-generierter Themen bereitgestellt wurden, die den Namen und die Beschreibung der einzelnen Themen enthalten. Überprüfen und bearbeiten Sie die Datei nach Bedarf, um die Funktionen des Agenten zu optimieren.

Ebenso verwendet die Python-SDK-Implementierung die interaktive Spezifikationssammlung, um Agententhemen mit den richtigen Umfangsfeldern zu generieren, die für die SDK-Kompatibilität erforderlich sind.
Außerdem wird eine vollständige JSON-Datei für Agentenspezifikationen erstellt, die zum Erstellen eines Agenten in Phase 2 verwendet wird.

Die Entwicklungsphase konzentriert sich auf die Erstellung der Kernkomponenten des Agenten: das Argumentationsmodul, die Tools, die er verwenden kann, und seine Knowledge Base. Agentforce fasst einen Großteil der Komplexität ab, wodurch sich Entwickler auf Geschäftslogik konzentrieren können.

In diesem Abschnitt werden zwei Pro-Code-Ansätze für die Agentforce Entwicklungsphase beschrieben. Verwenden Sie zum einen Agentforce DX und zum anderen Python.

Agentforce DX: Erstellen eines Agenten anhand einer Spezifikation

Sobald die Datei agentSpec.yaml fertig ist, erstellen Sie den Agenten in Ihrer Salesforce-Organisation. Führen Sie diesen Befehl aus, um den Agenten zu erstellen und die zugehörigen Metadaten wieder mit Ihrem lokalen DX-Projekt zu synchronisieren:

Akzeptieren Sie bei entsprechender Aufforderung den standardmäßigen API-Namen Resort_Manager. Der Befehl analysiert die Spezifikation, erstellt den Agenten und ruft die Metadaten ab. Die Metadaten enthalten einen Bot, eine BotVersion und ein GenAiPlannerBundle, die AI-Intelligenz und Verweise auf die Themen und Aktionen des Agenten hinzufügen.

Zeigen Sie vor der Erstellung eine Vorschau der Agentenstruktur an, indem Sie die Kennzeichnung --preview hinzufügen, um eine lokale JSON-Datei zu generieren, die den Agententyp angibt, den die LLM erstellen wird, einschließlich vorgeschlagener Aktionen. Beispiel:

Weitere Informationen finden Sie unter Erstellen eines Agenten aus Ihrem DX-Projekt in Trailhead.

Agentforce Python SDK: Definieren spezifischer Tools

Das Agenten-SDK erleichtert Agententests, indem simulierte Aktionen erstellt werden. Diese simulierten Aktionen müssen schließlich durch reale Aktionen in Salesforce ersetzt werden. Salesforce bietet eine Reihe von Plattformfunktionen, einschließlich Flows, Apex, Aufforderungsvorlagen und APIs, die alle als Agentforce-Aktionen gekapselt werden können.

Im Folgenden finden Sie einen simulierten Aktionscodeauszug, der veranschaulicht, wie eine Agentforce Aktion aussehen könnte.

Die Implementierung stellt die Verbindung zu Salesforce her, erstellt die Agenteninstanz und definiert benutzerdefinierte Tools und Aktionen, mit denen der Agent mit externen Systemen interagieren und bestimmte Geschäftsfunktionen ausführen kann.

Wie oben erläutert, ist das Testen eines Agenten komplexer als herkömmliche Softwaretests. Dazu müssen Verhalten, Argumentation und Robustheit in verschiedenen Szenarien validiert werden. Dies umfasst Einheitentests für einzelne Tools, durchgängige Tests für Unterhaltungen und kontradiktorische Tests zum Auffinden von Schwachstellen.

Agentforce DX bietet neben dem Testcenter und der direkten Test-API einen allgemeinen Workflow zum Erstellen, Bereitstellen und Ausführen von Tests. In diesem Abschnitt wird die Ausführung von Tests mit Agentforce DX veranschaulicht.

Agentforce DX: Ausführen eines Agententests

Verwenden Sie Agentforce DX, um vordefinierte Agententests direkt über die Befehlszeile auszuführen. Dies ist ideal für die Integration von Agententests in moderne DevOps-Prozesse.

Agentforce Python SDK: Simulieren von E2E- und kontradiktorischen Tests

Konzeptionell ermöglicht das Python-SDK skriptbasierte Unterhaltungen, um durchgängige Tests zu simulieren und die Argumentation von Agenten zu validieren.

Agentforce Python-SDK mit der Salesforce-Test-API

Die Python-SDK-Implementierung verwendet umfassende Tests mit der Salesforce-Test-API und den AiEvaluationDefinition-Metadaten und erstellt strukturierte Testfälle mit Erwartungen an Themensequenzen, Aktionssequenzen, Zeichenfolgenabgleich und Qualitätskennzahlen. Das System generiert XML-Metadatendefinitionen, die für automatisierte Agententests und -validierungen in Salesforce bereitgestellt werden können.

Nach der Validierung wird der Agent in einer Produktionsumgebung bereitgestellt. In dieser Phase ist Agentforce DX entscheidend für die Verwaltung und Verschiebung von Agentenmetadaten zwischen verschiedenen Organisationen (z. B. Sandbox-Instanzen und Produktion). Agentenbereitstellungen erstellen eine neue Version des Agenten und der Agent wird erst live geschaltet, wenn Sie ihn explizit aktivieren. Dadurch haben Sie vollständige Kontrolle darüber, wann die neue Version des Agenten veröffentlicht werden soll.

Agentforce DX: Bereitstellen von Agenten-Metadaten

Die standardmäßige Salesforce DX Projektstruktur organisiert Agentenmetadaten unter dem Verzeichnis force-app. Verwenden Sie standardmäßige sf project deploy-Befehle, um einen Agenten und die zugehörigen Tests in einer Zielorganisation bereitzustellen.

Nachdem ein Agent erstellt oder bereitgestellt wurde, können Sie ihn direkt auf der Agentforce Builder-Benutzeroberfläche öffnen, um seine Konfiguration zu überprüfen, indem Sie Folgendes ausführen:

Nachdem Sie überprüft haben, ob der Agent bereitgestellt wurde, können Sie ihn aktivieren. Wenn unerwartete Probleme auftreten, kehren Sie zur vorherigen Arbeitsversion des Agenten zurück.

Agentforce Python SDK: Bereitstellen der Agentenbereitstellung

Die Implementierung verwendet die validierte Agentenspezifikation und stellt sie in der Salesforce-Organisation bereit, wodurch der Agent zur Verwendung verfügbar wird. Der Bereitstellungsprozess umfasst die Agentenerstellung, die Metadatensynchronisierung und die Überprüfung der erfolgreichen Bereitstellung.

ADLC ist ein kontinuierlicher Zyklus. Die Bereitstellung ist nicht das Ende. Agenten sind lebendige Systeme, die ständig überwacht werden müssen, um Kennzahlen wie Latenz, Kosten und Erfolgsraten zu verfolgen. Die aus der Überwachung gewonnenen Erkenntnisse werden zum Optimieren und Verbessern der Agentenleistung durch promptes Engineering, Tool-Optimierung und Verfeinern von Knowledge Bases verwendet.

Die Agentforce Platform bietet umfassende Dashboards und Analysen, die diese wichtige Phase unterstützen und sicherstellen, dass sich Agenten im Laufe der Zeit weiterentwickeln und verbessern.

Agentforce Analytics

Agentforce Analytics, das sich im Ordner "Agentforce (Standard)" befindet, verwendet Data 360, um Statistiken zur Agentenleistung bereitzustellen. Das anpassbare Dashboard und Berichte bieten Daten zur Akzeptanz, zum Feedback und zur Nutzung und helfen Ihnen, Themen und Aktionen zu optimieren, um die Benutzerzufriedenheit zu steigern. Sie können Ergebnisse aufschlüsseln, indem Sie auf Diagramme oder verknüpfte Berichte klicken. Duplizieren Sie zum Anpassen vorhandene Berichte und ändern Sie die Duplikate, um Unterbrechungen von Analyseprozessen zu vermeiden.

Äußerungsanalyse

Die Äußerungsanalyse zeigt, wie Agentforce-Benutzer (Standard) Agenten verwenden, was sie anfordern und ob der Agent diese Anforderungen verarbeiten konnte. Mit diesen anpassbaren Berichten können Sie Ihre Themen und Aktionen optimieren, damit Ihre Agenten effektiver und genauer reagieren können.

Agentforce Python SDK: Überwachen mit Data 360-Integrationen

Die Agenten-SDK-Implementierung verwendet die erweiterte Überwachung und Analyse mit dem Data 360-Python-Konnektor, stellt eine Verbindung mit Salesforce Data 360 her, fragt Kennzahlen zur Agentenleistung ab und erstellt umfassende Überwachungs-Dashboards.
Das System verfolgt Antwortzeiten, Erfolgsraten, Benutzerzufriedenheit und Kostenkennzahlen, um handlungsrelevante Statistiken für die Agentenoptimierung bereitzustellen.

Agentforce DX: Agentenüberwachung

Die Implementierung verwendet standardmäßige AFDX-Befehle mit der CLI-basierten Agentenverwaltung, um den Agenten hinsichtlich Plattformänderungen auf dem Laufenden zu halten und Benutzerfeedback für eine kontinuierliche Verbesserung zu integrieren.

Informationen zur ADLC-Implementierung mit dem Agenten-SDK und AFDX finden Sie hier im GitHub-Repository.

Zum Beherrschen des Agentenentwicklungslebenszyklus müssen eine Reihe von Kernprinzipien eingehalten werden, die Effizienz, Zuverlässigkeit und strategische Ausrichtung gewährleisten. Die folgenden Richtlinien fassen die wichtigsten Lektionen aus jeder Phase des ADLC zu einem strategischen Framework für Architekten und Entwickler zusammen.

1. Planung und Ideenfindung

Diese Anfangsphase konzentriert sich darauf, den Zweck des Agenten an den Geschäftszielen auszurichten und sicherzustellen, dass er auf einer soliden Grundlage basiert.

• Priorität für Geschäftsauswirkungen: Ordnen Sie zunächst potenzielle Anwendungsfälle direkt strategischen Geschäftszielen zu. Verwenden Sie eine Priorisierungsmatrix, um ihre potenziellen Auswirkungen zu bewerten, und beginnen Sie mit einem einzelnen, fokussierten Anwendungsfall mit klaren KPIs.
• Beteiligte frühzeitig einbinden: Sammeln Sie Statistiken zu Schwachpunkten und stellen Sie die Ausrichtung sicher.
• Nutzen von Datenstatistiken: Ein Agent ist nur so gut wie seine Daten. Verwenden Sie Data 360, um verfügbare strukturierte und unstrukturierte Daten zu erkunden und den Kontext und die Funktionen des Agenten zu ermitteln. Überprüfen Sie vorhandene Berichte und Dashboards, um aktuelle Trends zu identifizieren, die Ihre Anwendungsfallauswahl beeinflussen können.
• Verwenden von Frameworks für die Idee: Wenden Sie strukturierte Ideenmethoden an, um potenzielle Anwendungen wie Design Thinking oder SWOT-Analysen zu brainstormen und zu verfeinern.

2. Erstellen von Agenten

In dieser Phase werden die bewährten Vorgehensweisen zum Erstellen eines leistungsstarken und effizienten Agenten beschrieben.

• Zu viele Themen vermeiden: Begrenzen Sie die Anzahl der Themen, um das Risiko zu reduzieren, dass ähnliche oder sich überschneidende Themen erstellt werden, die den Agenten verwirren könnten.
• Halten Sie Anweisungen und Eingabeaufforderungen kurz: Verwenden Sie eine direkte, einfache Sprache und stellen Sie Beispieläußerungen bereit, um den Agenten effektiv zu führen.
• Hebelvariablen und deterministische Aktionen: Verwenden Sie diese Tools, um das Verhalten des Agenten zu steuern und seine Leistung für besser vorhersehbare Ergebnisse zu optimieren.
• Aktionsausgaben klein und prägnant halten: Stellen Sie sicher, dass die Antworten des Agenten kurz und präzise sind. Längere Ausgaben verwenden mehr Kontext und sind langsamer zu generieren.
• Optimieren von Aktionen für die Geschwindigkeit: Entwerfen Sie Flows und Apex Klassen, um minimal erforderliche Daten zurückzugeben. Ziel ist es, dass weniger Aktionen erforderlich sind, um eine Antwort zu generieren, indem Sie sie nach Möglichkeit vorverarbeiten.
• Definieren eines klaren Umfangs: Schreiben Sie angemessene Beschreibungen, Anweisungen und Aktionsbereiche, um zu verhindern, dass der Agent bei Fragen außerhalb des Umfangs RAG (Retrieval-Augmented Generation) aufruft.
• Sparsamer Umgang mit der Hybridsuche: Verwenden Sie die Hybridsuche nur, wenn sie unbedingt erforderlich ist, da sie sich negativ auf die Latenz auswirken kann.

3. Testen, Überwachen und Tunen

Diese iterative Phase ist entscheidend für die Optimierung der Genauigkeit und Leistung des Agenten.

• Einrichten eines Test-Flows: Befolgen Sie einen einheitlichen Testzyklus:
  1. Batch-Test ausführen: Führen Sie einen umfassenden Satz an Tests aus.
  2. Bewertungen/Fehler anzeigen: Analysieren Sie die Leistungskennzahlen und identifizieren Sie Fehler.
  3. Fehler untersuchen: Untersuchen Sie jede Fehlerzeile, um die Diskrepanz zu verstehen.
  4. Agent aktualisieren: Nehmen Sie die erforderlichen Anpassungen am Agenten oder an seinen Auswertungsdaten vor.
• Informationen zur Sitzungsverfolgung überprüfen: Verwenden Sie das Sitzungsverfolgungsdatenmodell und den Agentforce Interaction Explorer, um Ursachenanalysen durchzuführen, wenn Probleme oder unerwartete Verhaltensweisen identifiziert werden. Stimmen Sie Ihren Agenten anhand der Informationen ab und setzen Sie die Iteration Ihres Agenten fort.

Der Lebenszyklus der Agentenentwicklung stellt eine wichtige Entwicklung traditioneller Softwareentwicklungsprinzipien dar, die für die Ära intelligenter, autonomer Systeme entwickelt wurde.

• Evolution, nicht Ersatz: Der Lebenszyklus der Agentenentwicklung erweitert und verbessert die herkömmliche Anwendungslebenszyklus-Verwaltung, ohne sie zu ersetzen.
• Daten als Bürger erster Klasse: Daten spielen bei der Agentenentwicklung eine viel dynamischere und zentralere Rolle.
• Spezialisierte Tools und Fertigkeiten: Erfordert neue Tools und eine breitere Palette spezialisierter Fertigkeiten in den Bereichen Data Science, ML Engineering und Agentenentwicklung.
• Kontinuierliches Lernen: Durch die Agentenentwicklung wird das System selbst kontinuierlich erlernt und angepasst.
• Künftige Auswirkungen: Agentische AI verspricht, komplexe IT-Vorgänge und Workflows für die Softwareentwicklung weiter zu automatisieren und zu optimieren.