Driftsmæssig excellence - agentmønstre
Læs mere om Well-Archived Operational Excellence → Agent Enterprise Operational Excellence
Mønstre
| Hvor skal du se | Hvad der ser godt ud |
|---|---|
| Agentforce | Sessionssporing | ✅ Brug den oprindelige Sessionssporingsdatamodel (STDM) til at registrere agentinteraktioner i en forenet datamodel på Data 360 i stedet for at opbygge et parallelt telemetriesystem – registrering af hver samtale som et sporingshierarki af sessioner, interaktioner (omdrejninger) og trin (UserInputStep, LLMExecutionStep, FunctionStep) |
| Agentforce | Sessionssporing | ✅ Afhæng af STDM-standardobjekter (AIAgentSession, AIAgentSessionParticipant, AIAgentInteraction, AIAgentInteractionStep, AIAgentInteractionMessage), som registrerer handlinger som standard som interaktionstrin i stedet for at kræve en separat handlingslog |
| Agentforce | Sessionssporing | ✅ Hent tokenanvendelse, model og meddelelsesdetaljer ved at sammenføje interaktionstrin til deres LLM-opkaldsregistreringer (via GenerationId og GenAiGatewayRequest/Response-referencer) i stedet for at gemme dem som tilpassede sessionsfelter |
| Agentforce | Sessionssporing | ✅ Registrer ræsonnementsspor fra Atlas-arrangeringssystemet – Sessionssporing registrerer planlæggerens trin som en del af hver interaktion – for at afsløre agentbeslutningsprocesser og forbedre fejlfindbarheden |
| Agentforce | Agentkonfiguration | ✅ Logfør detaljer på turn-level, herunder brugerinput, agentsvar, begrundelsesforklaring, konfidensscores, hentet kontekst, handlinger, der er forsøgt, og fejl, der er stødt på |
| Einstein | Trust Layer | ✅ Aktiver det Einstein Trust Layer-generative AI-revisionsspor (meddelelses- og svartekst, PII-maskerede versioner, basisdata, sikkerheds- og toksicitetsscores, modeldetaljer), der streames til Data 360, plus Einstein Generative AI og Feedback-datasamling og -lagring til langsigtet bevarelse |
| Platform | Tilpassede objekter | ✅ Reserver tilpassede logobjekter for bevidste undtagelser – f.eks. et letvægtsobjekt, der korrelerer agentadfærd med forretningsresultater – i stedet for at gøre dem til det primære logføringsubstrat |
| Platform | Dashboard | ✅ Korreler agentadfærd med forretningsresultater, identificer forbedringsmuligheder gennem mønsteranalyse, og feed kontinuerlige lærings-pipelines med kvalitetsbetegnede eksempler |
Anti-mønstre
| Hvor skal du se | Hvad ser dårligt ud |
|---|---|
| Platform | Tilpassede objekter | ⚡️ Håndbygning af tilpassede transaktionsmæssige objekter som det primære samtalelogging-substrat i stedet for den oprindelige datamodel for sessionssporing, der løber ind i skalaproblemer med lagring af samtaler med flere vagter, store JSON-data og hurtig datavækst |
| Agentforce | Sessionssporing | ⚡️ Opbygning af et parallelt telemetriesystem, når Agentforce allerede registrerer interaktioner i en forenet datamodel på Data 360 |
| Agentforce | Agentkonfiguration | ⚡️ Logfør kun agentsvar uden at registrere input, begrundelsesspor, hentet kontekst og udførte handlinger |
| Einstein | Trust Layer | Inaktivering af revisionssporet for Einstein Trust Layer i produktion eller ikke-aktivering af Feedback-datasamling og -lagring til langsigtet bevarelse i Data 360 |
| Platform | Overvågning | ⚡️ Afhængig udelukkende af samtalesucces/fejl uden at registrere tokenanvendelse, model og meddelelsesdetaljer gennem STDM LLM-opkaldssammenføjninger |
Mønstre
| Hvor skal du se | Hvad der ser godt ud |
|---|---|
| Platform | Overvågning | ✅ Mål svarforsinkelse ved percentiler (p50, p95, p99), der viser typisk ydeevne og oplevelser i værste tilfælde |
| Platform | Overvågning | ✅ Instrumenter hver forsinkelsesfase separat (modelafledning, kontekst hentning, handlingskørsel, netværk), der aktiverer målrettet optimering |
| Platform | Overvågning | ✅ Advarsel, når p95-forsinkelse overskrider tærskler, der angiver nedbrydning af ydeevne |
| Platform | Overvågning | ✅ Spor tokenfordeling (meddelelsestokener, fuldførelsestokener, tokener i alt) pr. samtale, pr. agent og pr. anvendelsessituation |
| Platform | Overvågning | ✅ Registrer afvigelsessamtaler, der forbruger overdrevne tokener, der foreslår meddelelsesproblemer eller misbrug |
| Platform | Overvågning | ✅ Sammenlign aktuel gennemsnit med kendte frekvensgrænser eller kapacitetsbasislinjeadvarsler, når tærskler nærmer sig |
| Platform | Overvågning | ✅ Beregn fejlfrekvenser som en procentdel af de samlede anmodninger, der aktiverer sammenligning på tværs af agenter og tidsperioder |
| Platform | Overvågning | ✅ Forskel mellem fejlkategorier (modelfejl, tilladelsesfejl, integrationsfejl), der kræver forskellige svar |
| Platform | Overvågning | ✅ Beregn tilgængelighed som procentdel af tid, som agenter reagerede korrekt på anmodninger og sporede mod SLO’er |
| Platform | Proactive Monitoring | ✅ Konfigurer Proactive Monitoring baseret på basislinjeagentadfærdsmønstre i stedet for at acceptere standarder |
| Platform | Skaleringscenter | ✅ Gennemse Scale Center-data efter implementering af nye agenter eller foretagelse af væsentlige meddelelsesændringer, der validerer forventninger for ressourceforbrug matcher |
Anti-mønstre
| Hvor skal du se | Hvad ser dårligt ud |
|---|---|
| Platform | Overvågning | ⚡️ Måler kun gennemsnitlig forsinkelse i stedet for percentiler, maskerer værste tilfælde-brugeroplevelser |
| Platform | Overvågning | ⚡️ Sporing af samlet forsinkelse uden at instrumentere individuelle faser (afledning, hentning, handlingskørsel) |
| Platform | Overvågning | ⚡️ Behandler alle fejl ens i stedet for at kategorisere efter type (model, tilladelse, integration) for at få det rette svar |
| Platform | Proactive Monitoring | ⚡️ Accept af standardtærskler for Proactive Monitoring uden at justere til basisadfærdsmønstre for agent |
| Platform | Skaleringscenter | ⚡️ Implementering af nye agenter eller foretagelse af meddelelsesændringer uden at gennemse Scale Center-data for at validere ressourceforbrug |
| Platform | Overvågning | Ignorering af tokenforbrugsmønstre og ikke at registrere afvigelsessamtaler, der forbruger 10 gange typiske tokener |
Mønstre
| Hvor skal du se | Hvad der ser godt ud |
|---|---|
| Agentforce | Testcenter | ✅ Start med oprindelige test- og evalueringsværktøjer: vedligeholde genanvendelige testsagsæt i Agentforce-testcenteret og køre agenter mod dem i batches, kontrollere, om agenten valgte det forventede emne og handling og producerede et acceptabelt svar |
| Agentforce | Testcenter | ✅ Brug oprindelige evalueringer – indbyggede kvalitetsdimensioner og LLM-as-judge-tilgang til at score samtalekvalitet – og opretter tilpassede evalueringer for organisationsspecifikke kriterier, der bruger repræsentative samtaler, så evalueringen afspejler reel anvendelse |
| Agentforce | Testcenter | ✅ For faktaspørgsmål med kendte svar skal du vedligeholde påstande om kendte svar som gentagne testsager i Testcenter. For åbne spørgsmål skal du tilføje gennemsyn af samtaler, der er udvalgt |
| Data 360 | Hentningskvalitet | ✅ For agenter, der er baseret på en Knowledge, skal du bruge indbyggede hentningskvalitetsanalyser til at vurdere kontekstrelevans, svarrelevans og loyalitet (baseret) for svar |
| Einstein | Trust Layer | ✅ Brug Einstein Trust Layer-kørselsdetektering af toksicitet som den første linje af guardrail-beskyttelse, og forbedr derefter sikkerhedsovervågningen gennem indholdsfiltrering, manuel gennemgang af prøver, brugerrapportering og fairness-revisioner på tværs af demografiske grupper |
| Data 360 | GenAIFeedback | ✅ Registrer brugertilfredshed gennem Agentforce, der flyder ind i GenAIFeedback/GenAIFeedbackDetail-DMO’er i Data 360 (tommel op/ned, accepter/afvis, rediger, ordrette kommentarer) sammen med gatewayanmodninger og genereringsdata |
| Platform | Analytics | ✅ Kombiner eksplicit feedback (spurgt før eskalering, efter samtale, opfølgningsundersøgelser) med implicitte signaler (fuldførelsesfrekvenser, eskalering, afvisning, forsøg), der korrelerer med samtalekarakteristika for at guide forbedringsprioritering |
Anti-mønstre
| Hvor skal du se | Hvad ser dårligt ud |
|---|---|
| Agentforce | Testcenter | Bygge og køre en tilpasset test harness i stedet for at starte med Agentforce-testcenterets genanvendelige test sæt og oprindelige evaluerere |
| Agentforce | Testcenter | ⚡️ Afhængig udelukkende af automatiseret evaluering uden menneskelig gennemgang for kvalitetsvurdering af åbne svar |
| Platform | Overvågning | ⚡️ Overvåg kun nøjagtighed uden at spore relevans, sikkerhed og brugertilfredshedsdimensioner |
| Data 360 | GenAIFeedback | ⚡️ Ikke at indsamle nogen brugerfeedback (eksplicit eller implicit) om agentsvarkvalitet, når Agentforce allerede flyder ind i GenAIFeedback-DMO’er |
| Agentforce | Agentkonfiguration | ⚡️ Ignorering af rimelighedsrevisioner, der vurderer resultatfordelinger på tværs af demografiske grupper |
Mønstre
| Hvor skal du se | Hvad der ser godt ud |
|---|---|
| Agentforce | Agentkonfiguration | ✅ Etabler basislinjeydeevne umiddelbart efter agentimplementering måler nøjagtighed, relevans, sikkerhed og tilfredshed på tværs af repræsentative testsager |
| Agentforce | Agentkonfiguration | ✅ Genevaluer regelmæssigt op mod de samme testsager, der afslører ændringer i ydeevnen uafhængigt af anvendelsesmønstervagter |
| Platform | Overvågning | ✅ Advar, når kvalitetsmetrikker falder ud over acceptable tærskler, der er defineret af forretningspåvirkningstolerance |
| Platform | Analytics | ✅ Overvåg inputegenskaber (spørgsmålslængde, emnefordeling, sprogkompleksitet, domæneterminologi) registrerer væsentlige distributionsvagter |
| Platform | Overvågning | ✅ Overvåg svaregenskaber (gennemsnitlig svarlængde, handlingsanmodningsfrekvenser, eskaleringsfrekvenser, fejlmønstre) ved at etablere adfærdsmæssige basislinjer |
| Platform | Overvågning | ✅ Konfigurer automatiserede advarsler, der udløses, når afledningsmetrikker overskrider tærskler, der udløser undersøgelse og rettelse |
Anti-mønstre
| Hvor skal du se | Hvad ser dårligt ud |
|---|---|
| Agentforce | Agentkonfiguration | ⚡️ Ikke at etablere basislinjeydeevne efter den indledende agentimplementering, hvilket gør afvigelse ikke-registrerbar |
| Platform | Overvågning | Ignorering af distributionsafvigelser, når brugerinputmønstre ændres væsentligt i forhold til, hvad agenter er designet til at håndtere |
| Platform | Overvågning | ⚡️ Ikke overvåge adfærdsmæssige ændringer (svarlængde, handlingsfrekvenser, eskaleringsfrekvenser) i forhold til etablerede basislinjer |
| Platform | Overvågning | ⚡️ Ingen automatiseret advarsel for afledningsmetrikker, der kun er afhængig af manuel observation for at registrere nedbrydning |
Mønstre
| Hvor skal du se | Hvad der ser godt ud |
|---|---|
| Platform | Overvågning | ✅ Overvåg distributioner af tokenforbrug, der registrerer afvigelsessamtaler, og undersøg dem, der forbruger 10 gange typiske tokener |
| Platform | Overvågning | ✅ Registrer pludselige stigninger i fejlfrekvenser, nye fejltyper, der ikke er på basislinjen, eller lokaliserede fejlkoncentrationer, der påvirker specifikke brugere eller agenter |
| Platform | Analytics | ✅ Spor samtaleafvisning efter samtalefase, der identificerer, om brugere afslutter under den indledende interaktion, midt i samtalen eller efter opgavefuldførelse |
| Platform | Overvågning | Distribuer kritiske agentfejl til on-call-teknikere med det samme, kvalitetsnedgradering til produktteams i arbejdstiden og mindre afvigelser i daglige sammendrag |
Anti-mønstre
| Hvor skal du se | Hvad ser dårligt ud |
|---|---|
| Platform | Overvågning | ⚡️ Håndtere alle advarsler med lige stor vigtighed, hvilket forårsager advarselstræthed og mislykkede kritiske fejl |
| Platform | Overvågning | Ignorering af omkostningsafvigelser som spidser i tokenforbrug, der kan angive meddelelsesproblemer, misbrug eller infrastrukturproblemer |
| Platform | Analytics | ⚡️ Ikke at spore stopfrekvenser for samtale eller ikke at analysere stop efter fase |
| Platform | Overvågning | ⚡️ Venter på brugerrapporter i stedet for proaktivt at registrere fejlfrekvensspikes gennem automatiseret overvågning |
Mønstre
| Hvor skal du se | Hvad der ser godt ud |
|---|---|
| Platform | Kildekontrol | ✅ Gem meddelelsesskabeloner i Git sammen med applikationskodebehandling af meddelelser som vigtig applikationslogik, der fortjener kodegennemgang, test og kontrolleret implementering |
| Einstein | Promptkonstruktør | ✅ Brug Promptkonstruktør til iterativ promptudvikling med versionshistorik og testfunktioner, og eksporter derefter til versionskontrol for implementeringspipelines |
| Platform | Kildekontrol | ✅ Gem konfigurationer (modelvalg, temperatur, tokengrænser, hentningskonfigurationer, handlingstilladelser, funktionsflag) som kode, der aktiverer miljøspecifikke værdier og afledningsregistrering |
| Platform | Kildekontrol | ✅ Anvend semantisk versionering på agentkomponenter: større (afbrydelse af ændringer), mindre (funktioner), fejlretning (fejlrettelser) med versionsnumre, der vises i logfiler |
| Platform | Dokumentation | ✅ Dokumenter, hvad der er ændret, hvorfor det er ændret, hvilken test der validerede ændringen, og hvilke tilbagerulningsprocedurer der findes for hver meddelelse og konfigurationsændring |
Anti-mønstre
| Hvor skal du se | Hvad ser dårligt ud |
|---|---|
| Einstein | Promptkonstruktør | ⚡️ Foretagelse af meddelelsesændringer uden kodegennemgang, test eller kontrollerede implementeringsprocesser |
| Platform | Konfiguration | ⚡️ Lagring af agentkonfigurationer uden for kildekontrol, hvor afledning ikke kan registreres, og implementeringer ikke kan automatiseres |
| Platform | Dokumentation | ⚡️ Foretagelse af meddelelsesændringer uden at dokumentere logik, testresultater eller tilbagerulningsprocedurer |
| Platform | Kildekontrol | ⚡️ Ikke at anvende semantisk versionering, hvilket gør det umuligt at korrelere hændelser med specifikke implementeringer |
Mønstre
| Hvor skal du se | Hvad der ser godt ud |
|---|---|
| Platform | Dokumentation | ✅ Vedligehold en modelregistrering for, hvilke modelversioner der implementeres, hvor der inkluderes modelfamilie, specifik version, finjusteringstilstand, miljø, implementeringsdato og ansvarlige team |
| Platform | Dokumentation | ✅ Logfør hver agentimplementering inklusive version, miljø, tidsstempel, implementeringsbruger, opnåede godkendelser og implementeringsresultat |
| Platform | Dokumentation | ✅ Tilknyt afhængigheder mellem agenter, meddelelser, Knowledge, handlinger og integrationer eksplicit i stedet for at finde dem under hændelser |
| Forretning | Proces | ✅ Etabler en udfasningsplan med en policeunderstøttet mindste adviseringsperiode kommunikeret tilstrækkeligt på forhånd, så du aktiverer planlagte migreringer snarere end nødsituationer til tvungne udfasninger |
| Platform | Dokumentation | ✅ Dokumenttilbagerulningsprocedurer for hver agent, herunder målversion, kørselstrin, valideringstest og adviseringskrav |
| Platform | Faseinddeling | ✅ Test tilbagerulningsprocedurer i ikke-produktionsmiljøer, der validerer, at de fungerer, før de afhænger af dem under produktionshændelser |
Anti-mønstre
| Hvor skal du se | Hvad ser dårligt ud |
|---|---|
| Platform | Dokumentation | ⚡️ Udforskning af afhængigheder mellem agenter, meddelelser og Knowledge kun under hændelser i stedet for at vedligeholde eksplicitte afhængighedskort |
| Forretning | Proces | ⚡️ Angivelse af utilstrækkelig udfasningsadvarsel tvinger migreringer af nødservice i stedet for planlagte overgange |
| Platform | Dokumentation | ⚡️ Har ikke-testede tilbagerulningsprocedurer, der mislykkes, når der er mest brug for dem under produktionshændelser |
| Platform | Implementering | Implementering af agenter uden at logføre version, miljø, godkendelser eller resultat, hvilket mister muligheden for at korrelere hændelser med implementeringer |
Mønstre
| Hvor skal du se | Hvad der ser godt ud |
|---|---|
| Platform | Brugergrænseflade | ✅ Indsaml eksplicit feedback (tommelfinger op/ned, kvalitetsscores, kommentarer) og implicit feedback (fuldførelsesfrekvenser, eskaleringsfrekvenser, prøvemønstre) systematisk |
| Data 360 | Datakuration | ✅ Organiser samtallogfiler i træningsdatasæt ved at filtrere efter kvalitet, fjerne problematiske eksempler, sikre repræsentativitet og fjerne dubletter |
| Data 360 | Fastgøring | ✅ Tilpas agenter til domæneordforråd, forretningsprocesser og organisationsspecifik Knowledge primært gennem RAG baseret på Data 360 og prompt tuning – den Salesforce-baserede tilpasningssti |
| Einstein | BYOLLM | ✅ Når grounding og prompt-tuning er utilstrækkelige, kan du finjustere en model eksternt og tilslutte den gennem BYOLLM i stedet for at forvente finjustering af generering i platformen |
| Einstein | Promptkonstruktør | ✅ Etabler regelmæssig meddelelsesgennemgangskadence, der undersøger seneste samtaler, kvalitetsmetrikker og brugerfeedback, der identificerer forbedringsmuligheder |
| Einstein | Promptkonstruktør | ✅ Implementer meddelelsesændringer trinvist med A/B-test, der validerer forbedringer før fuld udrulning |
| Agentforce | Agentkonfiguration | ✅ Vedligehold testsæt, der dækker glade stier, kantsager, modsætningsinput og historiske problemsscenarier, og udvides kontinuerligt, efterhånden som der opdages nye kantsager |
Anti-mønstre
| Hvor skal du se | Hvad ser dårligt ud |
|---|---|
| Platform | Data | ⚡️ Forsøg på forbedring uden systematisk feedbackindsamling, hvilket gør forbedring gætteri snarere end datastyrede |
| Data 360 | Datakuration | ⚡️ Brug af ikke-organiserede samtalelogfiler til uddannelse, herunder sikkerhedsovertrædelser, fejl og ikke-repræsentative eksempler |
| Data 360 | Fastgøring | ⚡️ Reaching for ekstern finjustering, før du udtøver RAG-landing og prompt-tuning, den oprindelige sti, der løser de fleste domæne-tilpasningsbehov uden en tilpasset model |
| Einstein | Promptkonstruktør | ⚡️ Behandler meddelelsesteknik som en engangsøvelse i stedet for kontinuerlig praksis justeret, efterhånden som anvendelsesmønstre udvikles |
| Agentforce | Agentkonfiguration | ⚡️ Har statiske testsæt, der aldrig udvides til at dække nye kantsager, der er fundet i produktion |
Mønstre
| Hvor skal du se | Hvad der ser godt ud |
|---|---|
| Platform | Tilpassede metadatatyper | ✅ Implementer funktionsflag ved brug af tilpassede metadatatyper eller tilpassede indstillinger for at frakoble implementering fra frigivelse for ændringer af agenter med høj risiko |
| Platform | Tilladelsessæt | ✅ Implementer canary-implementeringer, der frigiver agentændringer til et lille brugersubsæt først ved brug af tilladelsessæt, der kontrollerer agentadgang |
| Agentforce | Agentkonfiguration | ✅ Overvåg den kanariske kohorte intensivt for at måle succesfrekvenser, kvalitet, fejlfrekvenser, forsinkelse, tokenforbrug og tilfredshed, og udvid kun udrulning, når den kanariske matcher eller forbedres på den kontrolgruppe, der kører den tidligere agentversion |
| Platform | Analytics | ✅ Definer succeskriterier, før du starter A/B-test, der forhindrer tvetydige resultater, i overensstemmelse med forretningsmålsætninger |
| Agentforce | Agentkonfiguration | ✅ Implementer mesterudfordringstest vedligeholdelse af bekræftet version som tilbagerulning, mens du sammenligner med forbedret udfordringsversion |
| Forretning | Proces | ✅ Etabler målrettede reklamekampagnekriterier, herunder mindste prøvestørrelse, kvalitetstærskler og evalueringsvarighed før reklamekampagnebeslutninger |
Anti-mønstre
| Hvor skal du se | Hvad ser dårligt ud |
|---|---|
| Agentforce | Agentkonfiguration | ⚡️ Udrulning af agentændringer til alle brugere samtidigt uden kanaretest, hvilket maksimerer radius for problemer |
| Platform | Implementering | Implementering af agentændringer med høj risiko uden funktionsflag, der aktiverer øjeblikkelig tilbagerulning uden genimplementering |
| Platform | Analytics | ⚡️ Kørsel af A/B-test uden foruddefinerede succeskriterier, der fører til tvetydige resultater og dårlige beslutninger |
| Platform | Analytics | ⚡️ Kørsel af eksperimenter med utilstrækkelig prøvestørrelse, der producerer støjende resultater, der fører til ukorrekte konklusioner |
| Agentforce | Agentkonfiguration | ⚡️ Brug af funktionsflag for hver mindre meddelelsesændring i stedet for at reservere dem til ændringer med høj risiko for forretningskritiske agenter |
Mønstre
| Hvor skal du se | Hvad der ser godt ud |
|---|---|
| Platform | Overvågning | ✅ Registrer agentfejl gennem automatiseret overvågning af advarsler om fejlfrekvenser, kvalitetsmetriknedgradering, omkostningsafvigelser, forsinkelsesforøgelser og brugerskaleringer |
| Platform | Overvågning | ✅ Suppler automatiseret registrering med brugerrapporteringsmekanismer, der aktiverer eskalering af problemer med automatiseret overvågning af fejl |
| Forretning | Proces | ✅ Definer alvorskriterier objektivt baseret på brugerpåvirkning, blastradius, risiko for dataintegritet og gendannelsesnødvendighed |
| Platform | Dokumentation | ✅ Dokumenter indledende svarprocedurer som kørselsark, der kan eksekveres af on-call-teknikere uden dyb agent-ekspertise |
| Agentforce | Agentkonfiguration | ✅ Inkluder i første svar: inaktivere mislykkede agenter (forbindelsesskift), distribuere til tilbagerulning, indsamle diagnoser, advisere interessenter, starte hændelseskommunikation |
Anti-mønstre
| Hvor skal du se | Hvad ser dårligt ud |
|---|---|
| Platform | Overvågning | ⚡️ Afhængighed af brugerrapporter som primær registreringsmekanisme i stedet for automatiseret overvågning for agentfejl |
| Forretning | Proces | ⚡️ Brug af subjektiv alvorsklassificering, der fører til under-eskalerende virkelige problemer eller over-eskalerende mindre problemer |
| Platform | Dokumentation | ⚡️ Ingen kørselslister, der kræver hændelsesspecifik undersøgelse af ingeniører med dyb agentkompetence under hver hændelse |
| Forretning | Proces | ⚡️ Behandler agentfejl identisk med traditionelle applikationsfejl uden at tage højde for hallucinationer, svar uden for emnet eller sikkerhedsovertrædelser |
Mønstre
| Hvor skal du se | Hvad der ser godt ud |
|---|---|
| Platform | Apex | ✅ Implementer afbrydere med konfigurerbar fejltærskel (f.eks. 50 % fejlfrekvens), varighedsvindue (f.eks. 5 min. rullende vindue) og gendannelsestest (periodiske prøveanmodninger) |
| Agentforce | Agentkonfiguration | ✅ Design af tilbagerulningshierarkier: Primær sofistikeret agent → Enklere sikkerhedskopieringsagent → Statiske Ofte stillede spørgsmålssvar → Menneskelig overførsel |
| Platform | Orkestrering | ✅ Implementer tilbagerulningslogik i orkestreringslaget i stedet for i individuelle agenter, der aktiverer ensartet adfærd på tværs af agentøkosystemet |
| Agentforce | Agentkonfiguration | ✅ Design menneskelige afvisning af arbejdsflows, der bevarer samtalekontekst, kommunikerer afvisning af årsag og distribuerer til relevante menneskelige agenter med relevant ekspertise |
| Platform | Overvågning | ✅ Overvåg overførselsfrekvenser efter emne, agent og fejlårsag for at identificere agentfunktionsmangler |
| Agentforce | Agentkonfiguration | ✅ Når avanceret argumentering mislykkes, skal du vende tilbage til enklere logik. Når realtidsdata er utilgængelige, skal du arbejde på cachelagrede data. Når integrationer mislykkes, skal du arbejde i skrivebeskyttet tilstand |
| Platform | Orkestrering | ✅ Test tilbagerulningsstier regelmæssigt, der validerer, at de fungerer, når der er behov for det |
Anti-mønstre
| Hvor skal du se | Hvad ser dårligt ud |
|---|---|
| Agentforce | Agentkonfiguration | ⚡️ Ingen afbrydere, hvilket tillader, at mislykkede agenter gentagne gange påvirker brugere, mens problemer løses |
| Platform | Orkestrering | Implementering af tilbagerulningslogik i individuelle agenter i stedet for på orkestreringslaget, hvilket skaber inkonsekvent adfærd |
| Agentforce | Agentkonfiguration | ⚡️ Design af binære overførsels-/fejlagenter, der enten fungerer perfekt eller mislykkes fuldstændigt uden gode forringelsesindstillinger |
| Platform | Orkestrering | ⚡️ Test aldrig tilbagerulningsstier, og find ud af, at de ikke kun fungerer under faktiske hændelser |
| Agentforce | Agentkonfiguration | ⚡️ Menneskelig håndtering, der mister samtalekontekst, tvinger brugere til at gentage oplysninger |
Mønstre
| Hvor skal du se | Hvad der ser godt ud |
|---|---|
| Forretning | Proces | ✅ Udfør uskyldige efterhændelsesgennemgange med fokus på systemforbedringer i stedet for individuelle fejl, der skaber psykisk sikkerhed |
| Forretning | Proces | ✅ Opret en detaljeret tidslinje fra indledende betingelser gennem registrering, undersøgelse, svar, gendannelse og validering med tidsstempler |
| Forretning | Proces | ✅ Brug “Five Whys”-teknik til at gå i detaljer fra symptomer til grundlæggende årsager i stedet for forenklede konklusioner |
| Forretning | Proces | ✅ Analyser bidragende faktorer, herunder overvågningsmangler, testmangler, dokumentationsmangler, automatiseringsmangler og arkitektoniske mangler |
| Forretning | Proces | ✅ Evaluer registrering: hvilket signal der skulle have registreret et problem tidligere, hvilken overvågning der aktiverer hurtigere registrering |
| Forretning | Proces | ✅ Angiv konkrete, tildelte tidsbaserede handlingselementer, der forhindrer gentagelse (f.eks. “tilføj advarsel for fejlfrekvens, der overstiger 5 % over 10 min. - tildelt: Alex - forfalden: 2 uger”) |
| Forretning | Proces | ✅ Spor fuldførelse af handlingselement i efterfølgende gennemgange, så der faktisk sker kontinuerlig forbedring |
| Platform | Dokumentation | ✅ Dokument efter hændelse-gennemgange i delt Knowledge med tagging, der aktiverer mønsteranalyser på tværs af flere hændelser |
| Forretning | Proces | ✅ Del efterhændelsesgennemgange bredt ud over øjeblikkelige hændelsessvar via teammøder eller lunch-and-learn-sessioner |
Anti-mønstre
| Hvor skal du se | Hvad ser dårligt ud |
|---|---|
| Forretning | Proces | ⚡️ Skyldsfokuserede postmortems, der reducerer psykisk sikkerhed og forhindrer ærlig vurdering af fejl |
| Forretning | Proces | ⚡️ Enkelte konklusioner om grundlæggende årsager (“agenten havde en fejl”) snarere end specifikke resultater, der aktiverer en effektiv rettelse |
| Forretning | Proces | ⚡️ Uigennemsigtige handlingselementer som “forbedr overvågning” i stedet for specifikke, tildelte tidsbaserede opgaver |
| Forretning | Proces | ⚡️ Lavt fuldførelsesfrekvens for handlingselement, der angiver en kontinuerlig forbedringsprocesfejl |
| Forretning | Proces | ⚡️ Bevarelse af efterhændelseslæring isoleret til øjeblikkelige svar i stedet for at dele bredt for organisatorisk læring |
Mønstre
| Hvor skal du se | Hvad der ser godt ud |
|---|---|
| Forretning | Proces | ✅ Valider Tjekliste før implementering, herunder test, sikkerhedsgennemgang, overensstemmelsesvalidering, dokumentation, overvågningskonfiguration og interessentgodkendelse |
| Forretning | Proces | ✅ Evaluer risiko baseret på eksplosionsradius, datafølsomhed, handlingsgodkendelse, integrationsafhængigheder, gendannelseskompleksitet og overensstemmelsespåvirkninger |
| Forretning | Proces | ✅ Skaler godkendelseskrav baseret på risiko: høj risiko kræver ledelsesgodkendelse, sikkerhedsgennemgang og gradvis udrulning. Lav risiko kræver peer-gennemgang og standardtest |
| Platform | Godkendelsesprocesser | ✅ Implementer automatiserede, sporede og reviderbare godkendelsesarbejdsflows ved brug af Salesforce-godkendelsesprocesser eller eksterne implementeringsværktøjer |
| Forretning | Proces | ✅ Definer nødsituationsomgåelsesprocedurer, der kræver ledelsesgodkendelse, grundlæggende dokumentation og hurtiggennemgang efter implementering |
| Platform | Overvågning | ✅ Spor nødimplementeringer separat. Høj frekvens for nødimplementering angiver procesproblemer, der kræver undersøgelse |
Anti-mønstre
| Hvor skal du se | Hvad ser dårligt ud |
|---|---|
| Forretning | Proces | ⚡️ Anvende ensartet godkendelsesdybde uanset agentrisikoprofil, spilde indsats på agenter med lav risiko eller undergennemse agenter med høj risiko |
| Forretning | Proces | Implementering af produktionsagenter uden validering af Tjekliste før implementering af test, sikkerhed, overensstemmelse og overvågning |
| Platform | Implementering | ⚡️ Ingen nødhjælpsomgangsprocedurer, der forårsager kritiske retningsforsinkelser under produktionshændelser |
| Forretning | Proces | ⚡️ Ofte kræver nødimplementeringer, der angiver brudte standardprocesser snarere end ekstraordinære omstændigheder |
Mønstre
| Hvor skal du se | Hvad der ser godt ud |
|---|---|
| Agentforce | Agentkonfiguration | ✅ Testoutputegenskaber (indeholder påkrævede oplysninger, bevarer relevant tone, inkluderer citationer) snarere end nøjagtig tekst for ikke-deterministiske agentresultater |
| Agentforce | Agentkonfiguration | ✅ Etabler minimumkvalitetstærskler (f.eks. “95 % nøjagtighed på tilbageholdte testsæt, nul sikkerhedsovertrædelser, fairness-revision viser ingen demografiske forskelle, der overstiger 5 %“) |
| Agentforce | Agentkonfiguration | ✅ Udfør sikkerhedstest med modsatte input, herunder meddelelsesindsprøjtning, jailbreakforsøg, anmodningeskalering og anmodninger uden for omfang |
| Agentforce | Agentkonfiguration | ✅ Få sikkerhedstest udført af teammedlemmer, der ikke er involveret i agentudvikling, der giver et nyt perspektiv på sårbarheder |
| Platform | Ydelsestest | ✅ Test under realistisk indlæsning, herunder samtidige samtaler, typiske samtalelængder og projiceret anvendelsesvolumen |
| Platform | Sikkerhed | ✅ Valider, at agenter ikke kan få adgang til uautoriserede data, ikke kan udføre uautoriserede handlinger, og at meddelelsesinjektion ikke kan eskalere rettigheder |
| Platform | CI/CD | ✅ Integrer sikkerhedsscanning i implementeringspipeline ved brug af Salesforce Code Analyzer og specialiserede AI-sikkerhedsværktøjer |
Anti-mønstre
| Hvor skal du se | Hvad ser dårligt ud |
|---|---|
| Agentforce | Agentkonfiguration | ⚡️ Testagenter for nøjagtig tekstmatch på ikke-deterministiske output i stedet for at teste outputegenskaber |
| Platform | Ydelsestest | ⚡️ Kun test med enkeltbrugerscenarier, manglende styringsbegrænsningsproblemer, ressourcebegrænsninger og flaskehalse med skalerbarhed |
| Agentforce | Agentkonfiguration | ⚡️ Ignorering af sikkerhedstest eller at få udviklere til at teste deres egne agenter uden nyt perspektiv på sårbarheder |
| Platform | Sikkerhed | ⚡️ Ikke teste, om meddelelsesinjektion kan eskalere agentrettigheder eller få adgang til uautoriserede data |
| Agentforce | Agentkonfiguration | ⚡️ Har statiske testsæt, der ikke repræsenterer reel anvendelsesdiversitet, herunder forskellige brugertyper og samtalekomplikationer |
Mønstre
| Hvor skal du se | Hvad der ser godt ud |
|---|---|
| Platform | Dokumentation | ✅ Dokumenter hver ændring: hvad der er ændret, hvorfor, hvilken test der validerede den, og hvilken tilbagerulningsprocedure der findes |
| Forretning | Kommunikation | Adviser alle interessenter (brugere, salgsmulighedsteams, support, forretning) og beskriv, hvad der ændres, hvornår, hvilke fordele, hvilke risici og hvem der skal kontaktes |
| Forretning | Kommunikation | ✅ Etabler kommunikationsskabeloner for forskellige ændringstyper, standardiser meddelelser og reducer forberedelse overhead |
| Platform | Begivenhedsovervågning | ✅ Tidsagentimplementeringer i perioder med lav anvendelse informeret af begivenhedsovervågningsdata, der viser faktiske anvendelsesmønstre |
| Forretning | Proces | ✅ Implementer større agentændringer tidligt i midten af ugen ved at undgå weekender med reduceret hændelsessvarfunktion |
| Forretning | Proces | ✅ Etabler ændringsfrysningsperioder før større forretningsbegivenheder (slut på regnskabsår, produktlanceringer, større marketingkampagner) |
| Forretning | Proces | ✅ Dokumentændringsfrysningskalender årligt kommunikerer begrænsede perioder tilstrækkeligt på forhånd |
Anti-mønstre
| Hvor skal du se | Hvad ser dårligt ud |
|---|---|
| Platform | Implementering | ⚡️ Implementering under spidsbelastning, månedsslut lukning, kvartalsslut lukning eller større forretningsbegivenheder |
| Platform | Implementering | ⚡️ Implementering på mandage (ramper op) eller fredage (reduceret personale), når hændelsessvarfunktionen er begrænset |
| Forretning | Proces | ⚡️ Overdreven ændring fryser den langsomme forbedringshastighed uden proportionel risikoreduktion |
| Forretning | Kommunikation | ⚡️ Implementering af agentændringer uden at advisere påvirkede brugere, driftsteams, supportteams eller forretningsinteressenter |
| Platform | Dokumentation | ⚡️ Foretag ændringer uden at dokumentere logik, oprette organisationer, der genopdager erfaringer i stedet for at bygge på oplevelser |
Mønstre
| Hvor skal du se | Hvad der ser godt ud |
|---|---|
| Platform | Brugergrænseflade | ✅ Implementer feedbackindsamling i samtalebrugergrænsefladen, der aktiverer øjeblikkeligt svar, mens interaktionen er opdateret i stedet for forsinket indsamling |
| Platform | Analytics | ✅ Forespørgselssamtalelogfiler, der analyserer spørgsmålstyper, samtalelængder, succesfrekvenser efter emne og brugertilfredshed efter samtalekarakteristika |
| Platform | Analytics | ✅ Analyser fejlloggruppering efter fejltype, påvirkede brugere, samtalemønstre og tidsfordeling for at afsløre systematiske problemer |
| Platform | Analytics | ✅ Prioriter fejlrettelse efter frekvens og påvirkning: fejl med høj frekvens, der påvirker mange brugere, kræver øjeblikkelig opmærksomhed |
| Platform | Overvågning | ✅ Etabler kvalitetsbasislinjer efter den indledende implementering, og overvåg løbende kvalitet i forhold til basislinjeadvarsler, når tendenser falder |
Anti-mønstre
| Hvor skal du se | Hvad ser dårligt ud |
|---|---|
| Platform | Brugergrænseflade | ⚡️ Forsinkelse af feedbackindsamling (f.eks. opfølgningsmails dage senere) reducerer svarfrekvenser og introducerer tilbagekaldsbias |
| Platform | Analytics | ⚡️ Ikke at analysere anvendelsesmønstre for at bestemme, om agenter retfærdiggør driftsmæssig kompleksitet, eller om funktioner underanvendes |
| Platform | Analytics | ⚡️ Håndtere alle fejl ligeligt i stedet for at prioritere efter frekvens og forretningspåvirkning |
| Platform | Overvågning | ⚡️ Træf forbedringsbeslutninger uden data, manglende kvalitetsbasislinjer og tendensovervågning |
Mønstre
| Hvor skal du se | Hvad der ser godt ud |
|---|---|
| Forretning | Proces | ✅ Angiv ensartet eksperimentstruktur: hypotese, eksperimentelt design, metrikker, eksempelstørrelse og succeskriterier |
| Forretning | Proces | ✅ Dokumenteksperimenter før kørsel forhindrer tvetydig fortolkning af resultater |
| Platform | Analytics | ✅ Spor variantstildeling i samtalemetadata, der aktiverer resultatkorrelation efter variant |
| Platform | Analytics | ✅ Beregn den krævede prøvestørrelse før eksperimenter baseret på forventet effektstørrelse, statistisk styrke og acceptable fejlfrekvenser |
| Platform | Analytics | ✅ Brug multi-armed bandit-optimering til dynamisk at allokere mere trafik til bedre effektive varianter, der reducerer salgsmulighedsomkostninger |
| Platform | Dokumentation | ✅ Vedligehold et eksperimentkatalog med testede varianter, målte resultater, opnåede resultater og foretagede beslutninger for at forhindre test af mislykkede tilgange |
Anti-mønstre
| Hvor skal du se | Hvad ser dårligt ud |
|---|---|
| Forretning | Proces | ⚡️ Kørsel af eksperimenter uden foruddefinerede hypoteser og succeskriterier, der fører til tvetydige resultater |
| Platform | Analytics | ⚡️ Brug af utilstrækkelige eksempelstørrelser, der producerer støjende resultater, der fører til dårlige forbedringsbeslutninger |
| Platform | Dokumentation | ⚡️ Ingen forsøgskatalog, hvilket får teams til at teste tidligere mislykkede tilgange igen og miste organisatorisk Knowledge |
| Platform | Analytics | ⚡️ Ikke spore, hvilke brugere der modtog hvilke varianter, hvilket gør resultatkorrelation umuligt |