Operational Excellence - Agentic-mønstre
Lær mer om Operational Excellence → Agent Enterprise Operational Excellence
Mønstre
| Hvor du kan se | Hvordan det ser bra ut |
|---|---|
| Agentforce | Øktsporing | ✅ Bruk den innebygde øktsporingsdatamodellen (STDM) til å fange opp agentinteraksjoner i en forent datamodell på Data 360 i stedet for å bygge et parallelt telemetersystem – registrere hver samtale som et sporingshierarki av økter, interaksjoner (turns) og trinn (UserInputStep, LLMExecutionStep, FunctionStep) |
| Agentforce | Øktsporing | ✅ Baser deg på standard STDM-objekter (AIAgentSession, AIAgentSessionParticipant, AIAgentInteraction, AIAgentInteractionStep, AIAgentInteractionMessage), som fanger opp handlinger som innebygd interaksjonstrinn i stedet for å kreve en separat handlingslogg |
| Agentforce | Øktsporing | ✅ Hent detaljer om tokenbruk, modell og ledetekst ved å slå sammen interaksjonstrinnene med sine LLM-kallposter (via GenerationId- og GenAiGatewayRequest/Response-referanser) i stedet for å lagre dem som tilpassede øktfelt |
| Agentforce | Øktsporing | ✅ Fang opp resonansspor fra Atlas-resonansmotoren – Øktsporing registrerer planleggers trinn som en del av hver interaksjon – for å avdekke agentbeslutningsprosesser og forbedre feilsøking |
| Agentforce | Agent-konfigurasjon | ✅ Logg detaljer på skiftnivå, inkludert brukerinndata, agentsvar, forklaring av årsaker, konfidensscore, hentet kontekst, handlinger som er forsøkt og feil som oppstår |
| Einstein | Trust | ✅ Aktiver det Einstein Trust Layer generative AI-revisjonssporet (ledetekst og svartekst, PII-maskerte versjoner, jordingsdata, sikkerhets- og toksisitetsscore, modelldetaljer) som strømmes til Data 360, pluss Einstein generativ AI og tilbakemeldingsdatainnsamling og lagring for langsiktig oppbevaring |
| Plattform | Tilpassede objekter | ✅ Reserver tilpassede loggingsobjekter for hensiktsmessige unntak – som et lett objekt som korrelerer agentvirkemåten med forretningsutfall – i stedet for å gjøre dem til det primære loggingsubstratet |
| Plattform | Kontrollpanel | ✅ Korreler agentvirkemåte med forretningsutfall, identifiser forbedringsmuligheter gjennom mønsteranalyse, og tilfør kontinuerlig opplæring under behandling med kvalitetsmerkede eksempler |
Anti-Mønstre
| Hvor du kan se | Hvordan dårlig ser ut |
|---|---|
| Plattform | Tilpassede objekter | ⚡️ Håndbygde tilpassede transaksjonsobjekter som det primære samtaleloggingsubstratet i stedet for den innebygde øktsporingsdatamodellen, kjører i skala problemer med å lagre samtaler med flere omganger, store JSON-belastninger og rask datavekst |
| Agentforce | Øktsporing | ⚡️ Opbygning af et parallelt telemetrisystem, når Agentforce allerede registrerer interaktioner i en forenet datamodel på Data 360 |
| Agentforce | Agent-konfigurasjon | ⚡️ Logge bare agentsvar uten å fange opp inndata, begrunnelsessporing, hentet kontekst og utførte handlinger |
| Einstein | Trust | Deaktivering av revisjonssporet for Einstein Trust Layer i produksjon eller ikke aktivering av Tilbakemeldingsdatainnsamling og lagring for langsiktig oppbevaring i Data 360 |
| Plattform | Overvåking | ⚡️ Avhengig utelukkende av samtalesuksess/feil uten å fange opp detaljer om tokenbruk, modell og ledetekst via STDM LLM-kallkoblinger |
Mønstre
| Hvor du kan se | Hvordan det ser bra ut |
|---|---|
| Plattform | Overvåking | ✅ Måle responslatens ved prosentiler (p50, p95, p99) som viser typisk ytelse og opplevelser i verste tilfelle |
| Plattform | Overvåking | ✅ Instrumenter hver latensfase separat (modellutledning, konteksthenting, handlingsutføring, nettverk) som aktiverer målrettet optimalisering |
| Plattform | Overvåking | ✅ Varsel når p95-latens overskrider terskler som indikerer nedgang i ytelsen |
| Plattform | Overvåking | ✅ Spore tokenfordeling (meldingstokener, fullføringstokener, totalt antall tokener) per samtale, per agent og per bruksområde |
| Plattform | Overvåking | ✅ Oppdage utenforliggende samtaler som bruker for store tokener som foreslår problemer med ledetekster eller misbruk |
| Plattform | Overvåking | ✅ Sammenlign gjeldende gjennomløp med kjente frekvensgrenser eller varsler om kapasitetsstandard når terskler nærmer seg |
| Plattform | Overvåking | ✅ Beregne feilfrekvenser som prosentandel av totalt antall forespørsler som muliggjør sammenligning på tvers av agenter og tidsperioder |
| Plattform | Overvåking | ✅ Skille mellom feilkategorier (modellfeil, tillatelsesfeil, integrasjonsfeil) som krever forskjellige svar |
| Plattform | Overvåking | ✅ Beregne tilgjengelighet som prosentandel av antall tidagenter som svarer på forespørsler og sporer mot enkel avlogging |
| Plattform | Proactive Monitoring | ✅ Konfigurere Proactive Monitoring terskler basert på standard agentenes atferdsmønstre i stedet for å godta standardverdier |
| Plattform | Skaleringssenter | ✅ Se gjennom Scale Center-data etter å ha distribuert nye agenter eller gjort betydelige ledetekstendringer som validerer forventninger om samsvar med ressursforbruk |
Anti-Mønstre
| Hvor du kan se | Hvordan dårlig ser ut |
|---|---|
| Plattform | Overvåking | ⚡️ Måle bare gjennomsnittlig latens i stedet for prosentiler, maskerer brukeropplevelser i verste tilfeller |
| Plattform | Overvåking | ⚡️ Sporing av total latens uten å instrumentere individuelle faser (utleding, henting, utføring av handlinger) |
| Plattform | Overvåking | ⚡️ Behandle alle feil på samme måte i stedet for å kategorisere etter type (modell, tillatelse, integrasjon) for å få riktig svar |
| Plattform | Proactive Monitoring | ⚡️ Godtar standard Proactive Monitoring terskler uten å justere til standard agentenes atferdsmønstre |
| Plattform | Skaleringssenter | ⚡️ Distribuere nye agenter eller gjøre endringer i ledetekster uten å se gjennom Skaleringssenter-data for å validere ressursforbruk |
| Plattform | Overvåking | ⚡️ Ignorere tokenforbruksmønstre og mislykkes med å oppdage utenforliggende samtaler som bruker 10 ganger typiske tokener |
Mønstre
| Hvor du kan se | Hvordan det ser bra ut |
|---|---|
| Agentforce | Testing Center | ✅ Start med innebygde test- og evalueringsverktøy: vedlikeholde gjenbrukbare test-sett i Agentforce-testsenter og kjøre agenter mot dem i batcher, sjekke om agenten valgte det forventede emnet og handlingen og produserte en akseptabel respons |
| Agentforce | Testing Center | ✅ Bruk innebygde evalueringer – forhåndsdefinerte kvalitetsdimensjoner og LLM-tilnærmingen som dommer for å score samtalekvalitet – og forfattertilpassede evalueringer for organisasjonsspesifikke kriterier, ved å bruke representative samtaler slik at evalueringen gjenspeiler faktisk bruk |
| Agentforce | Testing Center | ✅ For faktiske spørsmål med kjente svar vedlikeholder du deklarasjoner med kjente svar som gjentagende testtilfeller i Testing Center, for åpne spørsmål legger du til en oversikt over samtaler med utvalg |
| Data 360 | Hentingskvalitet | ✅ For agenter som er grunnlagt i en Knowledge, bruker du innebygd hentingskvalitetsanalyse til å vurdere kontekstrelevans, svarrelevans og lojalitet (grunnlag) for svar |
| Einstein | Trust | ✅ Bruk Einstein Trust Layer-kjøretidstoksisitetsdeteksjon som den første linjen i forsvaret, og forbedre deretter sikkerheten gjennom innholdsfiltrering, manuell gjennomgang av utvalg, brukerrapportering og revisjoner av rettferdighet på tvers av demografiske grupper |
| Data 360 | GenAIFeedback | ✅ Fang opp brukertilfredshet gjennom Agentforce tilbakemeldinger som flyter inn i GenAIFeedback / GenAIFeedbackDetail DMO-er i Data 360 (tommel opp/ned, godta/avvise, rediger, ordrette kommentarer) sammen med gatewayforespørsler og genereringsdata |
| Plattform | Analytics | ✅ Kombiner eksplisitt tilbakemelding (spurt før eskalering, etter samtale, oppfølgingsundersøkelser) med implisitte signaler (fullføringsfrekvens, eskalering, forlatelse, nye forsøk), som korrelerer med samtaleegenskaper for å veilede prioritering av forbedringer |
Anti-Mønstre
| Hvor du kan se | Hvordan dårlig ser ut |
|---|---|
| Agentforce | Testing Center | Bygg og kjør et tilpasset testbånd i stedet for å starte med Agentforce-testsenterets gjenbrukbare testsett og innebygde evaluerere |
| Agentforce | Testing Center | ⚡️ Bare basert på automatisert evaluering uten menneskelig gjennomgang for kvalitetsvurdering av åpne svar |
| Plattform | Overvåking | ⚡️ Overvåker bare nøyaktighet uten å spore dimensjoner for relevans, sikkerhet og brukertilfredshet |
| Data 360 | GenAIFeedback | ⚡️ manglende innhenting av tilbakemeldinger fra brukere (eksplisitt eller implisitt) om agentsvarkvalitet når Agentforce allerede flyter inn i GenAIFeedback-DMO-ene |
| Agentforce | Agent-konfigurasjon | ⚡️ Hopp over rettferdighetsrevisjoner som vurderer fordelingen av utfall på tvers av demografiske grupper |
Mønstre
| Hvor du kan se | Hvordan det ser bra ut |
|---|---|
| Agentforce | Agent-konfigurasjon | ✅ Fastsett standardytelse umiddelbart etter agentdistribusjon ved å måle nøyaktighet, relevans, sikkerhet og tilfredshet på tvers av representative testtilfeller |
| Agentforce | Agent-konfigurasjon | ✅ Evaluer regelmessig på nytt mot de samme testtilfellene som avslører ytelsesendringer uavhengig av skift i bruksmønster |
| Plattform | Overvåking | ✅ Varsel når kvalitetsmålinger faller ut over akseptable terskler definert av toleranse for forretningsinnvirkning |
| Plattform | Analytics | ✅ Overvåk inndataegenskaper (spørsmålslengde, emnefordeling, språkkompleksitet, domeneterminologi) som oppdager betydelige fordelingsskift |
| Plattform | Overvåking | ✅ Overvåk svaregenskaper (gjennomsnittlig responslengde, handlingsoppkallshastigheter, eskaleringsfrekvenser, feilmønstre) ved å etablere grunnleggende virkemåter |
| Plattform | Overvåking | ✅ Konfigurere utløsing av automatiske varsler når avviksmålinger overskrider terskler som utløser undersøkelse og rettelse |
Anti-Mønstre
| Hvor du kan se | Hvordan dårlig ser ut |
|---|---|
| Agentforce | Agent-konfigurasjon | ⚡️ Mislykket etablering av standardytelse etter første agentdistribusjon, noe som gjør avvik ikke påviselig |
| Plattform | Overvåking | ⚡️ Ignorere fordelingsavvik når brukerinndatapønstre endres betydelig fra hva agenter ble utformet for å håndtere |
| Plattform | Overvåking | ⚡️ ikke overvåke atferdsendringer (svarlengde, handlingsfrekvenser, eskaleringsfrekvenser) i forhold til etablerte standarder |
| Plattform | Overvåking | ⚡️ Ingen automatisert varsel for avviksmålinger, avhengig bare av manuell observasjon for å oppdage forringelse |
Mønstre
| Hvor du kan se | Hvordan det ser bra ut |
|---|---|
| Plattform | Overvåking | ✅ Overvåk tokenforbruksfordelinger som oppdager utenforliggende samtaler, og undersøk de som bruker 10 ganger typiske tokener |
| Plattform | Overvåking | ✅ Oppdage plutselige økninger i feilfrekvenser, nye feiltyper som ikke er i standarden, eller lokaliserte feilkonsentrasjoner som påvirker bestemte brukere eller agenter |
| Plattform | Analytics | ✅ Spor samtaleavbrudd etter samtalefase som identifiserer om brukere avslutter under første interaksjon, midt i samtalen eller etter fullføring av oppgaven |
| Plattform | Overvåking | ✅ Rut viktige agentfeil til ingeniører på oppringing umiddelbart, kvalitetsforringelse til produkttemaer i åpningstider og mindre avvik i daglige sammendrag |
Anti-Mønstre
| Hvor du kan se | Hvordan dårlig ser ut |
|---|---|
| Plattform | Overvåking | ⚡️ Behandler alle varsler med samme haster, forårsaker varselutmattelse og manglende kritiske feil |
| Plattform | Overvåking | ⚡️ Ignorere kostnadsavvik som stigninger i tokenforbruk som kan indikere ledetekstproblemer, misbruk eller infrastrukturproblemer |
| Plattform | Analytics | ⚡️ Ikke spore samtaleavbruddsfrekvenser eller mislykkes i å analysere avbrudd etter fase |
| Plattform | Overvåking | ⚡️ Venter på brukerrapporter i stedet for proaktivt å oppdage feilfrekvensspikes via automatisk overvåking |
Mønstre
| Hvor du kan se | Hvordan det ser bra ut |
|---|---|
| Plattform | Kildekontroll | ✅ Lagre ledetekstmaler i Git sammen med programkode som behandler ledetekster som kritisk programlogikk som fortjener kodegjennomgang, testing og kontrollert distribusjon |
| Einstein | Ledetekstbygger | ✅ Bruk Ledetekstbygger til gjentagende ledetekstutvikling med versjonshistorikk og testfunksjoner, og eksporter deretter til versjonskontroll for distribusjonsledninger |
| Plattform | Kildekontroll | ✅ Lagre konfigurasjoner (modellvalg, temperatur, tokengrenser, hentingskonfigurasjoner, handlingstillatelser, funksjonsflagg) som kodeaktivering av miljøspesifikke verdier og driftdeteksjon |
| Plattform | Kildekontroll | ✅ Bruk semantisk versjonsbehandling på agentkomponenter: major (brytende endringer), minor (funksjoner), patch (feilrettinger) med versjonsnumre som vises i logger |
| Plattform | Dokumentasjon | ✅ Dokumenter hva som ble endret, hvorfor det ble endret, hvilke tester som validerte endringen, og hvilke tilbakeføringsprosedyrer som finnes for hver ledetekst og konfigurasjonsendring |
Anti-Mønstre
| Hvor du kan se | Hvordan dårlig ser ut |
|---|---|
| Einstein | Ledetekstbygger | ⚡️ Gjøre endringer i ledetekster uten kodegjennomgang, testing eller kontrollerte distribusjonsprosesser |
| Plattform | Konfigurasjon | ⚡️ Lagring av agentkonfigurasjoner utenfor kildekontroll der avvik ikke kan oppdages og distribusjoner ikke kan automatiseres |
| Plattform | Dokumentasjon | ⚡️ Gjøre endringer i ledeteksten uten å dokumentere grunnlag, testresultater eller prosedyrer for tilbakekalling |
| Plattform | Kildekontroll | ⚡️ Mislykket bruk av semantisk versjonsbehandling, som gjør det umulig å korrelere hendelser med bestemte distribusjoner |
Mønstre
| Hvor du kan se | Hvordan det ser bra ut |
|---|---|
| Plattform | Dokumentasjon | ✅ Vedlikehold et modellregister som registrerer hvilke modellversjoner som distribueres der modellfamilie, spesifikk versjon, finjusteringstilstand, miljø, distribusjonsdato og ansvarlig team er inkludert |
| Plattform | Dokumentasjon | ✅ Logg alle agentdistribusjoner, inkludert versjon, miljø, tidsstempel, distribusjonsbruker, godkjennelser som er innhentet, og distribusjonsutfall |
| Plattform | Dokumentasjon | ✅ Tilordne avhengigheter mellom agenter, ledetekster, Knowledge, handlinger og integrasjoner eksplisitt i stedet for å oppdage dem under hendelser |
| Virksomhet | Prosess | ✅ Opprett en avdragsplan med en polisestøttet minimumsperiode for varsel som er kommunisert tilstrekkelig på forhånd, slik at planlagte overføringer aktiveres i stedet for hastebesvar på tvungne avdrag |
| Plattform | Dokumentasjon | ✅ Tilbakemeldingsprosedyrer for dokumenter for hver agent, inkludert målversjon, utførelsestrinn, valideringstesting og varselkrav |
| Plattform | Oppstilling | ✅ Teste tilbakeføringsprosedyrer i ikke-produksjonsmiljøer som validerer at de fungerer før de avhenger av dem under produksjonshendelser |
Anti-Mønstre
| Hvor du kan se | Hvordan dårlig ser ut |
|---|---|
| Plattform | Dokumentasjon | ⚡️ Oppdage avhengigheter mellom agenter, ledetekster og Knowledge bare under hendelser i stedet for å vedlikeholde eksplisitte avhengighetskart |
| Virksomhet | Prosess | ⚡️ Ikke tilstrekkelig avdragsvarsel tvinger overføringer av hasteavtaler i stedet for planlagte overføringer |
| Plattform | Dokumentasjon | ⚡️ Har ikke-testede tilbakeføringsprosedyrer som mislykkes når det er mest nødvendig under produksjonshendelser |
| Plattform | Distribusjon | Distribuerer agenter uten å logge versjon, miljø, godkjenninger eller utfall, mister muligheten til å korrelere hendelser med distribusjoner |
Mønstre
| Hvor du kan se | Hvordan det ser bra ut |
|---|---|
| Plattform | Grensesnitt | ✅ Innhent eksplisitt tilbakemelding (tommel opp/ned, kvalitetsscore, kommentarer) og implisitt tilbakemelding (fullføringsfrekvenser, eskaleringsfrekvenser, forsøk på nytt-mønstre) systematisk |
| Data 360 | Datakurering | ✅ Organiser samtalelogger i opplæringsdatasett ved å filtrere etter kvalitet, fjerne problematiske eksempler, sikre representativitet og fjerne duplikater |
| Data 360 | Klargjøring | ✅ Tilpass agenter til domeneordforråd, forretningsprosesser og organisasjonsspesifikk Knowledge primært gjennom RAG basert på Data 360 og ledetekstjustering – den Salesforce-baserte tilpasningsbanen |
| Einstein | BYOLLM | ✅ Når jording og ledetekstinnstilling ikke er tilstrekkelig, finjusterer du en modell eksternt og kobler den til via BYOLLM i stedet for å forvente generativ finjustering i plattformen |
| Einstein | Ledetekstbygger | ✅ Opprett regelmessig kadens for gjennomgang av ledetekster som undersøker nylige samtaler, kvalitetsmålinger og tilbakemeldinger fra brukere som identifiserer forbedringsmuligheter |
| Einstein | Ledetekstbygger | ✅ Implementer ledetekstendringer trinnvis med A/B-testing som validerer forbedringer før full utrulling |
| Agentforce | Agent-konfigurasjon | ✅ Vedlikehold testsett som dekker gode baner, kanttilfeller, motstanderinndata og historiske problemscenarier, utvides kontinuerlig etter hvert som nye kanttilfeller blir oppdaget |
Anti-Mønstre
| Hvor du kan se | Hvordan dårlig ser ut |
|---|---|
| Plattform | Data | ⚡️ Forsøk på forbedring uten systematisk tilbakemeldingsinnsamling, gjetting av forbedringer i stedet for datastyrt |
| Data 360 | Datakurering | ⚡️ Bruke ikke-kurerte samtalelogger til opplæring, inkludert sikkerhetsbrudd, feil og ikke-representative eksempler |
| Data 360 | Klargjøring | ⚡️ Nå for ekstern finjustering før du uttømmer RAG-grunning og ledetekstjustering, den innebygde banen som løser de fleste domene-tilpasningsbehov uten en tilpasset modell |
| Einstein | Ledetekstbygger | ⚡️ Behandle ledeteknikk som en engangsopplæring i stedet for kontinuerlig praksis justert etter hvert som bruksmønstre utvikler seg |
| Agentforce | Agent-konfigurasjon | ⚡️ ha statiske testsett som aldri utvides til å dekke nye kanttilfeller oppdaget i produksjonsorganisasjonen |
Mønstre
| Hvor du kan se | Hvordan det ser bra ut |
|---|---|
| Plattform | Tilpassede metadatatyper | ✅ Implementer funksjonsflagg ved bruk av tilpassede metadatatyper eller tilpassede innstillinger for å koble distribusjon fra utgivelse for agentendringer med høy risiko |
| Plattform | Tillatelsessett | ✅ Implementer kanary-distribusjoner som frigir agentendringer til et lite brukerdelsett, først med tillatelsessett som styrer agenttilgang |
| Agentforce | Agent-konfigurasjon | ✅ Overvåk kanarikoorden intensivt ved å måle suksessfrekvenser, kvalitet, feilfrekvenser, latens, tokenforbruk og tilfredshet, og utvid utrullingen bare når kanarikanen samsvarer med eller forbedrer kontrollgruppen som kjører den forrige agentversjonen |
| Plattform | Analytics | ✅ Definer vellykkede kriterier før du starter A/B-tester som hindrer tvetydige resultater, i samsvar med forretningsmålene |
| Agentforce | Agent-konfigurasjon | ✅ Distribuer champion-challenger-testing ved å beholde bekreftet versjon som reserveserver ved sammenligning mot forbedret utfordringsversjon |
| Virksomhet | Prosess | ✅ Angi målrettede promoteringskriterier, inkludert minste utvalgstørrelse, kvalitets terskler og evalueringsvarighet før promoteringsbeslutninger |
Anti-Mønstre
| Hvor du kan se | Hvordan dårlig ser ut |
|---|---|
| Agentforce | Agent-konfigurasjon | ⚡️ Utrullering av agentendringer til alle brukere samtidig uten kanaretesting for å maksimere radiusen for problemer |
| Plattform | Distribusjon | Distribuere agentendringer med høy risiko uten funksjonsflagg som aktiverer umiddelbar tilbakestilling uten omdistribusjon |
| Plattform | Analytics | ⚡️ Kjøring av A/B-tester uten forhåndsdefinerte suksesskriterier, som fører til tvetydige resultater og dårlige beslutninger |
| Plattform | Analytics | ⚡️ Kjøring av eksperimenter med utilstrekkelig prøvestørrelse som produserer bråkete resultater som fører til feil konklusjoner |
| Agentforce | Agent-konfigurasjon | ⚡️ Bruke funksjonsflagg for hver mindre endring i ledeteksten i stedet for å reservere dem for endringer med høy risiko for forretningskritiske agenter |
Mønstre
| Hvor du kan se | Hvordan det ser bra ut |
|---|---|
| Plattform | Overvåking | ✅ Oppdage agentfeil via automatisk overvåking av varsler om feilfrekvenser, nedgang i kvalitetsmålinger, kostnadsavvik, latensøkninger og brukereskaleringer |
| Plattform | Overvåking | ✅ Kompletter automatisk deteksjon med brukerrapporteringsmekanismer som aktiverer eskalering av problemer med automatisert overvåking |
| Virksomhet | Prosess | ✅ Definer alvorlighetskriterier objektivt basert på brukerinnvirkning, blast radius, risiko for dataintegritet og haster med gjenoppretting |
| Plattform | Dokumentasjon | ✅ Dokumentere første responsprosedyrer som kjørebøker som kan kjøres av ingeniører på oppringing uten dyp agentkompetanse |
| Agentforce | Agent-konfigurasjon | ✅ Inkluder i første svar: deaktivere mislykket agent (kretsbryter), rute til reserveserver, innhente diagnostikk, varsle interessenter, starte hendelseskommunikasjon |
Anti-Mønstre
| Hvor du kan se | Hvordan dårlig ser ut |
|---|---|
| Plattform | Overvåking | ⚡️ Basere seg på brukerrapporter som primær deteksjonsmekanisme i stedet for automatisk overvåking av agentfeil |
| Virksomhet | Prosess | ⚡️ Bruk av subjektiv klassifisering av alvorlighetsgrad som fører til undereskalering av reelle problemer eller overeskalering av mindre problemer |
| Plattform | Dokumentasjon | ⚡️ Har ingen kjørebøker, krever hendelsesspesifikk undersøkelse av ingeniører med dyp agentkompetanse under hver hendelse |
| Virksomhet | Prosess | ⚡️ Behandle agentfeil på samme måte som tradisjonelle programfeil uten å ta hensyn til hallusinasjoner, ikke-emne-svar eller sikkerhetsbrudd |
Mønstre
| Hvor du kan se | Hvordan det ser bra ut |
|---|---|
| Plattform | Apex | ✅ Implementer kretsbrytere med konfigurerbar feilterskel (f.eks. 50 % feilsats), varighetsvindu (f.eks. 5 min. rullende vindu) og gjenopprettingstesting (periodiske prøveforespørsler) |
| Agentforce | Agent-konfigurasjon | ✅ Design reservere hierarkier: Primær avansert agent → Enklere sikkerhetskopieagent → Statiske svar på vanlige spørsmål → Tilbakelevering fra person |
| Plattform | Orchestration | ✅ Implementer reservellogikk i orkestreringslag i stedet for i individuelle agenter som aktiverer konsistent virkemåte på tvers av agentøkosystem |
| Agentforce | Agent-konfigurasjon | ✅ Utform arbeidsflyter for menneskelig overføring som beholder samtalekontekst, kommuniserer årsak til overføring og ruter til riktig menneskelig agent med relevant ekspertise |
| Plattform | Overvåking | ✅ Overvåk overføringsfrekvenser etter emne, agent og årsak til feil for å identifisere gap i agentfunksjonalitet |
| Agentforce | Agent-konfigurasjon | ✅ Når avansert resonans mislykkes, tilbakestilles til enklere logikk, når sanntidsdata ikke er tilgjengelig, opererer du på bufrede data, og når integrasjoner mislykkes, opererer du i skrivebeskyttet modus |
| Plattform | Orchestration | ✅ Teste reservespor regelmessig og validere at de fungerer når det er nødvendig |
Anti-Mønstre
| Hvor du kan se | Hvordan dårlig ser ut |
|---|---|
| Agentforce | Agent-konfigurasjon | ⚡️ Har ingen kretsbrytere, slik at mislykkede agenter gjentatte ganger påvirker brukere mens problemer løses |
| Plattform | Orchestration | ⚡️ Implementere reservellogikk i individuelle agenter i stedet for på orkestreringslaget for å opprette inkonsekvent virkemåte |
| Agentforce | Agent-konfigurasjon | ⚡️ Utforme binære pass/fail-agenter som enten fungerer perfekt eller mislykkes fullstendig uten gode nedgraderingsalternativer |
| Plattform | Orchestration | ⚡️ Aldri teste reservebaner, og oppdage at de ikke fungerer bare under faktiske hendelser |
| Agentforce | Agent-konfigurasjon | ⚡️ Personlig overføring som mister samtalekontekst, tvinger brukere til å gjenta informasjon |
Mønstre
| Hvor du kan se | Hvordan det ser bra ut |
|---|---|
| Virksomhet | Prosess | ✅ Utfør uskyldige etterhendelsesgjennomganger med fokus på systemforbedringer i stedet for individuelle feil som skaper psykologisk sikkerhet |
| Virksomhet | Prosess | ✅ Opprett en detaljert tidslinje fra startbetingelser via deteksjon, undersøkelse, svar, gjenoppretting og validering med tidsstempler |
| Virksomhet | Prosess | ✅ Bruk “Five Whys”-teknikk som går fra symptomer til grunnleggende årsaker i stedet for forenklede konklusjoner |
| Virksomhet | Prosess | ✅ Analysere bidragsfaktorer, inkludert gap i overvåking, testing, dokumentasjon, automatisering og arkitektur |
| Virksomhet | Prosess | ✅ Evaluer deteksjon: hvilket signal som burde ha oppdaget problemer tidligere, hvilken overvåking som muliggjør raskere deteksjon |
| Virksomhet | Prosess | ✅ Angi konkrete, tildelte, tidsbundne handlingselementer som hindrer gjentagelse (for eksempel “legg til varsel for feilfrekvens over 5 % over 10min - tildelt: Alex - due (Alex - forfaller): 2 uker”) |
| Virksomhet | Prosess | ✅ Spor fullføring av handlingselement i påfølgende gjennomganger for å sikre at kontinuerlig forbedring faktisk skjer |
| Plattform | Dokumentasjon | ✅ Dokumentere etter hendelsesgjennomganger i delt Knowledge med koding som aktiverer mønsteranalyse på tvers av flere hendelser |
| Virksomhet | Prosess | ✅ Del post-hendelsesvurderinger bredt utover umiddelbare hendelsessvarere via teammøter eller lunsj-og-lær-økter |
Anti-Mønstre
| Hvor du kan se | Hvordan dårlig ser ut |
|---|---|
| Virksomhet | Prosess | ⚡️ Skyldfokusert postmortem som reduserer psykologisk sikkerhet og hindrer ærlig vurdering av feil |
| Virksomhet | Prosess | ⚡️ Enkle rotårdsresultater (“agenten hadde en feil”) i stedet for spesifikke funn som muliggjør effektiv rettelse |
| Virksomhet | Prosess | ⚡️ Vage handlingselementer som “forbedre overvåking” i stedet for spesifikke, tildelte, tidsbundne oppgaver |
| Virksomhet | Prosess | ⚡️ Lav grad av fullføring av handlingselementer som indikerer feil i prosessen med kontinuerlig forbedring |
| Virksomhet | Prosess | ⚡️ Holde etter-hendelseslæring isolert til umiddelbare respondenter i stedet for omfattende deling for organisasjonslæring |
Mønstre
| Hvor du kan se | Hvordan det ser bra ut |
|---|---|
| Virksomhet | Prosess | ✅ Valider sjekklisten før distribusjon, inkludert testing, sikkerhetsvurdering, validering av samsvar, dokumentasjon, overvåkingskonfigurasjon og interessentgodkjenning |
| Virksomhet | Prosess | ✅ Evaluer risiko basert på blast radius, datasensitivitet, handlingsmyndighet, integrasjonsavhengigheter, gjenopprettingskompleksitet og konsekvenser for samsvar |
| Virksomhet | Prosess | ✅ Skalering av godkjenningskrav basert på risiko: høy risiko krever godkjenning av ledere, sikkerhetsvurdering og gradvis utrulling, lav risiko krever fagfellegjennomgang og standard testing |
| Plattform | Godkjenningsprosesser | ✅ Implementer automatiske, sporede og reviderbare godkjenningsarbeidsflyter ved bruk av Salesforce-godkjenningsprosesser eller eksterne distribusjonsverktøy |
| Virksomhet | Prosess | ✅ Definer omgåelsesprosedyrer for hasteavtaler som krever ledergodkjenning, begrunnelsesdokumentasjon og raskere gjennomgang etter distribusjon |
| Plattform | Overvåking | ✅ Spor hastedistribusjoner separat. Høy frekvens for hastedistribusjon angir prosessproblemer som krever undersøkelse |
Anti-Mønstre
| Hvor du kan se | Hvordan dårlig ser ut |
|---|---|
| Virksomhet | Prosess | ⚡️ Bruk av enhetlig godkjenningsdybde uavhengig av agentrisikoprofil, sløsing med innsats på agenter med lav risiko eller undervurdering av agenter med høy risiko |
| Virksomhet | Prosess | Distribuere produksjonsagenter uten validering av sjekklister før distribusjon for testing, sikkerhet, samsvar og overvåking |
| Plattform | Distribusjon | ⚡️ Ikke ha noen omgåelsesprosedyrer for hasteavtaler, noe som fører til kritiske reparasjonsforsinkelser under produksjonshendelser |
| Virksomhet | Prosess | ⚡️ Ofte krever hastedistribusjoner, som indikerer brutte standardprosesser i stedet for unntaksforhold |
Mønstre
| Hvor du kan se | Hvordan det ser bra ut |
|---|---|
| Agentforce | Agent-konfigurasjon | ✅ Teste utdatakarakteristikker (inneholder nødvendig informasjon, beholder riktig tone, inkluderer anførselstegn) i stedet for nøyaktig tekst for ikke-deterministiske agentutdata |
| Agentforce | Agent-konfigurasjon | ✅ Angi minimumsgrenser for kvalitet (for eksempel “95 % nøyaktighet på utestående testsett, null sikkerhetsbrudd, revisjon av rettferdighet viser ingen demografiske forskjeller på mer enn 5 %“) |
| Agentforce | Agent-konfigurasjon | ✅ Utfør sikkerhetstesting med motpartenes inndata, inkludert ledetekstinnsetting, forsøk på fengsling, forespørselseskalering og forespørsler utenfor omfang |
| Agentforce | Agent-konfigurasjon | ✅ Få sikkerhetstester utført av teammedlemmer som ikke er involvert i agentutvikling, som gir et nytt perspektiv på sårbarheter |
| Plattform | Ytelsestesting | ✅ Test under realistisk belastning, inkludert samtidige samtaler, typiske samtalelengder og projisert bruksvolum |
| Plattform | Sikkerhet | ✅ Valider at agenter ikke får tilgang til uautoriserte data, ikke kan utføre uautoriserte handlinger og at innsetting av ledetekster ikke kan eskalere rettigheter |
| Plattform | CI/CD | ✅ Integrere sikkerhetsskanning i distribusjon under behandling med Salesforce Code Analyzer og spesialiserte AI-sikkerhetsverktøy |
Anti-Mønstre
| Hvor du kan se | Hvordan dårlig ser ut |
|---|---|
| Agentforce | Agent-konfigurasjon | ⚡️ Teste agenter for nøyaktig tekstsamsvar på ikke-deterministiske utdata i stedet for å teste utdatakarakteristikker |
| Plattform | Ytelsestesting | ⚡️ Bare testing med enkeltbrukerscenarier, mangler styringsgrenseproblemer, ressursbegrensninger og flaskehalser med skalerbarhet |
| Agentforce | Agent-konfigurasjon | ⚡️ Hopp over sikkerhetstesting eller få utviklere til å teste sine egne agenter uten et nytt perspektiv på sårbarheter |
| Plattform | Sikkerhet | ⚡️ Ikke teste om ledetekstinntak kan eskalere agentrettigheter eller få tilgang til uautoriserte data |
| Agentforce | Agent-konfigurasjon | ⚡️ ha statiske testsett som ikke representerer reell bruksvariasjon, inkludert forskjellige brukertyper og samtalekompleksitet |
Mønstre
| Hvor du kan se | Hvordan det ser bra ut |
|---|---|
| Plattform | Dokumentasjon | ✅ Dokumenter alle endringer: hva som ble endret, hvorfor, hvilke tester som validerte den, og hvilken tilbakeføringsprosedyre som finnes |
| Virksomhet | Kommunikasjon | ✅ Varsle alle interessenter (brukere, driftsteam, kundestøtte, virksomhet) som beskriver hva som er i endring, når, hvilke fordeler, hvilke risikoer og hvem som skal kontaktes |
| Virksomhet | Kommunikasjon | ✅ Opprette kommunikasjonsmaler for forskjellige endringstyper, standardisere meldinger og redusere forberedelsesbeløp |
| Plattform | Hendelsesovervåking | ✅ Tidsagentdistribusjoner i perioder med lite bruk informert av hendelsesovervåking-data som viser faktiske bruksmønstre |
| Virksomhet | Prosess | ✅ Distribuer viktige agentendringer tidlig til midtvesten ved å unngå helger med redusert hendelsessvar |
| Virksomhet | Prosess | ✅ Angi endringsfryseperioder før viktige forretningshendelser (slutt på regnskapsår, produktstarter, store markedsføringskampanjer) |
| Virksomhet | Prosess | ✅ Frysingskalender for dokumentendringer hvert år som kommuniserer begrensede perioder tilstrekkelig på forhånd |
Anti-Mønstre
| Hvor du kan se | Hvordan dårlig ser ut |
|---|---|
| Plattform | Distribusjon | ⚡️ Distribuere ved bruk på høyt nivå, avslutning på månedsslutt, avslutning på kvartalsslutt eller store forretningshendelser |
| Plattform | Distribusjon | ⚡️ Distribuere på mandager (ramping opp) eller fredager (redusert personale) når hendelsessvar er begrenset |
| Virksomhet | Prosess | ⚡️ Overdreven endring fryser den langsomme forbedringshastigheten uten proporsjonal risikoreduksjon |
| Virksomhet | Kommunikasjon | Distribuere agentendringer uten å varsle berørte brukere, driftsteam, kundestøtteteam eller forretningsinteressenter |
| Plattform | Dokumentasjon | ⚡️ Gjøre endringer uten å dokumentere grunnlaget, opprette organisasjoner som gjenoppdager leksjoner i stedet for å bygge på erfaring |
Mønstre
| Hvor du kan se | Hvordan det ser bra ut |
|---|---|
| Plattform | Grensesnitt | ✅ Implementer tilbakemeldingsinnsamling i samtalegrensesnittet som aktiverer umiddelbar respons mens interaksjonen er fersk i stedet for forsinket innsamling |
| Plattform | Analytics | ✅ Spørringssamtalelogger som analyserer spørsmålstyper, samtalevarigheter, suksessfrekvenser etter emne og brukertilfredshet etter samtaleegenskaper |
| Plattform | Analytics | ✅ Analyser gruppering av feillogger etter feiltype, berørte brukere, samtalemønstre og tidsfordeling for å avdekke systematiske problemer |
| Plattform | Analytics | ✅ Prioriter feilrettelse etter frekvens og innvirkning: feil med høy frekvens som påvirker mange brukere, krever umiddelbar oppmerksomhet |
| Plattform | Overvåking | ✅ Opprette kvalitetsstandarder etter første distribusjon og overvåke pågående kvalitet mot varsler om standarder når trender faller |
Anti-Mønstre
| Hvor du kan se | Hvordan dårlig ser ut |
|---|---|
| Plattform | Grensesnitt | ⚡️ Forsinkelse av tilbakemeldingsinnsamling (for eksempel oppfølgings-e-postmeldinger dager senere) redusere svarfrekvenser og introdusere tilbakekallingsskjevhet |
| Plattform | Analytics | ⚡️ ikke analysere bruksmønstre for å finne ut om agenter rettferdiggjør operasjonell kompleksitet eller om funksjoner er underutnyttet |
| Plattform | Analytics | ⚡️ Behandle alle feil likt i stedet for å prioritere etter hyppighet og forretningseffekt |
| Plattform | Overvåking | ⚡️ Ta forbedringsbeslutninger uten data, mangler kvalitetsstandarder og trendovervåking |
Mønstre
| Hvor du kan se | Hvordan det ser bra ut |
|---|---|
| Virksomhet | Prosess | ✅ Gi konsistent eksperimentstruktur: hypotese, eksperimentell utforming, målinger, utvalgstørrelse og kriterier for vellykket utførelse |
| Virksomhet | Prosess | ✅ Dokumentere eksperimenter før utføring som hindrer tvetydig tolkning av resultater |
| Plattform | Analytics | ✅ Spore varianttildeling i samtalemetadata som aktiverer utfallskorrelasjon etter variant |
| Plattform | Analytics | ✅ Beregne nødvendig prøvestørrelse før eksperimenter basert på forventet effektstørrelse, statistisk effekt og akseptable feilfrekvenser |
| Plattform | Analytics | ✅ Bruk flerarmet bandittoptimalisering til å dynamisk tildele mer trafikk til bedre varianter som reduserer salgsmulighetskostnader |
| Plattform | Dokumentasjon | ✅ Vedlikehold eksperimentkatalog med varianter som er testet, utfall som er målt, resultater som er oppnådd og beslutninger som er tatt for å hindre ny testing av mislykkede tilnærminger |
Anti-Mønstre
| Hvor du kan se | Hvordan dårlig ser ut |
|---|---|
| Virksomhet | Prosess | ⚡️ Kjøre eksperimenter uten forhåndsdefinerte hypoteser og suksesskriterier som fører til tvetydige resultater |
| Plattform | Analytics | ⚡️ Bruke ikke tilstrekkelige prøvestørrelser som produserer bråkete resultater som fører til dårlige forbedringsbeslutninger |
| Plattform | Dokumentasjon | ⚡️ Ikke ha noen eksperimentkatalog, noe som får team til å teste tidligere mislykkede tilnærminger på nytt og miste organisasjons Knowledge |
| Plattform | Analytics | ⚡️ Ikke spore hvilke brukere som mottok hvilke varianter, slik at utfallskorrelasjon blir umulig |