Operativ excellens - Agentmönster

Få reda på mer om välutformad operativ excellens → Agentic Enterprise Operational Excellence

Mönster

Var man ska letaHur bra ser ut
Agentforce | Sessionsspårning✅ Använd den inbyggda datamodellen för sessionsspårning (STDM) för att samla in agentinteraktioner i en enhetlig datamodell på Data 360 istället för att bygga ett parallellt telemetrisystem — registrera varje konversation som en spårningshierarki för sessioner, interaktioner (omgångar) och steg (UserInputStep, LLMExecutionStep, FunctionStep)
Agentforce | Sessionsspårning✅ Förlita dig på standard STDM-objekt (AIAgentSession, AIAgentSessionParticipant, AIAgentInteraction, AIAgentInteractionStep, AIAgentInteractionMessage), som samlar in åtgärder inbyggt som interaktionssteg istället för att kräva en separat åtgärdslogg
Agentforce | Sessionsspårning✅ Hämta tokenanvändning, modell och uppmaningsdetaljer genom att ansluta interaktionssteg till deras LLM-samtalsposter (via GenerationId och GenAiGatewayRequest/Response-referenser) istället för att lagra dem som egna sessionsfält
Agentforce | Sessionsspårning✅ Samla in resonemangsspår från Atlas Resonemangsmotor - Sessionspårning registrerar planerarens steg som en del av varje interaktion - för att avslöja agentbeslutsprocesser och förbättra felsökning
Agentforce | Agentkonfiguration✅ Logga turnivådetaljer inklusive användarinmatning, agentsvar, resonemangsförklaring, förtroendebetyg, hämtat sammanhang, åtgärder som försökts och fel som uppstått
Einstein | Trust✅ Slå på Einstein Trust Layers genererande AI-granskningslogg (uppmaning och svarstext, PII-maskerade versioner, jordningsdata, säkerhets- och toxicitetsbetyg, modelldetaljer) som strömmas till Data 360, plus Einstein Generative AI och insamling och lagring av feedbackdata för långsiktig lagring
Plattform | Egna objekt✅ Reservera egna loggningsobjekt för avsiktliga undantag — till exempel ett lättviktigt objekt som korrelerar agentbeteende med verksamhetsresultat — istället för att göra dem till det primära loggningssubstratet
Plattform | Instrumentpanel✅ Korrelera agentbeteende med verksamhetsresultat, identifiera förbättringsmöjligheter genom mönsteranalys och mata kontinuerliga utbildningspipelines med kvalitetsmärkta exempel

Antimönster

Var man ska letaHur dåligt ser ut
Plattform | Egna objekt⚠️ Handbygga egna transaktionsobjekt som det primära konversationsloggningssubstratet istället för den inbyggda sessionsspårningsdatamodellen, stöta på skalproblem med att lagra flergångskonversationer, stora JSON-belastningar och snabb datatillväxt
Agentforce | Sessionsspårning⚠️ Bygga ett parallellt telemetrisystem när Agentforce sessionsspårning redan samlar in interaktioner i en enhetlig datamodell i Data 360
Agentforce | Agentkonfiguration⚠️ Logga endast agentsvar utan att samla in inmatningar, resonemang, hämtade sammanhang och åtgärder som utförts
Einstein | Trust⚠️ Inaktivera granskningsloggen för Einstein Trust Layer i produktion eller inte slå på insamling och lagring av feedbackdata för långtidslagring i Data 360
Plattform | Övervakning⚠️ Att förlita sig enbart på konversationsframgång/misslyckande utan att samla in tokenanvändning, modell och uppmaningsdetaljer genom STDM LLM-samtalskopplingar

Mönster

Var man ska letaHur bra ser ut
Plattform | Övervakning✅ Mät svarslatens vid percentiler (p50, p95, p99) avslöja typisk prestanda och sämsta möjliga upplevelser
Plattform | Övervakning✅ Instrumentera varje latensfas separat (modellslutledning, sammanhangshämtning, åtgärdsutförande, nätverk) vilket möjliggör målinriktad optimering
Plattform | Övervakning✅ Varning när p95 latens överskrider tröskelvärden som indikerar prestandaförsämring
Plattform | Övervakning✅ Spåra tokendistribution (uppmaningtokens, slutförandetokens, totalt antal tokens) per konversation, per agent och per användningsfall
Plattform | Övervakning✅ Upptäck avvikande konversationer som konsumerar överdrivna tokens vilket tyder på omedelbara problem eller missbruk
Plattform | Övervakning✅ Jämför nuvarande genomströmning mot kända hastighetsgränser eller kapacitetsbaslinjer som varnar när du närmar dig tröskelvärden
Plattform | Övervakning✅ Beräkna felprocent som procentandel av totala begäranden möjliggör jämförelse mellan agenter och tidsperioder
Plattform | Övervakning✅ Skilj mellan felkategorier (modellfel, behörighetsfel, integreringsfel) som kräver olika svar
Plattform | Övervakning✅ Beräkna tillgänglighet som procentandel av tid agenter framgångsrikt svarar på begäranden och spåra mot SLO
Plattform | Proactive Monitoring✅ Konfigurera Proactive Monitoring trösklar baserat på grundläggande agentbeteendemönster istället för att acceptera standarder
Plattform | Skalcenter✅ Granska Scale Center-data efter att ha distribuerat nya agenter eller gjort betydande snabba ändringar som validerar resursanvändning matchar förväntningarna

Antimönster

Var man ska letaHur dåligt ser ut
Plattform | Övervakning⚠️ Mät endast genomsnittlig latens istället för percentiler, maskera användarupplevelser i sämsta fall
Plattform | Övervakning⚠️ Spåra total latens utan instrumentering av individuella faser (slutledning, hämtning, åtgärdsutförande)
Plattform | Övervakning⚠️ Behandlar alla fel på samma sätt istället för att kategorisera efter typ (modell, behörighet, integrering) för korrekt svar
Plattform | Proactive Monitoring⚠️ Acceptera standardtrösklar för Proactive Monitoring utan att ställa in till grundläggande beteendemönster för agenter
Plattform | Skalcenter⚠️ Distribuera nya agenter eller göra snabba ändringar utan att granska data i Scale Center för att validera resursanvändning
Plattform | Övervakning⚠️ Ignorera tokenkonsumtionsmönster och misslyckas med att upptäcka avvikande konversationer som konsumerar 10x typiska tokens

Mönster

Var man ska letaHur bra ser ut
Agentforce | Testcenter✅ Börja med inbyggda tester och utvärderingsverktyg: upprätthålla återanvändningsbara uppsättningar av testfall i Agentforce Testcenter och köra agenter mot dem i satser, kontrollera om agenten valde det förväntade ämnet och åtgärden och producerade ett acceptabelt svar
Agentforce | Testcenter✅ Använd inbyggda utvärderare — färdiga kvalitetsdimensioner och LLM-as-judge-metoden för att betygsätta konversationskvalitet — och författa egna utvärderare för organisationsspecifika kriterier, med hjälp av representativa konversationer så att utvärderingen återspeglar verklig användning
Agentforce | Testcenter✅ För faktafrågor med kända svar, upprätthåll kända svar som repeterbara testfall i Testcenter; för öppna frågor, lägg till mänsklig granskning av konversationer i provet
Data 360 | Hämtningskvalitet✅ För agenter som är grundade i en Knowledge, använd inbyggd hämtningskvalitetsanalys för att bedöma sammanhangsrelevans, svarsrelevans och trohet (grundlighet) hos svar
Einstein | Trust✅ Förlita dig på Einstein Trust Layers upptäckt av toxicitet under körning som den första försvarslinjen för skyddsräcken och förbättra sedan säkerhetsövervakningen genom innehållsfiltrering, manuell granskning, användarrapportering och rättvisegranskningar över demografiska grupper
Data 360 | GenAIFeedback✅ Samla in användarnöjdhet genom Agentforce feedback som flödar in i GenAIFeedback / GenAIFeedbackDetail DMO i Data 360 (tummen upp / ner, acceptera / avvisa, redigeringar, ordagranna kommentarer) tillsammans med gatewaybegäran och skapandedata
Plattform | Analytics✅ Kombinera uttrycklig feedback (frågad innan omflyttning, efter konversation, uppföljningsundersökningar) med implicita signaler (slutförandegrad, omflyttning, övergivande, försök), korrelera med konversationsegenskaper för att guida förbättringsprioritering

Antimönster

Var man ska letaHur dåligt ser ut
Agentforce | Testcenter⚠️ Bygga och köra en egen testsele istället för att börja med Agentforce Testcenter återanvändbara testuppsättningar och inbyggda utvärderare
Agentforce | Testcenter⚠️ Att förlita sig enbart på automatiserad utvärdering utan mänsklig granskning för kvalitetsbedömning av öppna svar
Plattform | Övervakning⚠️ Övervaka endast precision utan att spåra relevans, säkerhet och användarnöjdhet
Data 360 | GenAIFeedback⚠️ Det går inte att samla in någon användarfeedback (explicit eller implicit) om agentsvarskvalitet när Agentforces feedback redan flödar in i GenAIFeedback DMO.
Agentforce | Agentkonfiguration⚠️ Hoppa över rättviserevisioner för att bedöma resultatfördelningar över demografiska grupper

Mönster

Var man ska letaHur bra ser ut
Agentforce | Agentkonfiguration✅ Etablera grundläggande prestanda direkt efter agentdistribuering som mäter precision, relevans, säkerhet och nöjdhet över representativa testfall
Agentforce | Agentkonfiguration✅ Regelbundet utvärdera mot samma testfall avslöja prestandaförändringar oberoende av användningsmönsterskift
Plattform | Övervakning✅ Varna när kvalitetsmått minskar utöver acceptabla trösklar definierade av verksamhetspåverkantolerans
Plattform | Analytics✅ Övervaka indataegenskaper (fråga längd, ämnesfördelning, språk komplexitet, domänterminologi) upptäcka betydande distributionsskift
Plattform | Övervakning✅ Övervaka svarsegenskaper (genomsnittlig svarslängd, åtgärdsåberopningsresultat, omflyttningsfrekvenser, felmönster) som etablerar beteendebaslinjer
Plattform | Övervakning✅ Konfigurera automatiserade varningar när driftmått överskrider trösklar som utlöser utredning och avhjälpande

Antimönster

Var man ska letaHur dåligt ser ut
Agentforce | Agentkonfiguration⚠️ Det går inte att fastställa baslinjeprestanda efter inledande agentdistribuering, vilket gör drift oupptäckt
Plattform | Övervakning⚠️ Ignorera distributionsdrift när användarinmatningsmönster ändras avsevärt från vad agenter har utformats för att hantera
Plattform | Övervakning⚠️ Inte bevaka beteendeförändringar (svarslängd, åtgärdsfrekvens, omflyttningsfrekvens) mot etablerade baslinjer
Plattform | Övervakning⚠️ Har ingen automatiserad varning för driftmått, förlitar sig endast på manuell observation för att upptäcka försämring

Mönster

Var man ska letaHur bra ser ut
Plattform | Övervakning✅ Övervaka tokenkonsumtionsfördelningar som upptäcker avvikande konversationer och undersök de som konsumerar 10x typiska tokens
Plattform | Övervakning✅ Upptäck plötsliga ökningar i felfrekvenser, nya feltyper som inte är i baslinjen eller lokaliserade felkoncentrationer som påverkar specifika användare eller agenter
Plattform | Analytics✅ Följ konversationsavbrott efter konversationssteg som identifierar om användare lämnar under inledande interaktion, mitt i konversationen eller efter att uppgiften slutförts
Plattform | Övervakning✅ Dirigera kritiska agentfel till jourhavande tekniker omedelbart, kvalitetsförsämring till produktteam under arbetstid och mindre avvikelser till dagliga nyheter

Antimönster

Var man ska letaHur dåligt ser ut
Plattform | Övervakning⚠️ Behandla alla varningar lika brådskande, vilket orsakar trötthet och missade kritiska fel
Plattform | Övervakning⚠️ Ignorera kostnadsavvikelser som tokenkonsumtionstoppar som kan indikera omedelbara problem, missbruk eller infrastrukturproblem
Plattform | Analytics⚠️ Inte spåra konversationsövergivanden eller misslyckas med att analysera övergivande efter fas
Plattform | Övervakning⚠️ Vänta på användarrapporter istället för att proaktivt upptäcka felfrekvenstoppar genom automatiserad övervakning

Mönster

Var man ska letaHur bra ser ut
Plattform | Källkontroll✅ Lagra uppmaningsmallar i Git tillsammans med programkod som behandlar uppmaningar som viktig programlogik som förtjänar kodgranskning, tester och kontrollerad distribuering
Einstein | Promptbyggare✅ Använd Promptbyggaren för iterativ promptutveckling med versionshistorik och testmöjligheter och exportera sedan till versionskontroll för distributionspipelines
Plattform | Källkontroll✅ Lagra konfigurationer (modellval, temperatur, tokengränser, hämtningskonfigurationer, åtgärdsbehörigheter, funktionsflaggor) som kod som möjliggör miljöspecifika värden och driftdetektering
Plattform | Källkontroll✅ Tillämpa semantisk versionshantering för agentkomponenter: större (brytande ändringar), mindre (funktioner), patch (felkorrigeringar) med versionsnummer som visas i loggar
Plattform | Dokumentation✅ Dokumentera vad som ändrats, varför det ändrades, vilka tester validerade ändringen och vilka återställningsprocesser som finns för varje uppmaning och konfigurationsändring

Antimönster

Var man ska letaHur dåligt ser ut
Einstein | Promptbyggare⚠️ Göra snabba ändringar utan kodgranskning, tester eller kontrollerade distributionsprocesser
Plattform | Konfiguration⚠️ Lagra agentkonfigurationer utanför källkontroll där drift inte kan upptäckas och distribueringar inte kan automatiseras
Plattform | Dokumentation⚠️ Göra snabba ändringar utan att dokumentera logisk grund, testresultat eller återföringsprocesser
Plattform | Källkontroll⚠️ Misslyckades tillämpa semantisk versionshantering, vilket gör det omöjligt att korrelera incidenter med specifika distribueringar

Mönster

Var man ska letaHur bra ser ut
Plattform | Dokumentation✅ Upprätthåll ett modellregister som registrerar vilka modellversioner som distribueras där, inklusive modellfamilj, specifik version, finjusteringsstatus, miljö, distributionsdatum och ansvarigt team
Plattform | Dokumentation✅ Logga varje agent distribution inklusive version, miljö, tidsstämpel, distribuerande användare, godkännanden som erhållits och distributionsresultat
Plattform | Dokumentation✅ Mappa beroenden mellan agenter, uppmaningar, Knowledge baser, åtgärder och integreringar uttryckligen istället för att upptäcka dem under incidenter
Verksamhet | Process✅ Upprätta ett avskrivningsschema med en policystödd minsta uppsägningstid kommunicerad tillräckligt i förväg, vilket möjliggör planerade migreringar snarare än akuta svar på tvångsavskrivningar
Plattform | Dokumentation✅ Dokument tillbakadragande förfaranden för varje agent inklusive målversion, utförandesteg, valideringstest och notiskrav
Plattform | Faser✅ Testa återföringsprocesser i icke-produktionsmiljöer validera de fungerar innan beroende på dem under produktionsincidenter

Antimönster

Var man ska letaHur dåligt ser ut
Plattform | Dokumentation⚠️ Upptäcka beroenden mellan agenter, uppmaningar och Knowledge endast under incidenter istället för att upprätthålla explicita beroendekartor
Verksamhet | Process⚠️ Tillhandahålla otillräckligt meddelande om avskrivning som tvingar fram nödmigreringar snarare än planerade övergångar
Plattform | Dokumentation⚠️ Att ha otestade återställningsprocesser som misslyckas när de behövs som mest under produktionsincidenter
Plattform | Distribuering⚠️ Distribuera agenter utan loggversion, miljö, godkännanden eller resultat, förlora förmågan att korrelera incidenter med distribueringar

Mönster

Var man ska letaHur bra ser ut
Plattform | Gränssnitt✅ Samla in uttrycklig feedback (tummen upp / ner, kvalitetsbetyg, kommentarer) och implicit feedback (slutföranderesultat, omflyttningsfrekvenser, försöksmönster) systematiskt
Data 360 | Dataval✅ Utse konversationsloggar i utbildningsdatauppsättningar genom att filtrera efter kvalitet, ta bort problematiska exempel, säkerställa representativitet och avduplicering
Data 360 | Jordning✅ Anpassa agenter till domänvokabulär, verksamhetsprocesser och organisationsspecifik Knowledge främst genom RAG grundad i Data 360 och prompt tuning — den Salesforce-inbyggda anpassningsvägen
Einstein | BYOLLM✅ När jordning och uppmaningsjustering är otillräckliga, finjustera en modell externt och anslut den genom BYOLLM istället för att förvänta dig in-plattformsgenerativ finjustering
Einstein | Promptbyggare✅ Etablera regelbundna snabbgranskningar av kadens som undersöker de senaste konversationerna, kvalitetsmått och användarfeedback som identifierar förbättringsmöjligheter
Einstein | Promptbyggare✅ Implementera promptändringar stegvis med A / B-test som validerar förbättringar innan fullständig lansering
Agentforce | Agentkonfiguration✅ Upprätthåll testuppsättningar som täcker lyckliga vägar, kantfall, kontradiktoriska inmatningar och historiska problemscenarion, utökas kontinuerligt när nya kantfall upptäcks

Antimönster

Var man ska letaHur dåligt ser ut
Plattform | Data⚠️ Försöka förbättra utan systematisk feedbackinsamling, göra förbättringar gissningar snarare än datadrivna
Data 360 | Dataval⚠️ Använda ej utvalda konversationsloggar för utbildning, inklusive säkerhetsöverträdelser, fel och exempel som inte är representativa
Data 360 | Jordning⚠️ Sträcka sig efter extern finjustering innan uttömning av RAG-jordning och snabbjustering, den inbyggda vägen som löser de flesta domänanpassningsbehov utan en egen modell
Einstein | Promptbyggare⚠️ Behandla prompt engineering som en engångsövning istället för kontinuerlig praxis justerad i takt med att användningsmönster utvecklas
Agentforce | Agentkonfiguration⚠️ Att ha statiska testuppsättningar som aldrig expanderar för att täcka nya kantfall som upptäcks i produktion

Mönster

Var man ska letaHur bra ser ut
Plattform | Egna metadatatyper✅ Implementera funktionsflagg med egna metadatatyper eller egna inställningar för att koppla bort distribution från utgivning för agentändringar med hög risk
Plattform | Behörighetsuppsättningar✅ Implementera kanariefåglar som släpper agentändringar till en liten användarundergrupp först med hjälp av behörighetsuppsättningar som styr agentåtkomst
Agentforce | Agentkonfiguration✅ Övervaka kanariefågelkohorten intensivt och mät framgångsresultat, kvalitet, felfrekvens, latens, tokenkonsumtion och nöjdhet, och utöka endast lanseringen när kanariefågeln matchar eller förbättrar kontrollgruppen som kör den tidigare agentversionen
Plattform | Analytics✅ Definiera framgångskriterier innan du påbörjar A / B-test som förhindrar tvetydiga resultat, i linje med verksamhetsmål
Agentforce | Agentkonfiguration✅ Distribuera förkämpe-utmanare testning med beprövad version som reserv vid jämförelse mot förbättrad utmanarversion
Verksamhet | Process✅ Upprätta objektiva kampanjkriterier, inklusive minsta provstorlek, kvalitetströsklar och utvärderingstid innan uppflyttningsbeslut

Antimönster

Var man ska letaHur dåligt ser ut
Agentforce | Agentkonfiguration⚠️ Lansera agentändringar till alla användare samtidigt utan kanarietest, vilket maximerar explosionsradien för problem
Plattform | Distribuering⚠️ Distribuera agentändringar med hög risk utan funktionsflagg som möjliggör omedelbar återgång utan omdistribuering
Plattform | Analytics⚠️ Köra A/B-test utan fördefinierade framgångskriterier, vilket leder till tvetydiga resultat och dåliga beslut
Plattform | Analytics⚠️ Köra experiment med otillräcklig provstorlek som ger brusiga resultat som leder till felaktiga slutsatser
Agentforce | Agentkonfiguration⚠️ Använda funktionsflagg för varje mindre ändring i uppmaningen istället för att reservera dem för ändringar med hög risk för affärskritiska agenter

Mönster

Var man ska letaHur bra ser ut
Plattform | Övervakning✅ Upptäck agentfel genom automatiserad övervakning varning om felfrekvenser, kvalitetsmått försämring, kostnad avvikelser, latensökningar och användaromflyttningar
Plattform | Övervakning✅ Komplettera automatiserad upptäckt med användarrapporteringsmekanismer som möjliggör omflyttning av problem som automatiserad övervakning missar
Verksamhet | Process✅ Definiera allvarlighetskriterier objektivt baserat på användarpåverkan, blastradie, dataintegritetsrisk och återställningsbrådska
Plattform | Dokumentation✅ Dokumentera inledande svarsförfaranden som runbooks körbara av jourhavande tekniker utan djup agentkompetens
Agentforce | Agentkonfiguration✅ Inkludera i inledande svar: inaktivera agent som misslyckats (kretsbrytare), dirigera till reserv, samla in diagnostik, underrätta intressenter, inleda incidentkommunikation

Antimönster

Var man ska letaHur dåligt ser ut
Plattform | Övervakning⚠️ Att förlita sig på användarrapporter som primär detekteringsmekanism istället för automatiserad övervakning för agentfel
Verksamhet | Process⚠️ Använda subjektiv allvarlighetsgradsklassificering som leder till underomflyttning av verkliga problem eller överomflyttning av mindre problem
Plattform | Dokumentation⚠️ Att inte ha några körböcker, kräver incidentspecifik utredning av tekniker med djup agentkompetens under varje incident
Verksamhet | Process⚠️ Behandla agentfel identiskt med traditionella programfel utan att ta hänsyn till hallucinationer, off-topic-svar eller säkerhetsöverträdelser

Mönster

Var man ska letaHur bra ser ut
Plattform | Apex✅ Implementera brytare med konfigurerbar feltröskel (t.ex. 50% felfrekvens), varaktighetsfönster (t.ex. 5 min rullande fönster) och återställningstest (periodiska provförfrågningar)
Agentforce | Agentkonfiguration✅ Design reservhierarkier: Primär sofistikerad agent → Enklare backupagent → Statiska vanliga frågor → Mänsklig överlämning
Plattform | Orkestrering✅ Implementera grundlogik i orkestreringslager snarare än inom enskilda agenter vilket möjliggör enhetligt beteende över agentens ekosystem
Agentforce | Agentkonfiguration✅ Utforma mänskliga överlämningsflöden för att bevara konversationssammanhang, kommunicera överlämningsorsak och dirigera till lämplig mänsklig agent med relevant expertis
Plattform | Övervakning✅ Övervaka överlämningsresultat efter ämne, agent och misslyckande anledning att identifiera agentkapacitetsluckor
Agentforce | Agentkonfiguration✅ När sofistikerade resonemang misslyckas, tillbaka till enklare logik; när realtidsdata inte är tillgängliga, arbeta på cachade data; när integreringar misslyckas, arbeta i skrivskyddat läge
Plattform | Orkestrering✅ Testa grundvägar regelbundet validera de fungerar vid behov

Antimönster

Var man ska letaHur dåligt ser ut
Agentforce | Agentkonfiguration⚠️ Har inga brytare, vilket gör att agenter som misslyckas kan påverka användare upprepade gånger medan problem löses
Plattform | Orkestrering⚠️ Implementera grundlogik inom individuella agenter istället för på orkestreringslagret, vilket skapar inkonsekvent beteende
Agentforce | Agentkonfiguration⚠️ Utforma binära pass/fail-agenter som antingen fungerar perfekt eller helt misslyckas utan eleganta försämringsalternativ
Plattform | Orkestrering⚠️ Testa aldrig grundvägar och upptäck att de inte fungerar endast under faktiska incidenter
Agentforce | Agentkonfiguration⚠️ Mänsklig överlämning som förlorar konversationssammanhang tvingar användare att upprepa information

Mönster

Var man ska letaHur bra ser ut
Verksamhet | Process✅ Utföra klanderfria granskningar efter incidenter med fokus på systemförbättringar istället för individuella fel som skapar psykologisk säkerhet
Verksamhet | Process✅ Skapa detaljerad tidslinje från inledande villkor genom upptäckt, utredning, svar, återställning och validering med tidsstämplar
Verksamhet | Process✅ Använd “Fem Varför” teknik borrning från symptom till grundläggande orsaker snarare än förenklade slutsatser
Verksamhet | Process✅ Analysera bidragande faktorer, inklusive att övervaka luckor, testluckor, dokumentationsluckor, automatiseringsluckor och arkitektoniska luckor
Verksamhet | Process✅ Utvärdera upptäckt: vilken signal som borde ha upptäckt problemet tidigare, vilken övervakning som möjliggör snabbare upptäckt
Verksamhet | Process✅ Specificera konkreta, tilldelade, tidsbundna åtgärdsobjekt som förhindrar återkommande (t.ex. “lägg till varning för felfrekvens som överstiger 5% över 10 min - tilldelad: Alex - förfaller: 2 veckor”)
Verksamhet | Process✅ Följ åtgärdsobjekt slutförande i efterföljande granskningar som säkerställer kontinuerlig förbättring faktiskt händer
Plattform | Dokumentation✅ Dokumentera efter incidentgranskningar i delad Knowledge med taggning som möjliggör mönsteranalys över flera incidenter
Verksamhet | Process✅ Dela granskningar efter incidenter brett utöver omedelbara incidentsvarare genom teammöten eller lunch-och-utbildningssessioner

Antimönster

Var man ska letaHur dåligt ser ut
Verksamhet | Process⚠️ Skyllfokuserade obduktioner som minskar psykologisk säkerhet och förhindrar ärlig bedömning av misslyckanden
Verksamhet | Process⚠️ Förenklade slutsatser om grundorsaken (“agenten hade en bugg”) snarare än specifika upptäckter som möjliggör effektiv avhjälpande
Verksamhet | Process⚠️ Vaga åtgärdsobjekt som “förbättra övervakning” istället för specifika, tilldelade, tidsbundna uppgifter
Verksamhet | Process⚠️ Låga slutföranderesultat för åtgärdsobjekt som indikerar kontinuerlig förbättringsprocessfel
Verksamhet | Process⚠️ Hålla läranden efter incidenter simulerade till omedelbara respondenter istället för att dela brett för organisatorisk inlärning

Mönster

Var man ska letaHur bra ser ut
Verksamhet | Process✅ Validera checklista innan distribuering, inklusive tester, säkerhetsgranskning, validering av efterlevnad, dokumentation, övervakningskonfiguration och godkännande av intressenter
Verksamhet | Process✅ Utvärdera risk baserat på blastradie, datakänslighet, åtgärdsmyndighet, integreringsberoenden, återställningskomplexitet och efterlevnadskonsekvenser
Verksamhet | Process✅ Skala godkännandekrav baserat på risk: Högrisk kräver godkännande av chef, säkerhetsgranskning och gradvis lansering; lågrisk kräver peer review och standardtester
Plattform | Godkännandeprocesser✅ Implementera automatiserade, spårade och granskningsbara godkännandeflöden med hjälp av Salesforces godkännandeprocesser eller externa distributionsverktyg
Verksamhet | Process✅ Definiera akuta förbikopplingsprocesser som kräver chefsgodkännande, logisk dokumentation och snabb granskning efter distribution
Plattform | Övervakning✅ Följ nödutplaceringar separat; hög frekvens för nödutplacering indikerar processproblem som kräver utredning

Antimönster

Var man ska letaHur dåligt ser ut
Verksamhet | Process⚠️ Tillämpa enhetligt godkännandedjup oavsett agentriskprofil, slösa arbete på agenter med låg risk eller undergranskning av agenter med hög risk
Verksamhet | Process⚠️ Distribuera produktionsagenter utan validering av checklista innan distribution av tester, säkerhet, efterlevnad och övervakning
Plattform | Distribuering⚠️ Att inte ha några förfaranden för förbikoppling av nödsituationer, vilket orsakar kritiska fixfördröjningar under produktionsincidenter
Verksamhet | Process⚠️ Kräver ofta nödutplaceringar, vilket indikerar brutna standardprocesser snarare än exceptionella omständigheter

Mönster

Var man ska letaHur bra ser ut
Agentforce | Agentkonfiguration✅ Testa utdataegenskaper (innehåller information som behövs, bibehåller lämplig ton, inkluderar citat) snarare än exakt text för icke-deterministiska agentresultat
Agentforce | Agentkonfiguration✅ Upprätta lägsta kvalitetströsklar (t.ex. “95% precision på uthållig testuppsättning, noll säkerhetsbrott, rättviserevision visar inga demografiska skillnader som överstiger 5%“)
Agentforce | Agentkonfiguration✅ Utför säkerhetstester med kontradiktoriska inmatningar, inklusive promptinjektion, jailbreakförsök, begäran om omflyttning och begäran utanför omfattningen
Agentforce | Agentkonfiguration✅ Låt säkerhetstester utföras av teammedlemmar som inte är involverade i agentutveckling som ger nya perspektiv på sårbarheter
Plattform | Prestandatest✅ Testa under realistisk belastning inklusive samtidiga konversationer, typiska konversationslängder och beräknad användningsvolym
Plattform | Säkerhet✅ Kontrollera att agenter inte har åtkomst till oauktoriserade data, inte kan utföra oauktoriserade åtgärder och att snabb injektion inte kan flytta om behörigheter
Plattform | CI/CD✅ Integrera säkerhetsskanning i distributionspipeline med Salesforce Code Analyzer och specialiserade AI-säkerhetsverktyg

Antimönster

Var man ska letaHur dåligt ser ut
Agentforce | Agentkonfiguration⚠️ Testa agenter för exakt textmatchning på icke-deterministiska utdata istället för att testa utdataegenskaper
Plattform | Prestandatest⚠️ Endast tester med scenarion med en användare, problem med styrande begränsningar, resursbegränsningar och flaskhalsar för skalbarhet
Agentforce | Agentkonfiguration⚠️ Hoppa över säkerhetstester eller låta utvecklare testa sina egna agenter utan nytt perspektiv på sårbarheter
Plattform | Säkerhet⚠️ Inte testa om snabb injektion kan flytta om agentbehörigheter eller komma åt oauktoriserade data
Agentforce | Agentkonfiguration⚠️ Att ha statiska testuppsättningar som inte representerar verklig användning, inklusive olika användartyper och konversationskomplexitet

Mönster

Var man ska letaHur bra ser ut
Plattform | Dokumentation✅ Dokumentera varje ändring: vad som ändrats, varför, vilka tester som validerade det och vilken återföringsprocess som finns
Företag | Kommunikation✅ Meddela alla intressenter (användare, op-team, support, verksamhet) som beskriver vad som ändras, när, vilka fördelar, vilka risker och vem man ska kontakta
Företag | Kommunikation✅ Upprätta kommunikationsmallar för olika ändringstyper som standardiserar meddelanden och minskar förberedelseoverhead
Plattform | Händelseövervakning✅ Tid agentdistribueringar under perioder med låg användning informerade av händelseövervakningsdata som visar faktiska användningsmönster
Verksamhet | Process✅ Distribuera större agentändringar tidigt till mitten av veckan undvika helger med minskad incidentsvarskapacitet
Verksamhet | Process✅ Upprätta frysperioder innan större affärshändelser (räkenskapsårets slut, produktlanseringar, stora marknadsföringskampanjer)
Verksamhet | Process✅ Dokumentändring frys kalender årligen kommunicera begränsade perioder tillräckligt i förväg

Antimönster

Var man ska letaHur dåligt ser ut
Plattform | Distribuering⚠️ Distribuera under hög användning, månadsslut, kvartalsslut eller större affärshändelser
Plattform | Distribuering⚠️ Distribuera på måndagar (rampning) eller fredagar (minskad personalstyrka) när incidenthanteringskapaciteten är begränsad
Verksamhet | Process⚠️ Att ha överdrivna ändringar fryser den långsamma förbättringshastigheten utan proportionerlig riskminskning
Företag | Kommunikation⚠️ Distribuera agentändringar utan att meddela påverkade användare, operationsteam, supportteam eller affärsintressenter
Plattform | Dokumentation⚠️ Göra ändringar utan att dokumentera logisk grund, skapa organisationer som återupptäcker lärdomar istället för att bygga på erfarenheter

Mönster

Var man ska letaHur bra ser ut
Plattform | Gränssnitt✅ Implementera feedbackinsamling inom konversationsgränssnittet vilket möjliggör omedelbara svar medan interaktionen är färsk snarare än fördröjd insamling
Plattform | Analytics✅ Fråga konversationsloggar som analyserar frågetyper, konversationslängder, framgångsresultat efter ämne och användarnöjdhet efter konversationsegenskaper
Plattform | Analytics✅ Analysera felloggar gruppering efter feltyp, påverkade användare, konversationsmönster och tidsfördelning för att upptäcka systematiska problem
Plattform | Analytics✅ Prioritera felsökning efter frekvens och påverkan: fel med hög frekvens som påverkar många användare kräver omedelbar uppmärksamhet
Plattform | Övervakning✅ Upprätta kvalitetsbaslinjer efter inledande distribuering och övervaka pågående kvalitet mot baslinjer som varnar när trender minskar

Antimönster

Var man ska letaHur dåligt ser ut
Plattform | Gränssnitt⚠️ Fördröja insamling av feedback (t.ex. uppföljningsmeddelanden flera dagar senare) för att minska svarsfrekvenser och införa biasering vid återkallande.
Plattform | Analytics⚠️ Inte analysera användningsmönster för att avgöra om agenter motiverar operativ komplexitet eller om kapaciteter är underutnyttjade
Plattform | Analytics⚠️ Behandla alla fel lika istället för att prioritera efter frekvens och verksamhetspåverkan
Plattform | Övervakning⚠️ Fatta förbättringsbeslut utan data, saknar kvalitetsbaslinjer och trendövervakning

Mönster

Var man ska letaHur bra ser ut
Verksamhet | Process✅ Ge konsekvent experiment struktur: hypotes, experimentell design, mått, provstorlek och framgångskriterier
Verksamhet | Process✅ Dokumentexperiment innan körning förhindrar tvetydig tolkning av resultat
Plattform | Analytics✅ Följ varianttilldelning i konversationsmetadata som möjliggör resultatkorrelation efter variant
Plattform | Analytics✅ Beräkna erforderlig provstorlek innan experiment baserat på förväntad effektstorlek, statistisk kraft och acceptabla felfrekvenser
Plattform | Analytics✅ Använd flerarmad banditoptimering för att dynamiskt allokera mer trafik till bättre presterande varianter vilket minskar alternativkostnaden
Plattform | Dokumentation✅ Upprätthåll experimentkatalog med testade varianter, uppmätta resultat, uppnådda resultat och beslut som fattas för att förhindra omtest av misslyckade metoder

Antimönster

Var man ska letaHur dåligt ser ut
Verksamhet | Process⚠️ Köra experiment utan fördefinierade hypoteser och framgångskriterier som leder till tvetydiga resultat
Plattform | Analytics⚠️ Att använda otillräckliga provstorlekar som ger bullriga resultat som leder till dåliga förbättringsbeslut
Plattform | Dokumentation⚠️ Har ingen experimentkatalog, vilket gör att team testar tidigare misslyckade metoder och förlorar organisatorisk Knowledge
Plattform | Analytics⚠️ Inte spåra vilka användare som fått vilka varianter, vilket gör resultatkorrelation omöjlig