Operativ excellens - Agentmönster
Få reda på mer om välutformad operativ excellens → Agentic Enterprise Operational Excellence
Mönster
| Var man ska leta | Hur bra ser ut |
|---|---|
| Agentforce | Sessionsspårning | ✅ Använd den inbyggda datamodellen för sessionsspårning (STDM) för att samla in agentinteraktioner i en enhetlig datamodell på Data 360 istället för att bygga ett parallellt telemetrisystem — registrera varje konversation som en spårningshierarki för sessioner, interaktioner (omgångar) och steg (UserInputStep, LLMExecutionStep, FunctionStep) |
| Agentforce | Sessionsspårning | ✅ Förlita dig på standard STDM-objekt (AIAgentSession, AIAgentSessionParticipant, AIAgentInteraction, AIAgentInteractionStep, AIAgentInteractionMessage), som samlar in åtgärder inbyggt som interaktionssteg istället för att kräva en separat åtgärdslogg |
| Agentforce | Sessionsspårning | ✅ Hämta tokenanvändning, modell och uppmaningsdetaljer genom att ansluta interaktionssteg till deras LLM-samtalsposter (via GenerationId och GenAiGatewayRequest/Response-referenser) istället för att lagra dem som egna sessionsfält |
| Agentforce | Sessionsspårning | ✅ Samla in resonemangsspår från Atlas Resonemangsmotor - Sessionspårning registrerar planerarens steg som en del av varje interaktion - för att avslöja agentbeslutsprocesser och förbättra felsökning |
| Agentforce | Agentkonfiguration | ✅ Logga turnivådetaljer inklusive användarinmatning, agentsvar, resonemangsförklaring, förtroendebetyg, hämtat sammanhang, åtgärder som försökts och fel som uppstått |
| Einstein | Trust | ✅ Slå på Einstein Trust Layers genererande AI-granskningslogg (uppmaning och svarstext, PII-maskerade versioner, jordningsdata, säkerhets- och toxicitetsbetyg, modelldetaljer) som strömmas till Data 360, plus Einstein Generative AI och insamling och lagring av feedbackdata för långsiktig lagring |
| Plattform | Egna objekt | ✅ Reservera egna loggningsobjekt för avsiktliga undantag — till exempel ett lättviktigt objekt som korrelerar agentbeteende med verksamhetsresultat — istället för att göra dem till det primära loggningssubstratet |
| Plattform | Instrumentpanel | ✅ Korrelera agentbeteende med verksamhetsresultat, identifiera förbättringsmöjligheter genom mönsteranalys och mata kontinuerliga utbildningspipelines med kvalitetsmärkta exempel |
Antimönster
| Var man ska leta | Hur dåligt ser ut |
|---|---|
| Plattform | Egna objekt | ⚠️ Handbygga egna transaktionsobjekt som det primära konversationsloggningssubstratet istället för den inbyggda sessionsspårningsdatamodellen, stöta på skalproblem med att lagra flergångskonversationer, stora JSON-belastningar och snabb datatillväxt |
| Agentforce | Sessionsspårning | ⚠️ Bygga ett parallellt telemetrisystem när Agentforce sessionsspårning redan samlar in interaktioner i en enhetlig datamodell i Data 360 |
| Agentforce | Agentkonfiguration | ⚠️ Logga endast agentsvar utan att samla in inmatningar, resonemang, hämtade sammanhang och åtgärder som utförts |
| Einstein | Trust | ⚠️ Inaktivera granskningsloggen för Einstein Trust Layer i produktion eller inte slå på insamling och lagring av feedbackdata för långtidslagring i Data 360 |
| Plattform | Övervakning | ⚠️ Att förlita sig enbart på konversationsframgång/misslyckande utan att samla in tokenanvändning, modell och uppmaningsdetaljer genom STDM LLM-samtalskopplingar |
Mönster
| Var man ska leta | Hur bra ser ut |
|---|---|
| Plattform | Övervakning | ✅ Mät svarslatens vid percentiler (p50, p95, p99) avslöja typisk prestanda och sämsta möjliga upplevelser |
| Plattform | Övervakning | ✅ Instrumentera varje latensfas separat (modellslutledning, sammanhangshämtning, åtgärdsutförande, nätverk) vilket möjliggör målinriktad optimering |
| Plattform | Övervakning | ✅ Varning när p95 latens överskrider tröskelvärden som indikerar prestandaförsämring |
| Plattform | Övervakning | ✅ Spåra tokendistribution (uppmaningtokens, slutförandetokens, totalt antal tokens) per konversation, per agent och per användningsfall |
| Plattform | Övervakning | ✅ Upptäck avvikande konversationer som konsumerar överdrivna tokens vilket tyder på omedelbara problem eller missbruk |
| Plattform | Övervakning | ✅ Jämför nuvarande genomströmning mot kända hastighetsgränser eller kapacitetsbaslinjer som varnar när du närmar dig tröskelvärden |
| Plattform | Övervakning | ✅ Beräkna felprocent som procentandel av totala begäranden möjliggör jämförelse mellan agenter och tidsperioder |
| Plattform | Övervakning | ✅ Skilj mellan felkategorier (modellfel, behörighetsfel, integreringsfel) som kräver olika svar |
| Plattform | Övervakning | ✅ Beräkna tillgänglighet som procentandel av tid agenter framgångsrikt svarar på begäranden och spåra mot SLO |
| Plattform | Proactive Monitoring | ✅ Konfigurera Proactive Monitoring trösklar baserat på grundläggande agentbeteendemönster istället för att acceptera standarder |
| Plattform | Skalcenter | ✅ Granska Scale Center-data efter att ha distribuerat nya agenter eller gjort betydande snabba ändringar som validerar resursanvändning matchar förväntningarna |
Antimönster
| Var man ska leta | Hur dåligt ser ut |
|---|---|
| Plattform | Övervakning | ⚠️ Mät endast genomsnittlig latens istället för percentiler, maskera användarupplevelser i sämsta fall |
| Plattform | Övervakning | ⚠️ Spåra total latens utan instrumentering av individuella faser (slutledning, hämtning, åtgärdsutförande) |
| Plattform | Övervakning | ⚠️ Behandlar alla fel på samma sätt istället för att kategorisera efter typ (modell, behörighet, integrering) för korrekt svar |
| Plattform | Proactive Monitoring | ⚠️ Acceptera standardtrösklar för Proactive Monitoring utan att ställa in till grundläggande beteendemönster för agenter |
| Plattform | Skalcenter | ⚠️ Distribuera nya agenter eller göra snabba ändringar utan att granska data i Scale Center för att validera resursanvändning |
| Plattform | Övervakning | ⚠️ Ignorera tokenkonsumtionsmönster och misslyckas med att upptäcka avvikande konversationer som konsumerar 10x typiska tokens |
Mönster
| Var man ska leta | Hur bra ser ut |
|---|---|
| Agentforce | Testcenter | ✅ Börja med inbyggda tester och utvärderingsverktyg: upprätthålla återanvändningsbara uppsättningar av testfall i Agentforce Testcenter och köra agenter mot dem i satser, kontrollera om agenten valde det förväntade ämnet och åtgärden och producerade ett acceptabelt svar |
| Agentforce | Testcenter | ✅ Använd inbyggda utvärderare — färdiga kvalitetsdimensioner och LLM-as-judge-metoden för att betygsätta konversationskvalitet — och författa egna utvärderare för organisationsspecifika kriterier, med hjälp av representativa konversationer så att utvärderingen återspeglar verklig användning |
| Agentforce | Testcenter | ✅ För faktafrågor med kända svar, upprätthåll kända svar som repeterbara testfall i Testcenter; för öppna frågor, lägg till mänsklig granskning av konversationer i provet |
| Data 360 | Hämtningskvalitet | ✅ För agenter som är grundade i en Knowledge, använd inbyggd hämtningskvalitetsanalys för att bedöma sammanhangsrelevans, svarsrelevans och trohet (grundlighet) hos svar |
| Einstein | Trust | ✅ Förlita dig på Einstein Trust Layers upptäckt av toxicitet under körning som den första försvarslinjen för skyddsräcken och förbättra sedan säkerhetsövervakningen genom innehållsfiltrering, manuell granskning, användarrapportering och rättvisegranskningar över demografiska grupper |
| Data 360 | GenAIFeedback | ✅ Samla in användarnöjdhet genom Agentforce feedback som flödar in i GenAIFeedback / GenAIFeedbackDetail DMO i Data 360 (tummen upp / ner, acceptera / avvisa, redigeringar, ordagranna kommentarer) tillsammans med gatewaybegäran och skapandedata |
| Plattform | Analytics | ✅ Kombinera uttrycklig feedback (frågad innan omflyttning, efter konversation, uppföljningsundersökningar) med implicita signaler (slutförandegrad, omflyttning, övergivande, försök), korrelera med konversationsegenskaper för att guida förbättringsprioritering |
Antimönster
| Var man ska leta | Hur dåligt ser ut |
|---|---|
| Agentforce | Testcenter | ⚠️ Bygga och köra en egen testsele istället för att börja med Agentforce Testcenter återanvändbara testuppsättningar och inbyggda utvärderare |
| Agentforce | Testcenter | ⚠️ Att förlita sig enbart på automatiserad utvärdering utan mänsklig granskning för kvalitetsbedömning av öppna svar |
| Plattform | Övervakning | ⚠️ Övervaka endast precision utan att spåra relevans, säkerhet och användarnöjdhet |
| Data 360 | GenAIFeedback | ⚠️ Det går inte att samla in någon användarfeedback (explicit eller implicit) om agentsvarskvalitet när Agentforces feedback redan flödar in i GenAIFeedback DMO. |
| Agentforce | Agentkonfiguration | ⚠️ Hoppa över rättviserevisioner för att bedöma resultatfördelningar över demografiska grupper |
Mönster
| Var man ska leta | Hur bra ser ut |
|---|---|
| Agentforce | Agentkonfiguration | ✅ Etablera grundläggande prestanda direkt efter agentdistribuering som mäter precision, relevans, säkerhet och nöjdhet över representativa testfall |
| Agentforce | Agentkonfiguration | ✅ Regelbundet utvärdera mot samma testfall avslöja prestandaförändringar oberoende av användningsmönsterskift |
| Plattform | Övervakning | ✅ Varna när kvalitetsmått minskar utöver acceptabla trösklar definierade av verksamhetspåverkantolerans |
| Plattform | Analytics | ✅ Övervaka indataegenskaper (fråga längd, ämnesfördelning, språk komplexitet, domänterminologi) upptäcka betydande distributionsskift |
| Plattform | Övervakning | ✅ Övervaka svarsegenskaper (genomsnittlig svarslängd, åtgärdsåberopningsresultat, omflyttningsfrekvenser, felmönster) som etablerar beteendebaslinjer |
| Plattform | Övervakning | ✅ Konfigurera automatiserade varningar när driftmått överskrider trösklar som utlöser utredning och avhjälpande |
Antimönster
| Var man ska leta | Hur dåligt ser ut |
|---|---|
| Agentforce | Agentkonfiguration | ⚠️ Det går inte att fastställa baslinjeprestanda efter inledande agentdistribuering, vilket gör drift oupptäckt |
| Plattform | Övervakning | ⚠️ Ignorera distributionsdrift när användarinmatningsmönster ändras avsevärt från vad agenter har utformats för att hantera |
| Plattform | Övervakning | ⚠️ Inte bevaka beteendeförändringar (svarslängd, åtgärdsfrekvens, omflyttningsfrekvens) mot etablerade baslinjer |
| Plattform | Övervakning | ⚠️ Har ingen automatiserad varning för driftmått, förlitar sig endast på manuell observation för att upptäcka försämring |
Mönster
| Var man ska leta | Hur bra ser ut |
|---|---|
| Plattform | Övervakning | ✅ Övervaka tokenkonsumtionsfördelningar som upptäcker avvikande konversationer och undersök de som konsumerar 10x typiska tokens |
| Plattform | Övervakning | ✅ Upptäck plötsliga ökningar i felfrekvenser, nya feltyper som inte är i baslinjen eller lokaliserade felkoncentrationer som påverkar specifika användare eller agenter |
| Plattform | Analytics | ✅ Följ konversationsavbrott efter konversationssteg som identifierar om användare lämnar under inledande interaktion, mitt i konversationen eller efter att uppgiften slutförts |
| Plattform | Övervakning | ✅ Dirigera kritiska agentfel till jourhavande tekniker omedelbart, kvalitetsförsämring till produktteam under arbetstid och mindre avvikelser till dagliga nyheter |
Antimönster
| Var man ska leta | Hur dåligt ser ut |
|---|---|
| Plattform | Övervakning | ⚠️ Behandla alla varningar lika brådskande, vilket orsakar trötthet och missade kritiska fel |
| Plattform | Övervakning | ⚠️ Ignorera kostnadsavvikelser som tokenkonsumtionstoppar som kan indikera omedelbara problem, missbruk eller infrastrukturproblem |
| Plattform | Analytics | ⚠️ Inte spåra konversationsövergivanden eller misslyckas med att analysera övergivande efter fas |
| Plattform | Övervakning | ⚠️ Vänta på användarrapporter istället för att proaktivt upptäcka felfrekvenstoppar genom automatiserad övervakning |
Mönster
| Var man ska leta | Hur bra ser ut |
|---|---|
| Plattform | Källkontroll | ✅ Lagra uppmaningsmallar i Git tillsammans med programkod som behandlar uppmaningar som viktig programlogik som förtjänar kodgranskning, tester och kontrollerad distribuering |
| Einstein | Promptbyggare | ✅ Använd Promptbyggaren för iterativ promptutveckling med versionshistorik och testmöjligheter och exportera sedan till versionskontroll för distributionspipelines |
| Plattform | Källkontroll | ✅ Lagra konfigurationer (modellval, temperatur, tokengränser, hämtningskonfigurationer, åtgärdsbehörigheter, funktionsflaggor) som kod som möjliggör miljöspecifika värden och driftdetektering |
| Plattform | Källkontroll | ✅ Tillämpa semantisk versionshantering för agentkomponenter: större (brytande ändringar), mindre (funktioner), patch (felkorrigeringar) med versionsnummer som visas i loggar |
| Plattform | Dokumentation | ✅ Dokumentera vad som ändrats, varför det ändrades, vilka tester validerade ändringen och vilka återställningsprocesser som finns för varje uppmaning och konfigurationsändring |
Antimönster
| Var man ska leta | Hur dåligt ser ut |
|---|---|
| Einstein | Promptbyggare | ⚠️ Göra snabba ändringar utan kodgranskning, tester eller kontrollerade distributionsprocesser |
| Plattform | Konfiguration | ⚠️ Lagra agentkonfigurationer utanför källkontroll där drift inte kan upptäckas och distribueringar inte kan automatiseras |
| Plattform | Dokumentation | ⚠️ Göra snabba ändringar utan att dokumentera logisk grund, testresultat eller återföringsprocesser |
| Plattform | Källkontroll | ⚠️ Misslyckades tillämpa semantisk versionshantering, vilket gör det omöjligt att korrelera incidenter med specifika distribueringar |
Mönster
| Var man ska leta | Hur bra ser ut |
|---|---|
| Plattform | Dokumentation | ✅ Upprätthåll ett modellregister som registrerar vilka modellversioner som distribueras där, inklusive modellfamilj, specifik version, finjusteringsstatus, miljö, distributionsdatum och ansvarigt team |
| Plattform | Dokumentation | ✅ Logga varje agent distribution inklusive version, miljö, tidsstämpel, distribuerande användare, godkännanden som erhållits och distributionsresultat |
| Plattform | Dokumentation | ✅ Mappa beroenden mellan agenter, uppmaningar, Knowledge baser, åtgärder och integreringar uttryckligen istället för att upptäcka dem under incidenter |
| Verksamhet | Process | ✅ Upprätta ett avskrivningsschema med en policystödd minsta uppsägningstid kommunicerad tillräckligt i förväg, vilket möjliggör planerade migreringar snarare än akuta svar på tvångsavskrivningar |
| Plattform | Dokumentation | ✅ Dokument tillbakadragande förfaranden för varje agent inklusive målversion, utförandesteg, valideringstest och notiskrav |
| Plattform | Faser | ✅ Testa återföringsprocesser i icke-produktionsmiljöer validera de fungerar innan beroende på dem under produktionsincidenter |
Antimönster
| Var man ska leta | Hur dåligt ser ut |
|---|---|
| Plattform | Dokumentation | ⚠️ Upptäcka beroenden mellan agenter, uppmaningar och Knowledge endast under incidenter istället för att upprätthålla explicita beroendekartor |
| Verksamhet | Process | ⚠️ Tillhandahålla otillräckligt meddelande om avskrivning som tvingar fram nödmigreringar snarare än planerade övergångar |
| Plattform | Dokumentation | ⚠️ Att ha otestade återställningsprocesser som misslyckas när de behövs som mest under produktionsincidenter |
| Plattform | Distribuering | ⚠️ Distribuera agenter utan loggversion, miljö, godkännanden eller resultat, förlora förmågan att korrelera incidenter med distribueringar |
Mönster
| Var man ska leta | Hur bra ser ut |
|---|---|
| Plattform | Gränssnitt | ✅ Samla in uttrycklig feedback (tummen upp / ner, kvalitetsbetyg, kommentarer) och implicit feedback (slutföranderesultat, omflyttningsfrekvenser, försöksmönster) systematiskt |
| Data 360 | Dataval | ✅ Utse konversationsloggar i utbildningsdatauppsättningar genom att filtrera efter kvalitet, ta bort problematiska exempel, säkerställa representativitet och avduplicering |
| Data 360 | Jordning | ✅ Anpassa agenter till domänvokabulär, verksamhetsprocesser och organisationsspecifik Knowledge främst genom RAG grundad i Data 360 och prompt tuning — den Salesforce-inbyggda anpassningsvägen |
| Einstein | BYOLLM | ✅ När jordning och uppmaningsjustering är otillräckliga, finjustera en modell externt och anslut den genom BYOLLM istället för att förvänta dig in-plattformsgenerativ finjustering |
| Einstein | Promptbyggare | ✅ Etablera regelbundna snabbgranskningar av kadens som undersöker de senaste konversationerna, kvalitetsmått och användarfeedback som identifierar förbättringsmöjligheter |
| Einstein | Promptbyggare | ✅ Implementera promptändringar stegvis med A / B-test som validerar förbättringar innan fullständig lansering |
| Agentforce | Agentkonfiguration | ✅ Upprätthåll testuppsättningar som täcker lyckliga vägar, kantfall, kontradiktoriska inmatningar och historiska problemscenarion, utökas kontinuerligt när nya kantfall upptäcks |
Antimönster
| Var man ska leta | Hur dåligt ser ut |
|---|---|
| Plattform | Data | ⚠️ Försöka förbättra utan systematisk feedbackinsamling, göra förbättringar gissningar snarare än datadrivna |
| Data 360 | Dataval | ⚠️ Använda ej utvalda konversationsloggar för utbildning, inklusive säkerhetsöverträdelser, fel och exempel som inte är representativa |
| Data 360 | Jordning | ⚠️ Sträcka sig efter extern finjustering innan uttömning av RAG-jordning och snabbjustering, den inbyggda vägen som löser de flesta domänanpassningsbehov utan en egen modell |
| Einstein | Promptbyggare | ⚠️ Behandla prompt engineering som en engångsövning istället för kontinuerlig praxis justerad i takt med att användningsmönster utvecklas |
| Agentforce | Agentkonfiguration | ⚠️ Att ha statiska testuppsättningar som aldrig expanderar för att täcka nya kantfall som upptäcks i produktion |
Mönster
| Var man ska leta | Hur bra ser ut |
|---|---|
| Plattform | Egna metadatatyper | ✅ Implementera funktionsflagg med egna metadatatyper eller egna inställningar för att koppla bort distribution från utgivning för agentändringar med hög risk |
| Plattform | Behörighetsuppsättningar | ✅ Implementera kanariefåglar som släpper agentändringar till en liten användarundergrupp först med hjälp av behörighetsuppsättningar som styr agentåtkomst |
| Agentforce | Agentkonfiguration | ✅ Övervaka kanariefågelkohorten intensivt och mät framgångsresultat, kvalitet, felfrekvens, latens, tokenkonsumtion och nöjdhet, och utöka endast lanseringen när kanariefågeln matchar eller förbättrar kontrollgruppen som kör den tidigare agentversionen |
| Plattform | Analytics | ✅ Definiera framgångskriterier innan du påbörjar A / B-test som förhindrar tvetydiga resultat, i linje med verksamhetsmål |
| Agentforce | Agentkonfiguration | ✅ Distribuera förkämpe-utmanare testning med beprövad version som reserv vid jämförelse mot förbättrad utmanarversion |
| Verksamhet | Process | ✅ Upprätta objektiva kampanjkriterier, inklusive minsta provstorlek, kvalitetströsklar och utvärderingstid innan uppflyttningsbeslut |
Antimönster
| Var man ska leta | Hur dåligt ser ut |
|---|---|
| Agentforce | Agentkonfiguration | ⚠️ Lansera agentändringar till alla användare samtidigt utan kanarietest, vilket maximerar explosionsradien för problem |
| Plattform | Distribuering | ⚠️ Distribuera agentändringar med hög risk utan funktionsflagg som möjliggör omedelbar återgång utan omdistribuering |
| Plattform | Analytics | ⚠️ Köra A/B-test utan fördefinierade framgångskriterier, vilket leder till tvetydiga resultat och dåliga beslut |
| Plattform | Analytics | ⚠️ Köra experiment med otillräcklig provstorlek som ger brusiga resultat som leder till felaktiga slutsatser |
| Agentforce | Agentkonfiguration | ⚠️ Använda funktionsflagg för varje mindre ändring i uppmaningen istället för att reservera dem för ändringar med hög risk för affärskritiska agenter |
Mönster
| Var man ska leta | Hur bra ser ut |
|---|---|
| Plattform | Övervakning | ✅ Upptäck agentfel genom automatiserad övervakning varning om felfrekvenser, kvalitetsmått försämring, kostnad avvikelser, latensökningar och användaromflyttningar |
| Plattform | Övervakning | ✅ Komplettera automatiserad upptäckt med användarrapporteringsmekanismer som möjliggör omflyttning av problem som automatiserad övervakning missar |
| Verksamhet | Process | ✅ Definiera allvarlighetskriterier objektivt baserat på användarpåverkan, blastradie, dataintegritetsrisk och återställningsbrådska |
| Plattform | Dokumentation | ✅ Dokumentera inledande svarsförfaranden som runbooks körbara av jourhavande tekniker utan djup agentkompetens |
| Agentforce | Agentkonfiguration | ✅ Inkludera i inledande svar: inaktivera agent som misslyckats (kretsbrytare), dirigera till reserv, samla in diagnostik, underrätta intressenter, inleda incidentkommunikation |
Antimönster
| Var man ska leta | Hur dåligt ser ut |
|---|---|
| Plattform | Övervakning | ⚠️ Att förlita sig på användarrapporter som primär detekteringsmekanism istället för automatiserad övervakning för agentfel |
| Verksamhet | Process | ⚠️ Använda subjektiv allvarlighetsgradsklassificering som leder till underomflyttning av verkliga problem eller överomflyttning av mindre problem |
| Plattform | Dokumentation | ⚠️ Att inte ha några körböcker, kräver incidentspecifik utredning av tekniker med djup agentkompetens under varje incident |
| Verksamhet | Process | ⚠️ Behandla agentfel identiskt med traditionella programfel utan att ta hänsyn till hallucinationer, off-topic-svar eller säkerhetsöverträdelser |
Mönster
| Var man ska leta | Hur bra ser ut |
|---|---|
| Plattform | Apex | ✅ Implementera brytare med konfigurerbar feltröskel (t.ex. 50% felfrekvens), varaktighetsfönster (t.ex. 5 min rullande fönster) och återställningstest (periodiska provförfrågningar) |
| Agentforce | Agentkonfiguration | ✅ Design reservhierarkier: Primär sofistikerad agent → Enklare backupagent → Statiska vanliga frågor → Mänsklig överlämning |
| Plattform | Orkestrering | ✅ Implementera grundlogik i orkestreringslager snarare än inom enskilda agenter vilket möjliggör enhetligt beteende över agentens ekosystem |
| Agentforce | Agentkonfiguration | ✅ Utforma mänskliga överlämningsflöden för att bevara konversationssammanhang, kommunicera överlämningsorsak och dirigera till lämplig mänsklig agent med relevant expertis |
| Plattform | Övervakning | ✅ Övervaka överlämningsresultat efter ämne, agent och misslyckande anledning att identifiera agentkapacitetsluckor |
| Agentforce | Agentkonfiguration | ✅ När sofistikerade resonemang misslyckas, tillbaka till enklare logik; när realtidsdata inte är tillgängliga, arbeta på cachade data; när integreringar misslyckas, arbeta i skrivskyddat läge |
| Plattform | Orkestrering | ✅ Testa grundvägar regelbundet validera de fungerar vid behov |
Antimönster
| Var man ska leta | Hur dåligt ser ut |
|---|---|
| Agentforce | Agentkonfiguration | ⚠️ Har inga brytare, vilket gör att agenter som misslyckas kan påverka användare upprepade gånger medan problem löses |
| Plattform | Orkestrering | ⚠️ Implementera grundlogik inom individuella agenter istället för på orkestreringslagret, vilket skapar inkonsekvent beteende |
| Agentforce | Agentkonfiguration | ⚠️ Utforma binära pass/fail-agenter som antingen fungerar perfekt eller helt misslyckas utan eleganta försämringsalternativ |
| Plattform | Orkestrering | ⚠️ Testa aldrig grundvägar och upptäck att de inte fungerar endast under faktiska incidenter |
| Agentforce | Agentkonfiguration | ⚠️ Mänsklig överlämning som förlorar konversationssammanhang tvingar användare att upprepa information |
Mönster
| Var man ska leta | Hur bra ser ut |
|---|---|
| Verksamhet | Process | ✅ Utföra klanderfria granskningar efter incidenter med fokus på systemförbättringar istället för individuella fel som skapar psykologisk säkerhet |
| Verksamhet | Process | ✅ Skapa detaljerad tidslinje från inledande villkor genom upptäckt, utredning, svar, återställning och validering med tidsstämplar |
| Verksamhet | Process | ✅ Använd “Fem Varför” teknik borrning från symptom till grundläggande orsaker snarare än förenklade slutsatser |
| Verksamhet | Process | ✅ Analysera bidragande faktorer, inklusive att övervaka luckor, testluckor, dokumentationsluckor, automatiseringsluckor och arkitektoniska luckor |
| Verksamhet | Process | ✅ Utvärdera upptäckt: vilken signal som borde ha upptäckt problemet tidigare, vilken övervakning som möjliggör snabbare upptäckt |
| Verksamhet | Process | ✅ Specificera konkreta, tilldelade, tidsbundna åtgärdsobjekt som förhindrar återkommande (t.ex. “lägg till varning för felfrekvens som överstiger 5% över 10 min - tilldelad: Alex - förfaller: 2 veckor”) |
| Verksamhet | Process | ✅ Följ åtgärdsobjekt slutförande i efterföljande granskningar som säkerställer kontinuerlig förbättring faktiskt händer |
| Plattform | Dokumentation | ✅ Dokumentera efter incidentgranskningar i delad Knowledge med taggning som möjliggör mönsteranalys över flera incidenter |
| Verksamhet | Process | ✅ Dela granskningar efter incidenter brett utöver omedelbara incidentsvarare genom teammöten eller lunch-och-utbildningssessioner |
Antimönster
| Var man ska leta | Hur dåligt ser ut |
|---|---|
| Verksamhet | Process | ⚠️ Skyllfokuserade obduktioner som minskar psykologisk säkerhet och förhindrar ärlig bedömning av misslyckanden |
| Verksamhet | Process | ⚠️ Förenklade slutsatser om grundorsaken (“agenten hade en bugg”) snarare än specifika upptäckter som möjliggör effektiv avhjälpande |
| Verksamhet | Process | ⚠️ Vaga åtgärdsobjekt som “förbättra övervakning” istället för specifika, tilldelade, tidsbundna uppgifter |
| Verksamhet | Process | ⚠️ Låga slutföranderesultat för åtgärdsobjekt som indikerar kontinuerlig förbättringsprocessfel |
| Verksamhet | Process | ⚠️ Hålla läranden efter incidenter simulerade till omedelbara respondenter istället för att dela brett för organisatorisk inlärning |
Mönster
| Var man ska leta | Hur bra ser ut |
|---|---|
| Verksamhet | Process | ✅ Validera checklista innan distribuering, inklusive tester, säkerhetsgranskning, validering av efterlevnad, dokumentation, övervakningskonfiguration och godkännande av intressenter |
| Verksamhet | Process | ✅ Utvärdera risk baserat på blastradie, datakänslighet, åtgärdsmyndighet, integreringsberoenden, återställningskomplexitet och efterlevnadskonsekvenser |
| Verksamhet | Process | ✅ Skala godkännandekrav baserat på risk: Högrisk kräver godkännande av chef, säkerhetsgranskning och gradvis lansering; lågrisk kräver peer review och standardtester |
| Plattform | Godkännandeprocesser | ✅ Implementera automatiserade, spårade och granskningsbara godkännandeflöden med hjälp av Salesforces godkännandeprocesser eller externa distributionsverktyg |
| Verksamhet | Process | ✅ Definiera akuta förbikopplingsprocesser som kräver chefsgodkännande, logisk dokumentation och snabb granskning efter distribution |
| Plattform | Övervakning | ✅ Följ nödutplaceringar separat; hög frekvens för nödutplacering indikerar processproblem som kräver utredning |
Antimönster
| Var man ska leta | Hur dåligt ser ut |
|---|---|
| Verksamhet | Process | ⚠️ Tillämpa enhetligt godkännandedjup oavsett agentriskprofil, slösa arbete på agenter med låg risk eller undergranskning av agenter med hög risk |
| Verksamhet | Process | ⚠️ Distribuera produktionsagenter utan validering av checklista innan distribution av tester, säkerhet, efterlevnad och övervakning |
| Plattform | Distribuering | ⚠️ Att inte ha några förfaranden för förbikoppling av nödsituationer, vilket orsakar kritiska fixfördröjningar under produktionsincidenter |
| Verksamhet | Process | ⚠️ Kräver ofta nödutplaceringar, vilket indikerar brutna standardprocesser snarare än exceptionella omständigheter |
Mönster
| Var man ska leta | Hur bra ser ut |
|---|---|
| Agentforce | Agentkonfiguration | ✅ Testa utdataegenskaper (innehåller information som behövs, bibehåller lämplig ton, inkluderar citat) snarare än exakt text för icke-deterministiska agentresultat |
| Agentforce | Agentkonfiguration | ✅ Upprätta lägsta kvalitetströsklar (t.ex. “95% precision på uthållig testuppsättning, noll säkerhetsbrott, rättviserevision visar inga demografiska skillnader som överstiger 5%“) |
| Agentforce | Agentkonfiguration | ✅ Utför säkerhetstester med kontradiktoriska inmatningar, inklusive promptinjektion, jailbreakförsök, begäran om omflyttning och begäran utanför omfattningen |
| Agentforce | Agentkonfiguration | ✅ Låt säkerhetstester utföras av teammedlemmar som inte är involverade i agentutveckling som ger nya perspektiv på sårbarheter |
| Plattform | Prestandatest | ✅ Testa under realistisk belastning inklusive samtidiga konversationer, typiska konversationslängder och beräknad användningsvolym |
| Plattform | Säkerhet | ✅ Kontrollera att agenter inte har åtkomst till oauktoriserade data, inte kan utföra oauktoriserade åtgärder och att snabb injektion inte kan flytta om behörigheter |
| Plattform | CI/CD | ✅ Integrera säkerhetsskanning i distributionspipeline med Salesforce Code Analyzer och specialiserade AI-säkerhetsverktyg |
Antimönster
| Var man ska leta | Hur dåligt ser ut |
|---|---|
| Agentforce | Agentkonfiguration | ⚠️ Testa agenter för exakt textmatchning på icke-deterministiska utdata istället för att testa utdataegenskaper |
| Plattform | Prestandatest | ⚠️ Endast tester med scenarion med en användare, problem med styrande begränsningar, resursbegränsningar och flaskhalsar för skalbarhet |
| Agentforce | Agentkonfiguration | ⚠️ Hoppa över säkerhetstester eller låta utvecklare testa sina egna agenter utan nytt perspektiv på sårbarheter |
| Plattform | Säkerhet | ⚠️ Inte testa om snabb injektion kan flytta om agentbehörigheter eller komma åt oauktoriserade data |
| Agentforce | Agentkonfiguration | ⚠️ Att ha statiska testuppsättningar som inte representerar verklig användning, inklusive olika användartyper och konversationskomplexitet |
Mönster
| Var man ska leta | Hur bra ser ut |
|---|---|
| Plattform | Dokumentation | ✅ Dokumentera varje ändring: vad som ändrats, varför, vilka tester som validerade det och vilken återföringsprocess som finns |
| Företag | Kommunikation | ✅ Meddela alla intressenter (användare, op-team, support, verksamhet) som beskriver vad som ändras, när, vilka fördelar, vilka risker och vem man ska kontakta |
| Företag | Kommunikation | ✅ Upprätta kommunikationsmallar för olika ändringstyper som standardiserar meddelanden och minskar förberedelseoverhead |
| Plattform | Händelseövervakning | ✅ Tid agentdistribueringar under perioder med låg användning informerade av händelseövervakningsdata som visar faktiska användningsmönster |
| Verksamhet | Process | ✅ Distribuera större agentändringar tidigt till mitten av veckan undvika helger med minskad incidentsvarskapacitet |
| Verksamhet | Process | ✅ Upprätta frysperioder innan större affärshändelser (räkenskapsårets slut, produktlanseringar, stora marknadsföringskampanjer) |
| Verksamhet | Process | ✅ Dokumentändring frys kalender årligen kommunicera begränsade perioder tillräckligt i förväg |
Antimönster
| Var man ska leta | Hur dåligt ser ut |
|---|---|
| Plattform | Distribuering | ⚠️ Distribuera under hög användning, månadsslut, kvartalsslut eller större affärshändelser |
| Plattform | Distribuering | ⚠️ Distribuera på måndagar (rampning) eller fredagar (minskad personalstyrka) när incidenthanteringskapaciteten är begränsad |
| Verksamhet | Process | ⚠️ Att ha överdrivna ändringar fryser den långsamma förbättringshastigheten utan proportionerlig riskminskning |
| Företag | Kommunikation | ⚠️ Distribuera agentändringar utan att meddela påverkade användare, operationsteam, supportteam eller affärsintressenter |
| Plattform | Dokumentation | ⚠️ Göra ändringar utan att dokumentera logisk grund, skapa organisationer som återupptäcker lärdomar istället för att bygga på erfarenheter |
Mönster
| Var man ska leta | Hur bra ser ut |
|---|---|
| Plattform | Gränssnitt | ✅ Implementera feedbackinsamling inom konversationsgränssnittet vilket möjliggör omedelbara svar medan interaktionen är färsk snarare än fördröjd insamling |
| Plattform | Analytics | ✅ Fråga konversationsloggar som analyserar frågetyper, konversationslängder, framgångsresultat efter ämne och användarnöjdhet efter konversationsegenskaper |
| Plattform | Analytics | ✅ Analysera felloggar gruppering efter feltyp, påverkade användare, konversationsmönster och tidsfördelning för att upptäcka systematiska problem |
| Plattform | Analytics | ✅ Prioritera felsökning efter frekvens och påverkan: fel med hög frekvens som påverkar många användare kräver omedelbar uppmärksamhet |
| Plattform | Övervakning | ✅ Upprätta kvalitetsbaslinjer efter inledande distribuering och övervaka pågående kvalitet mot baslinjer som varnar när trender minskar |
Antimönster
| Var man ska leta | Hur dåligt ser ut |
|---|---|
| Plattform | Gränssnitt | ⚠️ Fördröja insamling av feedback (t.ex. uppföljningsmeddelanden flera dagar senare) för att minska svarsfrekvenser och införa biasering vid återkallande. |
| Plattform | Analytics | ⚠️ Inte analysera användningsmönster för att avgöra om agenter motiverar operativ komplexitet eller om kapaciteter är underutnyttjade |
| Plattform | Analytics | ⚠️ Behandla alla fel lika istället för att prioritera efter frekvens och verksamhetspåverkan |
| Plattform | Övervakning | ⚠️ Fatta förbättringsbeslut utan data, saknar kvalitetsbaslinjer och trendövervakning |
Mönster
| Var man ska leta | Hur bra ser ut |
|---|---|
| Verksamhet | Process | ✅ Ge konsekvent experiment struktur: hypotes, experimentell design, mått, provstorlek och framgångskriterier |
| Verksamhet | Process | ✅ Dokumentexperiment innan körning förhindrar tvetydig tolkning av resultat |
| Plattform | Analytics | ✅ Följ varianttilldelning i konversationsmetadata som möjliggör resultatkorrelation efter variant |
| Plattform | Analytics | ✅ Beräkna erforderlig provstorlek innan experiment baserat på förväntad effektstorlek, statistisk kraft och acceptabla felfrekvenser |
| Plattform | Analytics | ✅ Använd flerarmad banditoptimering för att dynamiskt allokera mer trafik till bättre presterande varianter vilket minskar alternativkostnaden |
| Plattform | Dokumentation | ✅ Upprätthåll experimentkatalog med testade varianter, uppmätta resultat, uppnådda resultat och beslut som fattas för att förhindra omtest av misslyckade metoder |
Antimönster
| Var man ska leta | Hur dåligt ser ut |
|---|---|
| Verksamhet | Process | ⚠️ Köra experiment utan fördefinierade hypoteser och framgångskriterier som leder till tvetydiga resultat |
| Plattform | Analytics | ⚠️ Att använda otillräckliga provstorlekar som ger bullriga resultat som leder till dåliga förbättringsbeslut |
| Plattform | Dokumentation | ⚠️ Har ingen experimentkatalog, vilket gör att team testar tidigare misslyckade metoder och förlorar organisatorisk Knowledge |
| Plattform | Analytics | ⚠️ Inte spåra vilka användare som fått vilka varianter, vilket gör resultatkorrelation omöjlig |