Rättvisa för agentföretaget

När autonoma agenter fattar beslut som påverkar kunder, anställda och diskussionsgrupper blir rättvisa den arkitektoniska kvaliteten som skiljer ansvarsfull automatisering från skadlig automatisering. Agentforce agenter som arbetar med begränsad mänsklig tillsyn upprätthåller och förstärker biasering i en aldrig tidigare skådad skala, vilket förvandlar individuella diskriminerande mönster till systemisk orättvisa. Rättvisa i agentsystem är ett förstklassigt arkitektoniskt problem på Salesforce Platform, som kombinerar AI-rättvisa, tillgänglighet, mänsklig tillsyn, algoritmisk ansvarighet och etisk styrning i en enhetlig arkitektonisk pelare.

Denna sida hanterar rättviseutmaningar som är unika för agentarkitekturer. Kärnprinciper för rättvisa, tillgänglighetskrav och ramverk för etisk styrning omfattas av pelaren Rättvisa. Här fokuserar vi på överväganden för autonoma agenter: Detektion av biasering för agenter som fattar följdbeslut och tillsynsmönster som syftar till att göra ansvarsskyldighet substantiell snarare än nominell, transparens som låter påverkade användare bestrida beslut och plattformskapacitet som Einstein Trust Layer som stöder ansvarsfull AI-praxis genom datakontroller och granskningsloggning.

Agentforce agenter lär sig mönster från utbildningsdata, hämtningskällor och verkliga interaktioner. När dessa källor innehåller biasering som återspeglar historisk diskriminering eller demografiska obalanser vidmakthåller agenter denna biasering med algoritmisk effektivitet som påverkar tusentals användare innan människor upptäcker mönstret.

Basering av grundmodell: Stora språkmodeller (LLM) tränas på data i internetskala som innehåller samhälleliga biaser kring ras, kön, ålder, funktionshinder och andra skyddade egenskaper. Dessa biaser visas i agentsvar även utan uttryckliga diskriminerande instruktioner och kommer troligen inte att hanteras helt enbart genom snabb teknik eller tester; de återspeglar mönster som delvis är inbyggda i data om internetskala. Till exempel kan en Agentforce beskriva ledarroller med hjälp av maskulina språkmönster. Eller så kanske en serviceagent svarar annorlunda på kunder vars namn signalerar icke-majoritetsetnicitet eller kön – ett problem med representationskvalitet som kan påverka kundens upplevelse oberoende av ett beslutsresultat.

Testa agenter systematiskt för demografisk bias med hjälp av olika personas som representerar skyddade grupper. Skapa identiska begäranden som endast varierar demografiska signaler som namn, platser eller kommunikationsstilar. Jämför agentsvar mellan personas för kvalitetsskillnader, tonvariationer och resultatskillnader.

Utbildning av datarepresentationsluckor: Om din organisations historiska CRM-data (Customer Relationship Management) underrepresenterar vissa kundsegment kommer Agentforce som är utbildade eller har grund i dessa data att prestera dåligt för dessa segment. En leadbetygsagent som utbildats på tio års säljprojektdata underskattar systematiskt prospekt från geografiska områden som ditt säljteam historiskt har nedprioriterat, vilket skapar en feedbackloop där algoritmisk bias förvärrar mänsklig bias.

Innan du använder Salesforce-data för agentutbildning eller jordning med hämtningsutökat skapande (RAG), granska demografisk representation. Identifiera underrepresenterade grupper och bedöm om representationsluckor återspeglar legitima skillnader i verksamheten eller historisk diskriminering. Minska obalanser genom datautökning eller uttrycklig biasering innan agenter distribueras. Vissa återstående biasering tenderar att finnas kvar och hanteras vanligtvis genom övervakning och tillsyn längre ner istället för att lösas innan distribution.

Hämtningsbiasering i RAG-system: Agentforce som använder RAG-marksvar i Knowledge, Data 360-segment och Salesforce-poster. När dessa hämtningskällor innehåller biaserat innehåll eller varierar i kvalitet mellan demografiska grupper kan den distribuerade agenten föra in denna bias i upplevelserna för påverkade användare. För att minska denna risk, granska hämtningskällor innan produktion som en rekommenderad metod. En serviceagent som hämtar Knowledge som erbjuder detaljerad felsökning för företagskunder men endast generiska svar för småföretagskunder kommer att upprätthålla skillnader i servicekvalitet, en fråga om rättvisa där kundnivån korrelerar med skyddade egenskaper.

Granska Knowledge och hämtningskällor för demografiska representationsluckor och kvalitetsskillnader. Om luckor är svåra att åtgärda, behandla dessa begränsningar som skyddsräcken för var agenten passar bra. Se till att dokumentationens kvalitet, fullständighet och precision är jämförbara i alla kundsegment. Inkludera olika representationer i innehållsexempel istället för att använda majoritetskulturreferenser som alienerar underrepresenterade användare.

Interaktionsmönsterbiasering: Agenter kan anpassa beteenden baserat på konversationssignaler som korrelerar med skyddade egenskaper. Att bevaka detta mönster är en vanlig metod även efter distribuering, eftersom viss interaktionsdynamik uppstår från användarbeteenden som inte finns i utbildningsdata. Kommunikationsstil, språkkomplexitet och timingmönster kan signalera demografisk information. En agent som behandlar formella kommunikationsstilar annorlunda än tillfälliga stilar kan oavsiktligen diskriminera baserat på kulturell bakgrund, utbildningsnivå eller modersmålsstatus.

Övervaka agentinteraktioner mellan demografiska grupper för att se till att beteendet är enhetligt. Analysera svarslängd, detaljnivå, artighetsmarkörer och lösningskvalitet stratifierad efter användaregenskaper. Skillnader tyder på interaktionsbias som motiverar utredning.

Förstärkning av feedbackloop: Agenter som påverkar sina egna framtida utbildningsdata skapar självförstärkande biasering. Till exempel skapar en dirigeringsagent som tilldelar färre säljprojekt med högt värde till vissa säljområden mindre framgångsdata för dessa områden. Detta minskar i sin tur sannolikheten för att de ska lyckas, vilket ytterligare minskar framtida säljprojektdirigering till dem. Utan ingripande förvärras denna inledande bias över tid.

Upptäck feedbackloopar genom att övervaka ändringar av beslutsfördelning över tid. När vissa demografiska grupper systematiskt får färre positiva resultat, undersök om agentbeslut skapar den skillnad som motiverar framtida negativa beslut. Bryt loopar genom mänsklig granskning av kundcase och periodisk ombalansering.

När flera Agentforce arbetar tillsammans i orkestreringskedjor blir biasering från en agent indata till agenter längre ner, vilket skapar sammansatta effekter där små inledande biaseringar förstärks till betydande diskriminerande resultat.

Sekventiella agentkedjor: När Agent A:s utdata blir Agent B:s indata finns det en risk att Agent A:s partiska beslut begränsar Agent B:s alternativ på sätt som vidmakthåller eller förstärker diskriminering.

Överväg en orkestrering av leadkvalificering:

Research Agent samlar in Kundintelligens från webbkällor och CRM-historik.
Betygsagent tilldelar leadbetyg baserat på undersökningsagentens resultat.
Dirigeringsagent tilldelar leads till områden baserat på betyg.
Engagemangsagenter personanpassar uppsökande baserat på alla tidigare agentresultat.

När Research Agent systematiskt hämtar mindre omfattande data för vissa kunders demografi (på grund av inlärningsdataluckor eller hämtningsbiasering) tolkar Betygsagent ofullständig information som negativa signaler. Dirigeringsagent tilldelar sedan till områden med lägre prioritet och Engagemangsagent ger mindre personlig uppsökande verksamhet. Sammansättningseffekten skapar skillnader i servicekvalitet som vida överstiger någon enskild agents biasering.

Parallellagentkonsensus: Mönster där flera agenter oberoende av varandra analyserar samma indata och resultat aggregeras ger förstärkningsmöjligheter för biasering när agenter delar utbildningsdata eller grundmodeller.

Om fem agenter oberoende betygsätter ett lead men alla delar biaserade utbildningsdata eller grundmodellbiasering korrigerar inte konsensus biasering – det validerar det bara. “Fem agenter enades” ger falskt förtroende för diskriminerande resultat när alla fem delar samma systematiska bias.

Minskningsstrategier för orkestreringsbiasering:

Granskning av agentresultat i varje fas: Logga fullständiga indata och utdata för varje agent i orkestreringskedjor. När biasering upptäcks i slutgiltiga resultat, spåra bakåt genom kedjan för att identifiera vilken agent som introducerade biasering och i vilket steg amplifiering inträffade.

Bygg CRM Analytics-instrumentpaneler som visar beslutsfördelningar i varje orkestreringssteg uppdelade efter demografi. Identifiera var i kedjan skillnader uppstår eller expanderar.

Mångfald i agentutbildning och uppmaningar - Mångfald minskar korrelerade fel, vilket gör biasförstärkning mindre troligt. Vid användning av konsensusmönster för flera agenter, maximera mångfalden:
Olika grundmodeller där det är kommersiellt möjligt och stöds, till exempel genom BYOLLM-konfigurationer (Bring Your Own LLM).
Olika hämtningskällor mellan agenter
Olika tekniker för uppmaningar
Olika förtroendetröskelkalibreringar
Mänsklig granskning vid inflektionspunkter: Identifiera faser i orkestrering där beslut avsevärt begränsar alternativen längre ner. Infoga mänsklig granskning vid dessa inflektionspunkter även om den enskilda agentens förtroende är högt. Orkestrering skapar nya effekter som individuella agenters förtroendebetyg inte samlar in.
Rättvisemått per orkestreringssteg: Mät inte bara rättvisa i slutgiltiga resultat. Beräkna demografisk paritet, lika möjligheter och olika påverkan i varje fas i kedjan.

Om Fas 1 visar 90 % demografisk paritet, Fas 2 visar 85 %, Fas 3 visar 78 % och Fas 4 visar 70 %, verkar varje fas vara acceptabel för sig men förvärras till oacceptabel slutlig skillnad. Fasvisa mått fångar upp försämring innan de ger diskriminerande resultat.

Strömbrytare för orkestreringsfel - Konfigurera orkestreringslogik för att stoppa och flytta om till människor när:
Agenters förtroende hamnar under tröskeln även om agenter längre ner är säkra
Utdatadistribution ändras avsevärt mellan orkestreringsfaser
Beslutskedjan stöter på data som inte representeras i utbildnings- eller valideringsuppsättningar
Användaren ifrågasätter eller ifrågasätter uttryckligen mellanliggande beslut

Orkestrering av flera agenter möjliggör sofistikerade resonemang men skapar ogenomskinliga beslutskedjor där ansvarighet sprids och biasföreningar skapas. Arkitektonisk uppmärksamhet på stegvis rättviseövervakning och strategisk mänsklig tillsyn förhindrar orkestrering från att bli biasförstärkningsmaskineri.

Innan du distribuerar någon Agentforce som fattar följdbeslut om användare, beräkna rättvisemått över demografiska grupper. Gör rättviseutvärdering till en obligatorisk distributionsport som i auktoriteter motsvarar säkerhetsgranskning.

Demografisk paritet: De positiva resultaten måste vara ungefär lika för alla skyddade demografiska grupper. Om en agent godkänner servicebegäranden för grupp A med 60 % men grupp B med 40 % bryts den demografiska pariteten. Demografisk paritet är lämpligt om det inte finns någon legitim anledning till skillnader i resultatresultat mellan grupper.

Beräkna demografisk paritet genom att dela upp populationen i demografiska segment, mäta positiva resultatresultat per segment och jämföra resultat mellan segment. Dokumentera paritetsluckor med namngivna godkännare och motivering.

Lika möjligheter: Sant positiva resultat förblir jämförbara mellan grupper. Agenter identifierar kvalificerade individer lika bra oavsett demografiska egenskaper. En prediktiv modell känner igen kreditvärdiga sökande till liknande priser i skyddade grupper när underliggande kreditvärdighet är liknande.

Lika möjligheter är ofta det lämpligaste måttet än demografisk paritet för beslut om individuella kvalifikationer, där basräntorna kan skilja sig åt på ett legitimt sätt. Bevaka om agenter systematiskt missar kvalificerade kandidater från underrepresenterade grupper. Om det fortfarande finns skillnader efter begränsning kanske agenten inte passar för detta användningsfall.

Utjämnade odds: Både sanna positiva resultat och falska positiva resultat är lika i alla grupper. Detta är en strikt definition som begränsar både sant positiva och falskt positiva resultat över hela demografin. Utjämnade odds förhindrar att både missade säljprojekt koncentreras till specifika grupper och falska anklagelser koncentreras till specifika grupper.

Att uppnå utjämnade odds kräver ofta separata beslutströsklar per demografisk grupp. För anställningsrelaterade beslut i USA är det förbjudet att justera betyg eller fastställa olika cutoff-betyg efter skyddad klass enligt avdelning VII (Civil Rights Act of 1964), så utjämnade odds kan inte användas på detta sätt vid anställning. I andra sammanhang, och i andra jurisdiktioner, väcker det juridiska frågor om uttrycklig differentierad behandling, så konsultera juridisk rådgivning innan du implementerar koncernspecifika tröskelvärden.

Diparat påverkanförhållande: Fjärdedelsregeln anger en screeningtröskel: Om någon grupp får positiva resultat på mindre än 80 % jämfört med gruppen med bäst resultat, undersök för biasering. Ett förhållande på 75 % (till exempel ett godkännanderesultat på 45 % jämfört med ett godkännanderesultat på 60 %) hamnar under tröskelvärdet på fyra femtedelar och indikerar potentiell diskriminering som kräver motivering eller begränsning.

Disparat konsekvensanalys är standard inom arbetsrätten och tillämpas allt oftare på AI-system. Om ransonerna hamnar under 80 %, dokumentera undersöknings- och åtgärdsstegen. Om åtgärden inte lyfter förhållandet kan teamen dra slutsatsen att användningsfallet inte passar bra.

Individuell rättvisa: Liknande individer får liknande förutsägelser oavsett gruppmedlemskap. Två kunder med identisk kreditvärdighet, inköpshistorik och engagemang får liknande kreditgränsrekommendationer oavsett demografiska skillnader.

Individuell rättvisa är filosofiskt viktigt men operativt utmanande eftersom “likhet” är subjektivt och kontextberoende. Använd individuell rättvisa som en designprincip som guidar val och tester av funktioner istället för en strikt matematisk begränsning.

Två plattformsfunktioner samlar in data för biasupptäckt. Einstein Trust Layer registrerar en generativ-AI-granskningskedja för varje Agentforce: uppmaningarna som skickas till modellen, de svar som returneras, de jordningskällor som används och Trust signaler som toxicitetsbetyg. Agentforce sessionsspårning registrerar det stegvisa resonemanget bakom varje beslut. Tillsammans tillhandahåller de data som stöder biasupptäckt och rättviseövervakning; tolkningen av dessa data är mänskligt arbete och kräver vanligtvis utbildade granskare och dedikerad tid.

Svarsloggning: Trust Layer loggar uppmaningar, modellsvar och Trust signaler för varje generativ interaktion. Använd dessa data för att analysera förutsägelsefördelningar över demografiska grupper. Bygg CRM Analytics-instrumentpaneler som jämför godkännanderesultat, rekommendationsmönster och riskbetyg efter kundsegment.

Förfrågan Trust Layer loggar regelbundet: Använd följande uppmaning: “Visa mig alla säljprojektförutsägelser med högt värde under de senaste 30 dagarna grupperade efter kundbransch, region och kontostorlek. Är förutsägelsefördelningar enhetliga över segment eller betygsätts vissa segment systematiskt högre/lägre?”

Resonemangsspårningsinsamling: För Agentforce registrerar Agentforce Sessionsspårning hur agenten fattade sitt beslut, medan granskningsloggen för Trust samlar in uppmaningar, svar och jordningskällor, inklusive vilka Knowledge och Salesforce-poster som hämtades. Gå igenom båda när användare rapporterar biasering för att förstå vilka datakällor, hämtningsmönster eller resonemangssteg som kan ha introducerat biasering.

Resonerande spårningar gör granskningar av rättvisa efter hoc mer detaljerade och enklare att utföra än de var med traditionella system. Testa 100 agentbeslut stratifierade efter demografisk grupp och låt granskare bedöma om kvaliteten på resonemanget är jämförbar mellan grupper.

Avvikelsedetektering: Konfigurera varningar när agenters beslutsmönster avviker avsevärt från baslinjen. Om godkännanderesultaten för ett specifikt kundsegment sjunker med 20 % vecka för vecka, utlös utredning. Plötsliga distributionsskift kan indikera Problem med datakvalitet, modelldrift eller framväxande biasering som kräver omedelbar uppmärksamhet.

Bygg egen övervakning för att varna om rättvisesignaler: “Meddela när Agentforce serviceagenters genomsnittliga konversationslängd för ett kundsegment överskrider 1,5 gånger det övergripande genomsnittet under tre dagar i följd.” Längdskillnader kan indikera att vissa grupper får mindre effektiv service.

Instrumentpanelmallar för rättvisa: Bygg återanvändbara CRM Analytics-instrumentpanelmallar som följer rättvisemått för vanliga agentanvändningsfall. Inkludera demografiska paritetsberäkningar, lika säljprojektmått, olika påverkanförhållanden och trenddiagram som visar måttutveckling över tid. Dela mallar mellan agentutvecklingsteam för att standardisera rättviseövervakning.

När biasering upptäcks, tillämpa begränsning i lämplig fas baserat på grundorsaken.

Förbehandla datainterventioner: Korrigera biasering på datanivå innan agentutbildning eller RAG-indexering. Översampla underrepresenterade demografiska grupper i utbildningsdata för att säkerställa balanserad representation. Syntetisera ytterligare data för underrepresenterade grupper med tekniker som Översamplingsteknik för syntetisk minoritet (SMOTE) när verkliga data är otillräckliga. Observera att SMOTE interpolerar numeriska funktioner i tabellform, så det gäller strukturerade CRM-utbildningsdata, inte den ostrukturerade texten som används för RAG-jordning.

Granska Salesforce CRM-data för demografiska luckor innan du använder dem för modellutbildning. Om historiska säljprojektdata överrepresenterar vissa kundtyper, balansera utbildningsuppsättningar eller använd provvikter som hindrar agenter från att lära sig överrepresentationen som en beslutssignal.

Begränsningar för bearbetningsalgoritmer: Tillämpa rättvisebegränsningar under modellutbildning som optimerar för både precision och rättvisa samtidigt. Detta kan minska den råa precisionen med 2-3 % och samtidigt dramatiskt förbättra rättvisan mellan grupper. Där du styr modellinlärning är rättvisebegränsad träning ofta den mest effektiva begränsningsmetoden.

För Agentforce agenter som använder grundmodeller där du inte kan ändra utbildning, begränsa agenters beteende genom systemuppmaningar: “Behandla alla kunders demografi med samma professionalism och detaljer. Ge förklaringar av jämförbar längd och kvalitet oavsett kundens kommunikationsstil eller bakgrund.”

Justering av tröskelvärde efter bearbetning: Där det är lagligt kan justering av beslutströsklar per demografisk grupp utjämna resultatresultaten efter modellutbildning. Till exempel kan en godkännandeagent tillämpa en förtroendetröskel på 80 % för en grupp och en tröskel på 75 % för en annan för att kompensera underliggande modellbiasering. Lagen mot diskriminering begränsar starkt denna teknik och vissa jurisdiktioner förbjuder den direkt för vissa beslut (se nedan).

Tröskeljusteringar är kontroversiella eftersom de uttryckligen behandlar grupper olika och eftersom antidiskrimineringslagar i många jurisdiktioner begränsar eller förbjuder dem. I USA är det direkt förbjudet att fatta sysselsättningsrelaterade beslut: Title VII (Civil Rights Act of 1964) staplar justering av betyg eller användning av olika cutoff-betyg efter skyddad klass, och ingen dokumenterad motivering gör praxis laglig. Andra jurisdiktioner har sina egna begränsningar, så bekräfta de regler som gäller för dina användare. Om förfarandet är tillåtet, dokumentera rättslig motivering vid tillämpning av koncernspecifika tröskelvärden och bekräfta att tröskelvärden förbättrar rättvisan utan att skapa andra diskriminerande effekter.

Upptäckt och borttagning av proxyfunktioner: Identifiera funktioner som korrelerar med skyddade egenskaper och fungerar som indirekta diskrimineringsmekanismer. Vanliga proxys inkluderar:
Postnummerproxy för ras, etnicitet och inkomstnivå
Namnmönster för kön och etnicitet
Kommunikationstidsproxy för religion och vårdansvar
Enhetstypproxy för inkomstnivå
Områdestilldelning kan ge uppskattningar för demografisk sammansättning

Beräkna korrelationskoefficienter mellan alla modellfunktioner och skyddade egenskaper. För mycket korrelerade funktioner, utvärdera om legitimt prediktivt värde motiverar inkludering eller om alternativa funktioner kan ge liknande förutsägelser utan proxyeffekter.

Agentforce agenter kan arbeta med mänsklig tillsyn som är utformad för att göra granskningar mer innehållsrika än nominella. Den lämpliga tillsynsnivån beror på beslutsinsatser, reversibilitet och regelkrav.

Dirigera följdbeslut genom mänsklig granskning innan utförande. Om ett beslut är tillräckligt högt för att motivera mänsklig granskning är en riskbaserad bedömning: väga allvarlighetsgraden för den potentiella skadan och sannolikheten för att denna skada ska inträffa. Konsekvensbeslut uppstår ofta inom reglerade områden som hälso- och sjukvård, finansiella tjänster och den offentliga sektorn, men de uppstår även utanför dem. Vanliga sammanhang med höga insatser inkluderar:

Anställningsbeslut - Anställning, befordran, uppsägning, kompensation, utvecklingssamtal
Kredit- och finanstjänster - Kreditgodkännanden, gränsändringar, kontoavslut, prissättning
Hälsovård - Diagnosförslag, behandlingsrekommendationer, täckningsbeslut
Juridiska rättigheter - Kontraktstolkning, tvistlösning, tillgång till tjänster
Boende - Hyresgästgranskning, hyresgodkännanden, vräkningsrekommendationer

Utforma Agentforce agenter i dessa sammanhang för att analysera, rekommendera och förbereda beslut samtidigt som mänskligt godkännande krävs innan de körs. Positionera agenter som verktyg för beslutsstöd som förstärker mänskligt omdöme, inte autonoma beslutsfattare som ersätter människor.

Konfigurera förtroendetrösklar som utlöser mänsklig granskning baserat på agentens osäkerhet:

Högt förtroende (>90 %) - Agenten fortsätter autonomt med fullständig granskningsloggning
Måttligt förtroende (70-90%) - Agent rekommenderar mänsklig granskning innan åtgärd
Lågt förtroende (<70 %) - Agenten är helt beroende av människan med sammanhangssammanfattning

Kalibrera trösklar med hjälp av produktionsdata. En “70% förtroende”-förutsägelse lyckas ungefär 70% av gångerna när den valideras. Miscalibrerade förtroendebetyg undergräver Trusten för omflyttningsmekanismer.

Testa kalibrering genom att samla agentbeslut vid varje förtroendeband och beräkna faktiska resultat. Om beslut med “högt förtroende” endast lyckas 75 % av gångerna, omkalibrera trösklar eller förbättra modellens förtroendeuppskattning.

Om Agentforce inte kan lösa en begäran inom definierade gränser, flytta om till människor. Kontrollera att omflyttningsdestinationen har kapacitet för hjälpdirigering till överbelastade köer inte minskar skadan.

Ange omflyttningsutlösare:

Konversationsvändningar – Efter 5-7 vändningar utan lösning, flytta om
Förfluten tid – Efter 10 minuter utan lösning, flytta om
Användarsentiment – När användare uttrycker frustration, flytta om
Upprepningsdetektering – Om agenten upprepar samma svar, flytta om

Konfigurera Omni-Channel för att dirigera omflyttade kundcase till lämpliga kompetensbaserade köer med fullständigt konversationssammanhang. Utbilda mänskliga agenter i att hantera omflyttningar effektivt utan att kräva att användare upprepar information som redan tillhandahållits agenten.

Låt auktoriserade användare åsidosätta Agentforces beslut när som helst med dokumenterade skäl. Åsidosättningar har flera syften:

Felkorrigering: Människor korrigerar agentmisstag som skulle skada användare eller bryta mot policyn. Åsidosättningskapacitet ger en säkerhetsventil för autonoma system som arbetar i komplexa miljöer där kantfall är oundvikliga.
Biasdetektering: Om människor åsidosätter Agentforce oftare för vissa demografiska faktorer än andra, undersök båda möjligheterna: Agenten kan systematiskt missgynna denna grupp och människor kan korrigera den, eller åsidosättare kan introducera ny biasering. Det första mönstret pekar mot att granska agenten, det andra till granskarutbildning.
Agentförbättring: Åsidosättningar med logik blir inlärningsdata för agentförbättring. Testa åsidosättna beslut och analysera varför människor inte höll med agenter. Införliva åsidosättningsmönster i snabb förfining eller omskolning av modeller.
Ansvarsskyldighet: Åsidosättningar tilldelar ansvarighet. Människan som åsidosätter ett agentbeslut tar ansvar för beslutets resultat. Tydlig ansvarighet förhindrar spridning av ansvar där alla antar att AI är ansvarig och ingen tar över ägarskapet.

Tilldela ansvarighet innan distribuering, inte efter att incidenter inträffar:

Modellägare: Datavetenskapens lead är ansvariga för modellrättvisa, precision och beteende. Godkänner distribueringar, svarar på rättvisevarningar, auktoriserar uppdateringar. Modellägaren är en namngiven individ som dokumenteras i poster för arkitekturbeslut.
Beslutsägare: Produktägare som är ansvariga för att välja att distribuera AI för specifika användningsfall och för verklig påverkan på kunder. Beslutsägaren kan inte delegera ansvar till AI-system.
Överklagandemyndighet: Etikprövningsnämnden eller det utsedda teamet hanterar överklaganden från användare som anser att agentbeslut är orättvisa. Överklagandeprocesser måste vara tillgängliga, snabba och bemyndigade att upphäva agentbeslut.
Revisionsmyndighet: Det efterlevnadsteam som utför periodiska granskningar av validerande agenter arbetar inom rättvisa parametrar och kan stänga av agenter som inte uppfyller standarderna i väntan på avhjälpande.

Dokumentera alla roller med namn, inte bara titlar, vilket säkerställer att ansvarighet kvarstår genom organisatoriska förändringar.

När Agentforce fattar beslut som påverkar användare förtjänar dessa användare förståeliga förklaringar som står i proportion till beslutets påverkan.

Arkitektera flera förklaringslager som servar olika målgrupper:

Förklaringar till användare: Klarspråksresonemang begripligt utan teknisk expertis. “Din servicebegäran kräver chefens godkännande eftersom det begärda beloppet (12 000 kr) överskrider din auktoriseringsgräns (10 000 kr). Chefsgodkännandet slutförs vanligtvis inom 24 timmar, eller inom ditt överenskomna servicenivåavtal (SLA).”
Verksamhetsförklaringar: Operativa användare ser viktiga beslutsfaktorer med verksamhetssammanhang. “Leadbetyg: 73/100. Primära positiva faktorer: Företagsstorlek (500 anställda), Aktivt engagemang på webbplatsen (12 besök på 30 dagar), Branschmatchning (SaaS). Primära negativa faktorer: Inget MQL-engagemang, Utanför målregionen.”
Tekniska förklaringar: Dataforskare ser modelldetaljer: funktionsvikter, förtroendekalibrering, modellversion, utbildningsdatum, indatadistributioner. Tekniska förklaringar har stöd för felsökning och biasundersökningar.
Revisionsförklaringar: Team för efterlevnad ser fullständiga beslutsspår: modellversion, exakta indatavärden vid beslut, alla datakällor som konsulterats, resonemangsspårning, konfigurationsstatus. Revisionsförklaringar stöder regelutredningar och rättviserevisioner som kräver noggrann rekonstruktion.

Agentforce Sessionsspårning registrerar det stegvisa resonemanget bakom agentbeslut, medan Einstein Trust Layer samlar in uppmaning-och-svar-granskningsloggen, inklusive jordningskällor. Tillsammans ger de dig transparens på lämpliga detaljnivåer:

Transparens i realtid: När Agentforce fattar ett beslut, visa sammanfattningsresonemang för användare: “Jag rekommenderade Produkt A baserat på din inköpshistorik (3 liknande inköp), aktuellt erbjudande (20% rabatt) och lagertillgänglighet (finns i lager, skickas imorgon).”
Detaljerad förklaring på begäran: Ange “Varför rekommenderade du detta?” länk som låter användare se fullständiga resonemang inklusive alla Knowledge som hämtats, Salesforce-poster som konsulterats och beslutslogik. Detaljerade förklaringar bygger Trust och låter användare identifiera fel eller biasering.
Historisk rekonstruktion: När användare utmanar tidigare beslut veckor eller månader senare, hämta sessionsresonemangsspår och granskningshistoriken i Trust Layer för att få en exakt förklaring av historiska beslut. Historisk rekonstruktion stöder överklaganden och regelutredningar.
Analys av aggregatmönster: Exempel på resonemangsspår stratifierade efter demografiska grupper för att analysera om beslutskvaliteten är enhetlig. Gå igenom 100 spår från varje kundsegment och bedöm om resonemangsdjup, källkvalitet och logik är jämförbara mellan grupper.

Visa förutsägelseförtroende i lämpliga termer för användare för att undvika råa sannolikhetsbetyg som användare misstolkar.

Istället för “73% förtroende”, kommunicera förtroende som:

Högt förtroende – “Jag är säker på att denna rekommendation är lämplig baserat på liknande kundcase”
Måttligt förtroende – “Denna rekommendation är troligen lämplig, men chefsgranskning rekommenderas”
Lågt förtroende – “Denna situation är ovanlig. Jag flyttar om till en specialist som kan ge bättre vägledning”

Förklara vad förtroendenivå innebär för pålitlighet: “Rekommendationer med högt förtroende är korrekta ungefär 95% av gångerna baserat på historisk validering.”

För beslut med måttligt eller lågt förtroende, förklara vilken ytterligare granskning som kommer att inträffa: “Eftersom denna begäran hamnar utanför våra standardparametrar kommer den att granskas av en senior specialist med godkännande som vanligtvis slutförs inom 24 timmar, eller inom ditt överenskomna servicenivåavtal (SLA).”

När det är lämpligt, visa användare vad som skulle ändra resultatet. Kontrafaktiska ger användare möjlighet att förbättra resultaten genom specifika åtgärder istället för att bara informera dem om beslut som redan har fattats.

Exempel: “Ditt leadbetyg skulle öka med verifierad anställningsinformation (+8 poäng) och ytterligare kreditreferenser (+5 poäng). Att tillhandahålla denna dokumentation skulle flytta ditt program till prioritetsgranskningskön.”

Kontrafaktiska är kraftfulla transparensmekanismer men kräver noggrann design. Undvik att tillhandahålla kontrafaktiska uppgifter som uppmuntrar till att spela systemet eller som oavsiktligen avslöjar skyddade egenskaper som beslutsfaktorer. “Din ansökan skulle få högre betyg om du var 10 år yngre” är olaglig diskriminering, inte hjälpsam öppenhet.

I vissa jurisdiktioner är tydligt avslöjande av att användare interagerar med en bot ett juridiskt krav, inte bara en rekommenderad metod för design. Ange tydligt när användare interagerar med Agentforce agenter istället för mänskliga agenter. Utlämnande måste vara framträdande och kontinuerligt, inte begravt i termer av service eller visas endast en gång vid interaktionsstart.

Visa bestående visuella indikatorer:

Agentavatar tydligt markerad som “AI-assistent”
Sidhuvud som visar “Du chattar med en Agentforce serviceagent”
Tillvalet “Anslut med mänsklig agent” synligt under hela konversationen

Utlämnande respekterar användarens självständighet och möjliggör informerade val om interaktionsläget. Användare som föredrar mänsklig interaktion måste ha detta alternativ utan friktion eller servicekvalitetspåföljder.

Salesforce Platform-funktioner som Händelseövervakning och Fältgranskningslogg, som är från innan agentisk AI, utökar algoritmisk ansvarighet till de beslut som enskilda agenter fattar.

Händelseövervakning för agentåtgärder: Händelseövervakning samlar in agentdataåtkomst, API-anrop och systemändringar med Salesforce-styrd integritet. Strömma händelseövervakningsloggar till externa SIEM för långsiktig lagring och manipulation som uppfyller lagstadgade krav för följdbeslut.

Konfigurera händelseövervakning för att följa:

API-händelseloggar som visar agentsysteminteraktioner
Inloggningshändelser för agentservicekonton
Rapportexporter när agenter får åtkomst till massdata
Fältgranskningslogg för AI-influerade data: Standardfälthistorik behåller dataändringar i 18 månader (24 månader via API). Fältgranskningslogg låter dig behålla fälthistorik tills vidare—arkivera den efter upp till 18 månader och sedan behålla arkiverade data tills du tar bort dem—stöder långsiktiga rättvisegranskningar och regelutredningar. Aktivera Fältgranskningslogg för de objekt som lagrar eller påverkas av agentbeslut, välj från standardobjekten som Fältgranskningslogg har stöd för plus egna objekt med fälthistorikspårning aktiverat (upp till 200 fält per objekt).

För kreditbeslut, anställningsbeslut och andra användningsfall med höga insatser kan flerårig lagring vara ett lagstadgat krav. Lagringsperioder varierar beroende på regim. Bekräfta det tillämpliga kravet för ditt användningsfall.

Sköldhändelseövervakning för högsta insatser: Shield Event Monitoring ger utökade granskningsmöjligheter med strukturerade händelsefält och integrering med rapporteringsverktyg för efterlevnad. Data i händelseloggfil behålls i ett år som standard för både händelseövervakning och Shield-kunder. Använd Shield för agentbeslut med högsta insats där granskningsloggens integritet är viktig.

Lagra tillräcklig information för att rekonstruera historiska agentbeslut exakt:

Modellversion: Registrera vilken modellversion (grundmodell, uppmaningsversion, finjusterat modell-ID) som fattade varje beslut. Modellversioner ändras ofta och producerar olika utdata. Exakt versionsspårning aktiverar grundorsaksanalys när biasering upptäcks.
Indatafunktionsvärden: Lagra exakta indatavärden vid beslut, inte aktuella värden som kan ha ändrats. Ögonblicksbilder av indata låter dig testa om ett beslut skulle vara annorlunda med aktuella data, eller bekräfta att det ursprungliga beslutet var korrekt med tanke på den information som fanns tillgänglig vid den tidpunkten.
Konfigurationsläge: Registrera trösklar, verksamhetsregler och parameterinställningar aktiva vid beslut. Konfigurationsändringar påverkar resultaten. Konfigurationshistorik gör det möjligt att avgöra om beslutsdrift återspeglar modelländringar eller konfigurationsändringar.
Miljösammanhang: Samla in relevant sammanhang: användaridentitet, tidsstämpel, konversationshistorik, sessionssammanhang. Sammanhanget påverkar agenters beteende och måste bevaras för korrekt rekonstruktion.

Detektering av biasering måste vara kontinuerlig, inte en engångsvalidering innan distribution. Agenter utvecklas genom snabba uppdateringar, ändringar av grundmodellversioner och skiftande datadistributioner.

Instrumentpaneler för rättvisemått: Bygg CRM Analytics-instrumentpaneler som följer rättvisemått från Einstein Trust Layer-loggar. Övervaka demografisk paritet, lika möjligheter och olika påverkanförhållanden kontinuerligt. Konfigurera varningar när mått bryter mot definierade tröskelvärden.

Skapa en instrumentpanel som visar:

Beslutsfördelning efter kunddemografiska segment (stapeldiagram)
Rättvisemått över tid (trendlinjer med varningströsklar)
Beräkningar av olika påverkanförhållanden med regelindikator för fyra femtedelar
Toppförutsägare som bidrar till beslut, där den underliggande modellen exponerar dem
Åsidosättningsresultat efter demografisk grupp
Distributionsskiftdetektering: Övervaka distributioner av agentinmatning för ändringar som indikerar potentiella rättviseproblem. Om den demografiska sammansättningen av användare som tar emot agentbeslut ändras avsevärt från att utbilda datademografi kan modellens rättvisa försämras.

Varna när indatadistributioner ändras: “Kundsegmentdistribution för Agentforce leaddirigering har förskjutits 15 % mot Enterprise under de senaste 30 dagarna. Gå igenom om dirigeringslogik förblir rättvis för små och medelstora företag som nu får olika servicemönster.”

Integrering av användarfeedback: Låt användare rapportera upplevt biasering genom tillgängliga mekanismer. Användarrapporter lyfter fram kvalitativa problem som kvantitativa mått missar.

Lägg till alternativet “Rapportera problem” i Agentforce chattgränssnitt. Dirigera rapporter till etikgranskningsnämnden med fullständigt konversationssammanhang. Följ rapporter i ett eget objekt med ett obligatoriskt undersökningsflöde och dokumenterad lösning.

Utforma agentarkitekturer som förutser externa granskningar av tillsynsmyndigheter, organisationer för medborgerliga rättigheter eller kunder som kräver demonstrationer av algoritmisk ansvarighet.

Exportkapacitet: Bygg exportfunktioner som gör det möjligt för efterlevnadsteam att extrahera fullständiga beslutsdatauppsättningar med demografisk stratifiering för extern granskning. Exportörer måste respektera dataskyddsföreskrifter samtidigt som de ger tillräcklig insyn för rättvis validering.
Revisionsdokumentation: Upprätthåll aktuell dokumentation:
Agentsyfte och avsedda användningsfall
Utbildning av datademografi och kända begränsningar
Rättvisemått beräknade före distribution och i produktion
Strategier för begränsning av biasering tillämpade
Konfigurationer för mänsklig tillsyn
Bevaka inflygnings- och varningströsklar
Ansvarstilldelningar (modellägare, beslutsägare, överklagandemyndighet)
Bedömningar av algoritmisk påverkan: Innan du distribuerar agenter som fattar följdbeslut, utför konsekvensbedömningar för att utvärdera potentiella positiva och negativa effekter för alla intressentgrupper. Konsekvensbedömningar visar tillbörlig aktsamhet och proaktiv riskhantering som värderas av tillsynsmyndigheterna.

Användare behåller meningsfull kontroll över hur Agentforce påverkar deras upplevelse.

Aktivitet för agenter som är konsekvensagenter: Agenter som fattar beslut som påverkar användare avsevärt kräver uttryckligt deltagande istället för att vara aktiva som standard. Agenter för kreditbeslut, agenter för anställningsscreening och agenter som har rätt till service aktiveras endast efter att användare har samtyckt, med en tydlig förståelse av hur agenten kommer att påverka dem.
Granulärt samtycke: Aktivera samtycke per agentanvändningsfall istället för generellt AI-samtycke. En kund kan samtycka till Agentforces serviceagenter medan de avböjer Agentforces försäljningsagenter. Arkitektur som har stöd för samtyckesspårning på användningsfallnivå är en indata; tester och periodisk granskning av tillämpningslogiken hjälper till att bekräfta att samtyckesgrindar gäller i praktiken.
Dynamiskt samtycke för nya kapaciteter: Vid distribuering av nya Agentforce kapaciteter som påverkar befintliga användare, sök proaktivt samtycke för nya användningsfall istället för att förlita dig på ursprungligt samtycke som inte övervägde specifika program. Varje väsentligt ny agentkapacitet som påverkar användare utlöser samtyckeskontroll med tydlig förklaring.
Återkallande av samtycke med omedelbar verkan: Låt användare dra tillbaka sitt samtycke när som helst med omedelbart upphörande av agentbearbetning. Att dra tillbaka samtycket måste vara lika enkelt som att bevilja det, utan att några supportkontakter eller byråkratiska processer krävs.

Inställningshantering: Låt användare konfigurera agentbeteende inom definierade gränser:
- Kommunikationsstil (koncis vs. detaljerade förklaringar)
- Proaktivitetsnivå (svara endast när du ombes vs. föreslå proaktivt)
- Preferens för omflyttning (föredrar AI-upplösning vs. föredrar mänsklig snabbt)

Lagra inställningar i egna fält för användarposter. Referensinställningar i agentsystemuppmaningar: “Användaren föredrar detaljerade förklaringar. Ge omfattande svar med stödjande resonemang.”

Human överlämning på begäran: Tillhandahåll alternativet “Anslut med mänsklig agent” genom Agentforce utan att kräva att användare slutför agentinteraktioner eller förklarar varför de föredrar människor.

Konfigurera dirigering för omedelbar avlämning: När användaren väljer “Mänsklig agent” dirigeras till Omni-Channel med fullständigt konversationssammanhang och prioritetsflagg som indikerar användarpreferens. Inga försämrade service- eller väntetidsstraff gäller för att välja mänsklig interaktion.

Indikatorer för öppenhet: Markera tydligt agentinteraktioner med beständiga visuella indikatorer som låter användare behålla medvetenheten om interaktionsläget. Användare som glömmer att de interagerar med agenter kan ha orealistiska förväntningar eller uppfatta bedrägeri när begränsningar visas.

Utforma agenter som producerar rättvisa resultat över skyddade demografiska grupper genom avsiktliga arkitektoniska val.

Agenter som fattar följdbeslut får inte diskriminera på grund av skyddade egenskaper (inklusive ras, kön, ålder, funktionshinder, religion, nationellt ursprung eller sexuell läggning) om det inte är lagligt motiverat av specifika skäl, t.ex. funktionshinder.

Funktionsgranskning: Gå igenom alla datakällor som används i agentresonemang för skyddat karakteristiskt innehåll. CRM-data, Data 360-segment och Knowledge kan innehålla demografisk information som agenter inte bör överväga för vissa beslut.

Ta bort eller maskera skyddade egenskaper från agentinmatningar om dessa egenskaper inte är juridiskt motiverade för beslutstypen. För kreditbeslut, uteslut funktionshinderstatus, eftersom det är irrelevant. För begäranden om handikappboende är funktionshinderstatus grundläggande och måste inkluderas.

Uppmaningsteknik för icke-diskriminering: Inkludera uttryckliga instruktioner för icke-diskriminering i agentsystemuppmaningar:

“Du är en kundserviceagent. Behandla alla kunder med samma professionalism oavsett namn, plats, kommunikationsstil eller andra egenskaper. Ge rekommendationer av samma kvalitet och detaljer till alla kunder. Gör aldrig antaganden om kunder baserat på demografiska egenskaper.”

Test med demografiska personas: Innan produktionsdistribuering, testa agenter med olika personas som representerar skyddade grupper. Skapa identiska begäranden som endast varierar demografiska signaler (inklusive namn som antyder olika etniciteter, platser som antyder olika regioner och kommunikationsstilar som antyder olika utbildningsnivåer).

Jämför agentsvar mellan personas för kvalitet, längd, professionalism och resultat. Skillnader indikerar biasering som kräver begränsning.

Övervaka Agentforces servicekvalitet över hela kunddemografin för att säkerställa jämförbara upplevelser:

Lösningsresultat efter segment: Beräkna lösningsresultat för första kontakt stratifierade efter kundsegment. Om Enterprise-kunder uppnår 75 % lösning medan SMB-kunder uppnår 55 % lösning, undersök om Knowledge, agentutbildning eller produktkapacitet skiljer sig åt mellan segment.
Svarskvalitet efter segment: Testa agentkonversationer mellan segment och låt granskare bedöma svarskvaliteten på enhetliga dimensioner: precision, fullständighet, professionalism, hjälpsamhet. Tester av interbedömares pålitlighet säkerställer att granskare tillämpar enhetliga standarder.
Omflyttningshastighet efter segment: Följ hur ofta agenter flyttas om till människor stratifierade efter kunders demografi. Högre omflyttningshastigheter för vissa segment indikerar att agenter är mindre effektiva för dessa användare, vilket skapar skillnader i servicekvalitet.
Nöjdhet efter segment: Undersök användare från alla demografiska grupper och jämför nöjdhetsbetyg. Övergripande hög nöjdhet kan maskera dåliga upplevelser för minoritetsgrupper som överröstas av majoritetsnöjdhet.

Agentforces gränssnitt måste vara tillgängliga för användare med funktionshinder som uppfyller WCAG 2.2 AA-standarder. Se komponent- och mönsterbiblioteken i Salesforce Lightning Design System för återanvändbara, tillgängliga Agentforce-komponenter och designmönster. Dessa mönster gör agentupplevelser tillgängliga, enhetliga och lärorika.

Kompatibilitet för skärmläsare: Lightning som tillhandahåller Agentforce inkluderar grundläggande tillgänglighet när de används som de ska. Egna chattimplementeringar kräver manuell tillgänglighetsimplementering:
Semantisk HTML-struktur med lämpliga landmärken
Liveregioner i ARIA meddelar nya meddelanden
Tangentbordsnavigering genom meddelandehistorik
Tydliga fokusindikatorer på interaktiva element

Testa med hjälpmedelsteknik för JAWS, NVDA och VoiceOver-skärmläsare under hela utvecklingen, inte bara automatiserad skanning.

Kognitiv tillgänglighet: Agentsvar använder enkelt språk för allmänna målgrupper. Undvik jargong och tillhandahåll ordlistor för oundvikliga tekniska termer. Strukturera långa svar med rubriker och använd punktlistor eller numrerade listor för att underlätta förståelsen där det är lämpligt.
Språkrättvisa: Agentforce har stöd för flera språk genom flerspråkiga funktioner för grundmodeller. Validera svarskvalitet är jämförbar mellan språk genom utvärdering av infödda talare, inte bara automatiserade mått som missar kulturella nyanser.

För affärskritiska användningsfall som servar olika språkpopulationer, konfigurera språkspecifik hantering (språkvariabler, lokaliserade uppmaningar och Knowledge efter språk) och validera kvalitet per språk istället för att enbart förlita dig på korsspråklig överföring av grundmodeller, vilket kan ge sämre kvalitet för språk med lägre resursnivå.

Implementera rättvisa för Agentforce i faser i linje med agentdistributionens mognad.

Fas 1: Stiftelse (innan några produktionsagenter)

Inrätta etikprövningsnämnd med tillsynsmyndighet
Dokumentansvarstilldelningar (modellägare, beslutsägare, överklagandemyndighet)
Aktivera granskningsinsamling för Einstein Trust Layer
Konfigurera händelseövervakning för agentåtgärder
Skapa grundläggande instrumentpaneler för rättviseövervakning i CRM Analytics
Definiera obligatoriska distributionsgrindar: datagranskning, rättvisemått, konsekvensbedömning

Fas 2: Första produktionsagent

Utför omfattande konsekvensbedömningar för användningsfall
Granskningsutbildning/RAG-data för demografisk representation
Beräkna rättvisemått över demografiska grupper
Implementera mänskligt tillsynsmönster (human-in-the-loop, förtroendeomflyttning eller tidsbegränsat)
Konfigurera rapporteringsmekanism för biasering för användare
Dokumentmodellversion, konfiguration och metod för beslutsrekonstruktion

Fas 3: Kontinuerlig övervakning

Bevaka instrumentpaneler för rättvisa varje vecka, undersök tröskelöverträdelser inom 24 timmar (eller din organisations överenskomna svarsserviceavtal)
Utför månatliga åsidosättningsmönsteranalyser för att identifiera systematiska problem
Granska rapporter om användarbiasering varje vecka med dokumenterade undersökningsresultat
Utföra kvartalsvisa omfattande rättviserevisioner för agenter med höga insatser
Uppdatera dokumentation när agenter utvecklas genom snabba uppdateringar eller modelländringar

Fas 4: Skalning och styrning

Skapa återanvändbara instrumentpanelmallar för rättvisa för vanliga agenttyper
Bygg verktyg för rekonstruktion av agentbeslut som möjliggör självbetjäning för efterlevnadsteam
Standardisera mönster för samtyckeshantering för alla nya agenter
Implementera automatiserade rättviseregressionstester i CI/CD-pipeline
Schemalägg halvårsvisa externa rättviserevisioner av tredje part
Upprätthålla tillsyn och anpassa sig till aktiva och framväxande skyldigheter, inklusive EU:s AI-lag (infasning fram till 2025–2027), statliga lagar och sektorsförordningar

Rättvisa är en central arkitektonisk fråga för agentsystem på Salesforce Platform. Organisationer som utformar Agentforce med rättvisa som en förstklassig arkitektonisk angelägenhet placerar sig över lagstadgade krav samtidigt som de bygger lösningar som alla användare kan Trust och använda effektivt. Plattformskapaciteten finns. Frågan är om arkitekter kommer att använda dem.

Dela din feedback om det välarkitektoniska ramverket.