Detección de imparcialidad y sesgo de IA: patrones agentes
Obtenga más información acerca de la equidad bien arquitectónica → Equidad de negocio
Patrones
| Dónde buscar | Qué aspecto tiene |
|---|---|
| Agentforce | Configuración de agente | ✅ Pruebe agentes sistemáticamente para sesgos demográficos utilizando diversas personas que representan grupos protegidos; genere solicitudes idénticas variando solo señales demográficas como nombres, ubicaciones o estilos de comunicación |
| Data 360 | Segmentos de datos | ✅ Antes de utilizar datos de Salesforce para la capacitación de agentes o la fundamentación de RAG, audite la representación demográfica e identifique grupos insuficientemente representados |
| Data 360 | Base de datos de Knowledge | ✅ Auditar bases de Knowledge y orígenes de recuperación para el equilibrio demográfico; garantizar que la calidad, integridad y precisión de la documentación son comparables entre todos los segmentos de clientes |
| Agentforce | Monitoreo de agentes | ✅ Monitorear interacciones de agentes entre grupos demográficos para coherencia de comportamiento; analizar longitud de respuesta, nivel de detalle, marcadores de cortesía y calidad de soluciones estratificados por características de usuario |
| Agentforce | Monitoreo de agentes | ✅ Detectar bucles de comentarios monitoreando cambios de distribución de decisiones a lo largo del tiempo; interrumpir bucles a través de la revisión humana de casos extremos y el reequilibrio periódico |
| Data 360 | Datos de entrenamiento | ✅ Muestra de grupos demográficos insuficientemente representados en datos de capacitación garantizando una representación equilibrada; sintetizar datos adicionales utilizando técnicas como SMOTE cuando los datos reales son insuficientes |
| Agentforce | Plantilla de solicitud | ✅ Restringir el comportamiento de agentes a través de solicitudes del sistema: “Trate todos los datos demográficos de clientes con la misma profesionalidad y detalle. Proporcione explicaciones de longitud y calidad comparables independientemente del estilo de comunicación del cliente o la formación”. |
| Einstein | Modelo de predicción | ✅ Calcular coeficientes de correlación entre todas las funciones del modelo y características protegidas; evaluar si el valor predictivo legítimo justifica la inclusión de funciones altamente correlacionadas |
| Einstein | Modelo de predicción | ✅ Identificar y eliminar funciones de proxy que se correlacionan con características protegidas (proxies de código postal para raza, proxy de patrones de nombre para género/etnia, proxies de tiempo de comunicación para religión/crédito, proxies de tipo de dispositivo para ingresos, proxies de asignación de territorios para composición demográfica) |
Antipatrones
| Dónde buscar | Aspecto negativo |
|---|---|
| Data 360 | Datos de entrenamiento | ⚠️ Uso de datos históricos de CRM para la capacitación de agentes sin auditar la representación demográfica, permitiendo que el sesgo algorítmico componga el sesgo humano |
| Agentforce | Configuración de agente | ⚠️ Implementación de agentes sin pruebas de sesgo demográfico sistemáticas entre diversas personas que representan grupos protegidos |
| Data 360 | Base de datos de Knowledge | ⚠️ Proporcionar artículos Knowledge detallados para clientes de negocio pero solo respuestas genéricas para clientes de pequeños negocios, perpetuando las disparidades de calidad del servicio |
| Agentforce | Monitoreo de agentes | ⚠️ Permitir a los agentes adaptar el comportamiento basándose en señales conversacionales que se correlacionan con características protegidas (estilo de comunicación, complejidad de lenguaje, patrones de tiempo) sin monitorear |
| Einstein | Modelo de predicción | ⚠️ Incluir funciones proxy (código postal, patrones de nombre, tipo de dispositivo) en modelos de decisiones posteriores sin evaluar la correlación con características protegidas |
| Agentforce | Configuración de agente | ⚠️ Permitir bucles de comentarios donde las decisiones de agentes crean la disparidad que justifica decisiones adversas futuras (por ejemplo, enrutar agentes reduciendo oportunidades a ciertos territorios, generar menos datos de éxito, reducir aún más el éxito predicho) |
| Data 360 | Segmentos de datos | ⚠️ Valor predeterminado de referencias de cultura mayoritaria en ejemplos de contenido que alienan usuarios insuficientemente representados |
Patrones
| Dónde buscar | Qué aspecto tiene |
|---|---|
| Agentforce | Monitoreo de agentes | ✅ Registrar entradas y salidas completas para cada agente en una cadena de orquestación de modo que el sesgo en un resultado final pueda rastrearse hacia atrás a la etapa que lo introdujo y donde se produjo la amplificación |
| Plataforma | CRM Analytics | ✅ Construya tableros mostrando distribuciones de decisiones en cada etapa de orquestación desglosadas por datos demográficos para identificar en qué parte de la cadena surgen o se amplían disparidades |
| Plataforma | CRM Analytics | ✅ Calcule la paridad demográfica, la igualdad de oportunidades y el impacto dispar en cada etapa de la cadena, no solo en el resultado final; las mediciones por etapas captan la composición que parece aceptable en cualquier etapa pero se degrada en toda la cadena |
| Agentforce | Configuración de modelo | ✅ Maximice la diversidad entre agentes en patrones de consenso para reducir errores correlacionados: diferentes modelos de base donde sea factible (como a través de configuraciones LLM propias), diferentes orígenes de recuperación, diferentes enfoques de solicitudes y diferentes calibraciones de umbral de confianza |
| Agentforce | Configuración de agente | ✅ Insertar revisión humana en puntos de inflexión de orquestación donde una etapa restringe significativamente las opciones posteriores, incluso cuando la confianza de agentes individuales es alta, porque la orquestación crea efectos emergentes que los puntuajes de confianza por agente no capturan |
| Agentforce | Configuración de agente | ✅ Configurar disyuntores de orquestación que se detienen y se distribuyen a un humano cuando la confianza de cualquier agente cae por debajo del umbral, la distribución de resultados cambia significativamente entre etapas, la cadena encuentra datos no representados en la capacitación o validación o el usuario impugna una decisión intermedia |
Antipatrones
| Dónde buscar | Aspecto negativo |
|---|---|
| Agentforce | Monitoreo de agentes | ⚠️ Ejecución de cadenas de orquestación sin registrar las entradas y salidas de cada agente, lo que hace imposible rastrear qué etapa introdujo sesgo cuando aflora un resultado discriminatorio |
| Agentforce | Configuración de modelo | ⚠️ Tratar el consenso de múltiples agentes como corrección de sesgo cuando todos los agentes comparten el mismo modelo de base o datos de entrenamiento, de modo que el acuerdo solo valida el sesgo compartido en vez de corregirlo |
| Plataforma | CRM Analytics | ⚠️ Medición de la equidad solo en el resultado final de la orquestación, faltando composición por etapas donde cada etapa parece aceptable por separado pero la cadena se compone de una disparidad inaceptable |
| Agentforce | Configuración de agente | ⚠️ Apoyarse en puntuajes de confianza de agentes individuales para dirigir una cadena de orquestación sin insertar revisión humana en puntos de inflexión donde una etapa restringe opciones descendentes |
| Agentforce | Configuración de agente | ⚠️ Permitir que una cadena de orquestación continúe sin disyuntor cuando un agente ascendente tiene poca confianza, las distribuciones cambian entre etapas o la cadena encuentra datos fuera de sus conjuntos de entrenamiento y validación |
Patrones
| Dónde buscar | Qué aspecto tiene |
|---|---|
| Negocio | Puerta de implementación | ✅ Hacer que la evaluación de equidad sea un equivalente de puerta de implementación obligatorio en autoridad a la revisión de seguridad antes de implementar cualquier agente que tome decisiones consiguientes |
| Einstein | Modelo de predicción | ✅ Calcule la paridad demográfica dividiendo la población en segmentos demográficos, midiendo índices de resultados positivos por segmento y comparando índices entre segmentos |
| Einstein | Modelo de predicción | ✅ Garantizar la igualdad de oportunidades verificando que los agentes identifiquen personas cualificadas igualmente bien independientemente de las características demográficas; verificar que las tasas positivas verdaderas son comparables entre grupos |
| Einstein | Modelo de predicción | ✅ Aplique la regla de las cuatro quintas partes: si algún grupo recibe resultados positivos a menos del 80% de la tasa del grupo de mayor desempeño, investigar si hay sesgo |
| Einstein | Modelo de predicción | ✅ Calcular índices de impacto dispares para todas las decisiones de agentes posteriores y documentar resultados de investigación cuando los índices caen por debajo del 80% |
| Negocio | Documentación | ✅ Documento cuando las infracciones de paridad demográfica reflejan factores de negocio legítimos en vez de discriminación |
| Negocio | Revisión legal | ✅ Consulte a un asesor legal cuando implemente posibilidades igualadas a través de umbrales específicos de grupos, señalando que en los Estados Unidos, ajustar puntuajes o límites por clase protegida para decisiones relacionadas con el empleo está prohibido bajo el Título VII (Ley de Derechos Civiles de 1991), y que otras jurisdicciones imponen sus propias restricciones |
Antipatrones
| Dónde buscar | Aspecto negativo |
|---|---|
| Negocio | Puerta de implementación | ⚠️ Implementación de agentes que toman decisiones consecuentes sin calcular mediciones de equidad entre grupos demográficos |
| Einstein | Modelo de predicción | ⚠️ Faltan sistemáticamente candidatos cualificados de grupos insuficientemente representados estableciendo umbrales de pruebas más altos para esos grupos que para los grupos mayoritarios |
| Einstein | Modelo de predicción | ⚠️ Implementar umbrales específicos de grupos sin justificación legal o validación de que los umbrales mejoran la equidad sin crear otros efectos discriminatorios, o, en los Estados Unidos, implementarlos para decisiones relacionadas con el empleo en absoluto, donde el Título VII prohíbe ajustar puntuajes o límites por clase protegida |
| Negocio | Documentación | ⚠️ No documentar cuándo las infracciones de mediciones de equidad reflejan diferencias de negocio legítimas frente a discriminación |
Patrones
| Dónde buscar | Qué aspecto tiene |
|---|---|
| Einstein | Capa de Trust | ✅ Utilice datos de auditoría de Trust Layer para analizar distribuciones de respuestas entre grupos demográficos; cree tableros de CRM Analytics comparando índices de aprobación, patrones de recomendación y puntuajes de riesgo por segmento de cliente |
| Einstein | Capa de Trust | ✅ Query Trust Layer registra regularmente: muestran todas las predicciones de alto valor agrupadas por industria de clientes, región y tamaño de cuenta para verificar que las distribuciones de predicciones son coherentes entre segmentos |
| Agentforce | Rastreo de sesiones | ✅ Muestra de 100 decisiones de agentes estratificadas por grupo demográfico y hacer que los revisores evalúen si la calidad del razonamiento es comparable entre grupos utilizando trazas de razonamiento de Rastreo de sesiones Agentforce |
| Plataforma | CRM Analytics | ✅ Configurar alertas cuando los patrones de decisiones de agentes se desvían significativamente de la línea base (por ejemplo, los índices de aprobación para un segmento específico caen un 20% semana tras semana) |
| Plataforma | CRM Analytics | ✅ Construya monitoreo personalizado para alertar sobre señales de equidad: “Notificar cuando la longitud media de la plática para cualquier segmento de cliente supera 1,5 veces la media general para tres días consecutivos” |
| Plataforma | CRM Analytics | ✅ Cree plantillas de tableros de CRM Analytics reutilizables que realizan un seguimiento de mediciones de equidad para casos de uso de agentes comunes incluyendo paridad demográfica, igualdad de oportunidades, índices de impacto dispares y gráficos de tendencias |
Antipatrones
| Dónde buscar | Aspecto negativo |
|---|---|
| Agentforce | Rastreo de sesiones | ⚠️ Ignorar las trazas de razonamiento de Rastreo de sesiones Agentforce y el seguimiento de auditoría de Trust Layer cuando los usuarios reportan sesgo, faltando qué pasos de razonamiento, orígenes de datos o patrones de recuperación introdujeron el sesgo |
| Plataforma | CRM Analytics | ⚠️ Fallo al configurar alertas de detección de anomalías para señales de equidad, permitiendo que los turnos de distribución repentinos pasen desapercibidos |
| Plataforma | CRM Analytics | ⚠️ Crear tableros de equidad ad-hoc por equipo en vez de compartir plantillas reutilizables estandarizando el monitoreo de equidad |
Patrones
| Dónde buscar | Qué aspecto tiene |
|---|---|
| Agentforce | Configuración de agente | ✅ Diseñar agentes para decisiones de alto riesgo (empleo, crédito, cuidados sanitarios, legales, vivienda) para analizar, recomendar y preparar decisiones mientras se requiere la aprobación humana antes de la ejecución |
| Plataforma | Proceso de aprobación | ✅ Configurar Agentforce para generar recomendaciones con pruebas de apoyo, enrutar decisiones por encima del umbral a revisores humanos a través del Proceso de aprobación y aflorar rastros de razonamiento de agentes en la interfaz de aprobación |
| Agentforce | Configuración de agente | ✅ Implementar distribución basada en confianza: alta confianza (>90%) procede de forma autónoma, moderada (70-90%) requiere revisión humana, baja (<70%) se aplaza completamente a humano con resumen de contexto |
| Agentforce | Configuración de agente | ✅ Calibrar umbrales de confianza utilizando datos de producción; muestrear decisiones de agentes en cada banda de confianza y calcular índices de éxito reales para validar la calibración |
| Agentforce | Configuración de agente | ✅ Establezca desencadenadores de distribución limitados en el tiempo: después de 5-7 turnos sin resolución, después de 10 minutos transcurridos, cuando el usuario expresa frustración o cuando el agente repite la misma respuesta |
| Plataforma | OmniCanal | ✅ Configurar OmniCanal para enrutar casos distribuidos a colas basadas en habilidades apropiadas con contexto de plática completo; capacitar agentes humanos para gestionar distribuciones sin requerir que los usuarios repitan información |
| Agentforce | ES | ✅ Proporcionar una opción “Conectar con agente humano” en las interfaces de chat de agentes en todo momento, sin pasar por un número mínimo de interacciones fallidas |
| Agentforce | Configuración de agente | ✅ Permita a los humanos autorizados sustituir cualquier decisión de agente en cualquier punto con justificación documentada; agregue el botón “Sustituir agente” a todas las interfaces de decisiones de agentes que requieren explicaciones de texto de múltiples líneas |
| Plataforma | Objeto personalizado | ✅ Registrar sustituciones en objetos personalizados con Id. de decisión, marca de tiempo de sustitución, justificación y anulación; crear patrones de sustitución de seguimiento de tableros de CRM Analytics por agente, tipo de decisión y datos demográficos de clientes |
| Negocio | Documentación | ✅ Requerir justificación documentada para aprobaciones o denegaciones que difieren de la recomendación de agentes; realizar un seguimiento de patrones de sustitución para identificar deficiencias sistemáticas de agentes |
Antipatrones
| Dónde buscar | Aspecto negativo |
|---|---|
| Agentforce | Configuración de agente | ⚠️ Implementación de agentes como tomadores de decisiones autónomos para decisiones de alto riesgo (empleo, crédito, cuidados sanitarios, legales, vivienda) sin puertas de aprobación humana |
| Agentforce | Configuración de agente | ⚠️ Uso de puntuajes de confianza mal calibrados donde las decisiones de “alta confianza” solo tienen éxito el 75% de las veces, socavando Trust en mecanismos de distribución |
| Agentforce | Configuración de agente | ⚠️ Atrapando clientes en bucles automatizados inútiles sin distribución limitada por tiempo o por turnos para humanos |
| Plataforma | OmniCanal | ⚠️ Enrutamiento de casos distribuidos sin contexto de plática completo, obligando a los usuarios a repetir la información ya proporcionada al agente |
| Negocios | Gobernanza | ⚠️ Permitir la difusión de la responsabilidad donde todos asumen que la IA es responsable y nadie asume la propiedad de las decisiones |
| Negocios | Gobernanza | ⚠️ Asignación de responsabilidad después de que se produzcan incidentes en vez de antes de la implementación con personas nombradas documentadas en registros de decisiones de arquitectura |
Patrones
| Dónde buscar | Qué aspecto tiene |
|---|---|
| Negocio | Documentación | ✅ Asigne responsabilidades antes de la implementación: propietario del modelo (equidad/precisión), propietario de la decisión (caso de uso/impacto), autoridad de apelación (recursos de equidad), autoridad de auditoría (auditorías periódicas) |
| Negocio | Documentación | ✅ Documentar todas las funciones de rendición de cuentas con nombres, no solo títulos, garantizando que la rendición de cuentas persiste a través de cambios organizativos |
| Negocios | Gobernanza | ✅ Potencie la autoridad de apelación (junta de revisión de ética o equipo designado) para gestionar apelaciones de usuarios que creen que las decisiones de agentes fueron injustas con procesos accesibles y oportunos que pueden revertir decisiones de agentes |
| Negocios | Gobernanza | ✅ Autorizar a la autoridad de auditoría (equipo de cumplimiento) a realizar auditorías periódicas y suspender agentes que incumplen las normas de equidad pendientes de solución |
| Negocios | Gobernanza | ✅ Programar una revisión mensual de patrones de sustitución de alta frecuencia con el equipo de desarrollo de agentes |
Antipatrones
| Dónde buscar | Aspecto negativo |
|---|---|
| Negocios | Gobernanza | ⚠️ Documentación de funciones de rendición de cuentas solo con títulos (por ejemplo, “Prospecto de ciencia de datos”) sin personas nombradas, permitiendo que la rendición de cuentas desaparezca durante cambios organizativos |
| Negocios | Gobernanza | ⚠️ Permitir a los propietarios de decisiones delegar la rendición de cuentas en sistemas de IA en vez de mantener la rendición de cuentas personal por impacto real |
| Negocios | Gobernanza | ⚠️ Hacer que los procesos de apelación sean inaccesibles, intempestivos o carezcan de autoridad para revertir decisiones de agentes |
Patrones
| Dónde buscar | Qué aspecto tiene |
|---|---|
| Agentforce | Configuración de agente | ✅ Arquitecto de múltiples capas de explicación: de cara al usuario (lenguaje sin formato), de negocio (factores clave de decisión), técnicos (detalles de modelo/ponderaciones de funciones) y de auditoría (seguimientos de decisiones completos) |
| Agentforce | Configuración de agente | ✅ Muestre razonamientos de resumen en tiempo real al tomar decisiones: “Recomendé Producto A basándose en su historial de compras (3 compras similares), promoción actual (20% de descuento) y disponibilidad de inventario” |
| Agentforce | Configuración de agente | ✅ Proporcione “¿Por qué recomendó esto?” vínculo que permite a los usuarios ver el razonamiento completo incluyendo todos los artículos Knowledge recuperados, registros consultados y lógica de decisiones |
| Agentforce | Rastreo de sesiones | ✅ Recuperar trazas de razonamiento desde Rastreo de sesiones Agentforce para la reconstrucción histórica cuando los usuarios desafían decisiones pasadas semanas o meses después |
| Agentforce | Rastreo de sesiones | ✅ Rastreo de sesiones Agentforce estratificado por grupos demográficos para analizar si la calidad de las decisiones es coherente; revise 100 rastreos de cada segmento de clientes |
| Agentforce | Configuración de agente | ✅ Comunicar confianza en términos apropiados para el usuario: “Alta confianza” / “Confianza moderada” / “Baja confianza” con contexto de fiabilidad de lenguaje sin formato en vez de puntuajes de probabilidad sin procesar |
| Agentforce | Configuración de agente | ✅ Para decisiones de confianza moderada o baja, explique qué revisión adicional se producirá y la cronología esperada |
| Agentforce | Configuración de agente | ✅ Proporcione explicaciones contrafácticas mostrando a los usuarios qué cambiaría el resultado: “Su puntuaje de prospectos aumentaría con información de empleo verificada (+8 puntos)” |
Antipatrones
| Dónde buscar | Aspecto negativo |
|---|---|
| Agentforce | Configuración de agente | ⚠️ Visualización de puntuajes de probabilidad sin procesar (por ejemplo, “73% de confianza”) que los usuarios interpretan mal en vez de lenguaje de confianza apropiado para el usuario |
| Agentforce | Configuración de agente | ⚠️ Proporcionar contrafactuals que fomenten el juego del sistema o revelen inadvertidamente características protegidas como factores de decisión (por ejemplo, “Su aplicación tendría un puntuaje superior si tuviera 10 años menos”) |
| Agentforce | Configuración de agente | ⚠️ Proporcionar solo un nivel de explicación que no sirve ni a los usuarios finales (demasiado técnico) ni a los auditores (demasiado simplificado) |
| Agentforce | Configuración de agente | ⚠️ Fallo en el almacenamiento de huellas de razonamientos históricos, lo que hace imposible explicar decisiones pasadas cuando se impugna |
Patrones
| Dónde buscar | Qué aspecto tiene |
|---|---|
| Agentforce | Configuración de agente | ✅ Indicar claramente cuándo interactúan los usuarios con agentes Agentforce con revelación continua destacada (no enterrada en términos de servicio o mostrada solo una vez al inicio de la interacción) |
| Agentforce | Configuración de agente | ✅ Mostrar indicadores visuales persistentes: avatar de agente marcado como “Asistente de IA”, encabezado mostrando “Está chateando con un Agente de servicio Agentforce” y la opción visible “Conectar con agente humano” durante toda la plática |
| Agentforce | Configuración de agente | ✅ Garantizar que los usuarios que prefieren la interacción humana pueden cambiar sin fricciones o penalizaciones de calidad de servicio |
Antipatrones
| Dónde buscar | Aspecto negativo |
|---|---|
| Agentforce | Configuración de agente | ⚠️ Enterrar revelación de IA en términos de servicio o mostrarla solo una vez al inicio de la interacción en vez de mantener indicadores visuales persistentes |
| Agentforce | Configuración de agente | ⚠️ Penalización de usuarios que eligen la interacción humana con un servicio degradado o tiempos de espera aumentados |
| Agentforce | Configuración de agente | ⚠️ Ocultar la opción “Conectar con agente humano” o requerir a los usuarios completar interacciones de agentes antes de acceder a asistencia humana |
Patrones
| Dónde buscar | Qué aspecto tiene |
|---|---|
| Plataforma | Monitoreo de eventos | ✅ Configurar Monitoreo de eventos para realizar un seguimiento de: Registros de eventos de API que muestran interacciones del sistema de agentes, eventos de inicio de sesión para cuentas de servicio de agentes y exportaciones de reportes cuando los agentes acceden a datos masivos |
| Plataforma | Monitoreo de eventos | ✅ Registros de Monitoreo de eventos de transmisión en SIEM externo para la retención a largo plazo y manipular pruebas que cumplen los requisitos normativos |
| Plataforma | Seguimiento de auditoría de campo | ✅ Active Seguimiento de auditoría de campo (retención indefinida de historial archivado) en los objetos que almacenan o están influenciados por decisiones de agentes, seleccionando entre los objetos estándar que admite además de objetos personalizados con seguimiento de historial de campo activado; clave para casos de uso de crédito, empleo y otros casos de alto riesgo |
| Plataforma | Shield | ✅ Utilice Monitoreo de eventos Shield para decisiones de agentes de mayor riesgo donde la integridad del seguimiento de auditoría es crítica (capacidades mejoradas, campos de eventos estructurados, integración de reportes de cumplimiento) |
| Plataforma | Objeto personalizado | ✅ Crear el almacenamiento de objetos personalizados AgentDecision__c: Decision_ID, Marca de tiempo, Tipo_agente, Versión_modelo, Puntuaje_confianza, Resultado, User_ID, Record_ID; con el objeto de fusión DecisionInput__c vinculando decisiones a instantáneas de funciones de entrada |
| Plataforma | Objeto personalizado | ✅ Almacenar valores de función de entrada exactos en el momento de la decisión (no valores actuales que pueden cambiar) para permitir probar si las decisiones diferirían con datos actualizados |
| Negocio | Documentación | ✅ Versión de modelo de registro, estado de configuración (umbrales, reglas de negocio, parámetros) y contexto medioambiental (identidad de usuario, marca de tiempo, historial de plática) para cada decisión resultante |
| Plataforma | LWC | ✅ Construir la integración de componentes LWC en registros para mostrar el historial de decisiones con vínculos “Ver razonamiento” |
Antipatrones
| Dónde buscar | Aspecto negativo |
|---|---|
| Plataforma | Seguimiento de auditoría de campo | ⚠️ Confianza en el historial de campos estándar (retención de 18 meses) para decisiones de alto riesgo que requieren retención regulatoria de varios años |
| Plataforma | Objeto personalizado | ⚠️ Almacenamiento solo de valores de registro actuales en vez de instantáneas de entrada de tiempo de decisión, imposibilitando la reconstrucción de decisiones históricas con precisión |
| Negocio | Documentación | ⚠️ Fallo al registrar la versión del modelo y el estado de configuración activos en el momento de la decisión, haciendo imposible el análisis de causa raíz cuando se descubre el sesgo |
| Plataforma | Monitoreo de eventos | ⚠️ Mantener registros de auditoría solo en Salesforce sin transmisión SIEM externa, sin pruebas de manipulación para el cumplimiento normativo |
Patrones
| Dónde buscar | Qué aspecto tiene |
|---|---|
| Plataforma | CRM Analytics | ✅ Construya tableros mostrando: distribución de decisiones por segmento demográfico (gráficos de barras), mediciones de equidad a lo largo del tiempo (líneas de tendencia con umbrales de alerta), índice de impacto dispar con indicador de regla de cuatro quintas partes, predictores principales que contribuyen a decisiones, índice de sustitución por grupo demográfico |
| Plataforma | CRM Analytics | ✅ Alertar cuando las distribuciones de entrada cambian significativamente desde datos demográficos de capacitación; monitorear el cambio de distribución indicando una posible degradación de la equidad |
| Agentforce | Configuración de agente | ✅ Agregar la opción “Report Concern” a la interfaz de chat Agentforce; enrutar reportes al tablero de revisión de ética con contexto de plática completo; realizar un seguimiento en objeto personalizado con flujo de trabajo de investigación requerido |
| Negocios | Gobernanza | ✅ Monitorear tableros de equidad semanalmente, investigar infracciones de umbral en 24 horas, realizar análisis de patrones de sustitución mensuales, realizar auditorías de equidad integrales trimestrales |
| Negocios | Gobernanza | ✅ Permitir a los usuarios reportar sesgos percibidos a través de mecanismos accesibles; los reportes de usuario afloran problemas cualitativos que las mediciones cuantitativas pierden |
Antipatrones
| Dónde buscar | Aspecto negativo |
|---|---|
| Negocios | Gobernanza | ⚠️ Tratar la detección de sesgos como validación previa a la implementación puntual en vez de monitoreo continuo a medida que los agentes evolucionan a través de actualizaciones de solicitudes, cambios de versión de modelo y distribuciones de datos cambiantes |
| Plataforma | CRM Analytics | ⚠️ Fallo en la configuración de alertas cuando las mediciones de equidad infringen umbrales definidos, permitiendo que la desviación gradual pase desapercibida |
| Agentforce | Configuración de agente | ⚠️ No proporcionar a los usuarios mecanismos accesibles para reportar sesgos percibidos, faltan problemas cualitativos que las mediciones cuantitativas no pueden aflorar |
Patrones
| Dónde buscar | Qué aspecto tiene |
|---|---|
| Plataforma | Integración | ✅ Construir funciones de exportación que permiten a los equipos de cumplimiento extraer conjuntos de datos de decisiones completos con estratificación demográfica para la revisión de auditores externos respetando al mismo tiempo las leyes de privacidad de datos |
| Negocio | Documentación | ✅ Mantener la documentación actual que cubre: propósito del agente y casos de uso previstos, datos demográficos de capacitación y limitaciones conocidas, mediciones de equidad (previa implementación y producción), estrategias de mitigación de sesgos, configuraciones de supervisión humana, enfoque de monitoreo y asignaciones de responsabilidad |
| Negocios | Gobernanza | ✅ Antes de implementar agentes que toman decisiones consecuentes, realice evaluaciones de impacto algorítmicas evaluando posibles efectos positivos y negativos entre grupos de partes interesadas |
| Negocios | Gobernanza | ✅ Programar auditorías de equidad externas semestrales por terceros; mantener la exploración de horizontes reguladores adaptándose a la Ley de IA de la UE, las leyes estatales y las leyes del sector |
Antipatrones
| Dónde buscar | Aspecto negativo |
|---|---|
| Plataforma | Integración | ⚠️ Diseñar arquitecturas de agentes sin anticipar auditorías externas por reguladores, organizaciones de derechos civiles o clientes; carecer de capacidades de exportación para revisión de auditores |
| Negocio | Documentación | ⚠️ Permitir que la documentación quede obsoleta a medida que los agentes evolucionan a través de actualizaciones de solicitudes o cambios de modelo sin actualizar mediciones de equidad y estrategias de mitigación |
| Negocios | Gobernanza | ⚠️ Despliegue de agentes que toman decisiones consecuentes sin realizar evaluaciones de impacto evaluando efectos entre grupos de partes interesadas |
Patrones
| Dónde buscar | Qué aspecto tiene |
|---|---|
| Agentforce | Configuración de agente | ✅ Requerir suscripción explícita para agentes consecuentes (decisión de crédito, selección de empleo, aptitud para servicios) en vez de activar de forma predeterminada |
| Plataforma | Objeto personalizado | ✅ Crear AI_Consent__c con campos: User_ID, Use_Case, Grant_Date, Grant_Method, Withdrawal_Date, Status; active Seguimiento de auditoría de campo para la retención de registros de consentimiento a largo plazo |
| Agentforce | Configuración de agente | ✅ Agregar comprobación de consentimiento a la lógica de invocación de agentes: consultar AI_Consent__c para el consentimiento activo antes del procesamiento; dar cobertura al consentimiento a nivel de caso de uso (Agente de servicio frente a agente de ventas) |
| Plataforma | Comunidad/Sitio de experiencia | ✅ Construir la interfaz de gestión de consentimiento de autoservicio accesible desde el perfil de usuario; programar recordatorios de renovación de consentimiento cada 12 meses |
| Agentforce | Configuración de agente | ✅ Al implementar nuevas funciones que afectan a usuarios existentes, busque el consentimiento de forma proactiva para nuevos casos de uso en vez de basarse en el consentimiento original que no contemplaba aplicaciones específicas |
| Agentforce | Configuración de agente | ✅ Active la retirada de consentimiento en cualquier momento con el cese inmediato del procesamiento de agentes; haga que la retirada sea tan sencilla como otorgar sin requerir contactos de asistencia |
| Agentforce | Configuración de agente | ✅ Activar la gestión de preferencias de usuario: estilo de comunicación (conciso frente a detallado), nivel de proactividad, preferencia de distribución; almacenar en registro Usuario campos personalizados y referencia en solicitudes del sistema de agentes |
| Plataforma | OmniCanal | ✅ Proporcionar la opción persistente “Conectar con agente humano” a través de interacciones; cuando se selecciona, enrutar a OmniCanal con contexto de plática completo y un indicador de prioridad sin servicio degradado o penalizaciones de tiempo de espera |
Antipatrones
| Dónde buscar | Aspecto negativo |
|---|---|
| Agentforce | Configuración de agente | ⚠️ Activación de agentes consecuentes de forma predeterminada sin que el usuario explícito se suscriba para comprender cómo les afectarán los agentes |
| Agentforce | Configuración de agente | ⚠️ Requerir el consentimiento de IA general en vez de activar el consentimiento granular a nivel de caso de uso (un cliente podría consentir agentes de servicio mientras rechaza agentes de ventas) |
| Agentforce | Configuración de agente | ⚠️ Hacer que la retirada del consentimiento requiera contactos de asistencia o procesos burocráticos en vez de autoservicio con efecto inmediato |
| Agentforce | Configuración de agente | ⚠️ Confianza en el consentimiento original al implementar funciones de agentes materialmente nuevas que no se contemplaban en el consentimiento original |
| Agentforce | Configuración de agente | ⚠️ Requerir a los usuarios completar interacciones de agentes o explicar sus preferencias antes de conectarlos con un agente humano |
Patrones
| Dónde buscar | Qué aspecto tiene |
|---|---|
| Agentforce | Configuración de agente | ✅ Revisar todos los orígenes de datos utilizados en el razonamiento de agentes para contenido de características protegidas; eliminar o enmascarar características protegidas de entradas de agentes cuando no están justificadas legalmente para el tipo de decisión |
| Agentforce | Plantilla de solicitud | ✅ Incluya instrucciones explícitas de no discriminación en solicitudes del sistema: “Trate a todos los clientes con la misma profesionalidad independientemente del nombre, la ubicación, el estilo de comunicación o cualquier otra característica. Nunca realice suposiciones sobre clientes basándose en características demográficas”. |
| Agentforce | Configuración de agente | ✅ Pruebe con personas diversas antes de la producción: generar solicitudes idénticas variando solo señales demográficas (nombres que sugieren diferentes etnias, ubicaciones, estilos de comunicación); comparar respuestas para calidad, longitud, profesionalismo y resultados |
| Agentforce | Monitoreo de agentes | ✅ Calcular índices de resolución de primer contacto estratificados por segmento de cliente; investigar cuando existen disparidades significativas entre segmentos |
| Agentforce | Monitoreo de agentes | ✅ Muestra pláticas de agentes entre segmentos y haga que los revisores evalúen la calidad de la respuesta en dimensiones coherentes (precisión, integridad, profesionalismo, utilidad) con pruebas de fiabilidad entre calificadores |
| Agentforce | Monitoreo de agentes | ✅ Realizar un seguimiento de índices de distribución estratificados por datos demográficos de clientes; índices más altos para ciertos segmentos indican que los agentes son menos efectivos para esos usuarios |
| Negocio | Encuestas | ✅ Encuesta a usuarios de todos los grupos demográficos y comparación de puntuajes de satisfacción; en general, la alta satisfacción puede enmascarar experiencias deficientes para grupos minoritarios |
Antipatrones
| Dónde buscar | Aspecto negativo |
|---|---|
| Agentforce | Configuración de agente | ⚠️ Incluir datos de características protegidas (estado de discapacidad, religión, origen nacional) en entradas de agentes para decisiones donde esas características no están justificadas legalmente |
| Agentforce | Plantilla de solicitud | ⚠️ Implementación de agentes sin instrucciones explícitas de no discriminación en solicitudes del sistema, basándose únicamente en el comportamiento del modelo de base |
| Agentforce | Configuración de agente | ⚠️ Agentes de prueba solo con personas mayoritariamente demográficas, que carecen de sesgo contra grupos insuficientemente representados |
| Negocio | Encuestas | ⚠️ Apoyarse en puntuajes de satisfacción general que enmascaran experiencias deficientes para grupos minoritarios ahogados por la satisfacción de la mayoría |
Patrones
| Dónde buscar | Qué aspecto tiene |
|---|---|
| Plataforma | LWC | ✅ Para implementaciones de chat personalizadas, asegúrese de: estructura HTML semántica con puntos de referencia apropiados, regiones en vivo de ARIA anunciando nuevos mensajes, navegación por el historial de mensajes con teclado, indicadores de enfoque claros en elementos interactivos |
| Plataforma | LWC | ✅ Pruebe con JAWS, NVDA y VoiceOver durante todo el desarrollo, no solo la exploración automatizada |
| Agentforce | Configuración de agente | ✅ Configurar respuestas de agentes para utilizar lenguaje sencillo para audiencias generales; evitar la jerga y proporcionar glosarios para términos técnicos inevitables; estructurar respuestas largas con encabezados y listas de viñetas |
| Agentforce | Configuración de agente | ✅ Validar la calidad de la respuesta es comparable entre idiomas a través de la evaluación del hablante nativo, no solo mediciones automatizadas que pierden matices culturales |
| Agentforce | Configuración de agente | ✅ Para casos de uso críticos para el negocio que sirven a poblaciones de idiomas diversas, configure la gestión específica del idioma (variables de idioma, solicitudes traducidas, filtrado de artículos Knowledge por idioma) y valide la calidad por idioma en vez de basarse únicamente en la transferencia entre idiomas del modelo de base |
Antipatrones
| Dónde buscar | Aspecto negativo |
|---|---|
| Plataforma | LWC | ⚠️ Creación de implementaciones de chat personalizadas sin pruebas de accesibilidad manuales (basándose solo en la exploración automatizada) |
| Agentforce | Configuración de agente | ⚠️ Uso de jerga y lenguaje complejo sin glosarios, creando barreras cognitivas para los usuarios |
| Agentforce | Configuración de agente | ⚠️ Basándose únicamente en la transferencia entre idiomas del modelo de base para idiomas de menores recursos, proporcionando calidad degradada para usuarios de idiomas no mayoritarios |
| Agentforce | Configuración de agente | ⚠️ Validación de la calidad de la respuesta multilingüe solo a través de mediciones automatizadas que pierden matices culturales |
Patrones
| Dónde buscar | Qué aspecto tiene |
|---|---|
| Negocios | Gobernanza | ✅ Establecer una junta de revisión ética con autoridad de aplicación antes de implementar cualquier agente de producción |
| Negocios | Gobernanza | ✅ Definir puertas de implementación obligatorias: auditoría de datos, cálculo de mediciones de equidad y evaluación de impacto algorítmica |
| Plataforma | CRM Analytics | ✅ Crear tableros de monitoreo de equidad de línea base en CRM Analytics antes de la primera implementación de agentes |
| Plataforma | Monitoreo de eventos | ✅ Activar Captura de auditoría de Capa Einstein Trust y configurar Monitoreo de eventos para acciones de agentes como base antes de la producción |
| Negocios | Gobernanza | ✅ Implementar pruebas de regresión de equidad automatizadas en oportunidades en curso de CI/CD para la ampliación |
| Negocios | Gobernanza | ✅ Estandarizar patrones de gestión de consentimiento entre todos los nuevos agentes a medida que se amplían las implementaciones |
| Plataforma | Integración | ✅ Construir herramientas de reconstrucción de decisiones de agentes que permitan el autoservicio del equipo de cumplimiento |
Antipatrones
| Dónde buscar | Aspecto negativo |
|---|---|
| Negocios | Gobernanza | ⚠️ Despliegue de agentes de producción antes de establecer una junta de revisión ética con autoridad de aplicación |
| Negocios | Gobernanza | ⚠️ Tratar la equidad como una idea posterior en vez de una puerta de implementación obligatoria equivalente a una revisión de seguridad |
| Negocios | Gobernanza | ⚠️ Omitir evaluaciones de impacto algorítmicas antes de implementar agentes que toman decisiones consecuentes |
| Plataforma | CRM Analytics | ⚠️ Implementación del primer agente de producción sin tableros de monitoreo de equidad de línea base |