Excelencia operativa - Patrones agentes
Obtenga más información acerca de Excelencia operativa bien arquitectónica → Agentic Enterprise Operational Excellence
Patrones
| Dónde buscar | Qué aspecto tiene |
|---|---|
| Agentforce | Rastreo de sesiones | ✅ Utilice el modelo de datos de rastreo de sesiones (STDM) nativo capturando interacciones de agentes en un modelo de datos unificado en Data 360 en vez de crear un sistema de telemetría paralelo: registrando cada plática como una jerarquía de rastreo de sesiones, interacciones (turnos) y pasos (UserInputStep, LLMExecutionStep, FunctionStep) |
| Agentforce | Rastreo de sesiones | ✅ Confíe en los objetos STDM estándar (AIAgentSession, AIAgentSessionParticipant, AIAgentInteraction, AIAgentInteractionStep, AIAgentInteractionMessage), que capturan acciones de forma nativa como pasos de interacción en vez de requerir un registro de acciones separado |
| Agentforce | Rastreo de sesiones | ✅ Recupere detalles de solicitud, modelo y uso de token uniendo pasos de interacción a sus registros de llamadas LLM (a través de referencias GenerationId y GenAiGatewayRequest/Response) en vez de almacenarlos como campos de sesión personalizados |
| Agentforce | Rastreo de sesiones | ✅ Capturar trazas de razonamiento desde el Motor de razonamiento Atlas: Rastreo de sesiones registra los pasos del planificador como parte de cada interacción, para revelar procesos de decisiones de agentes y mejorar la capacidad de depuración |
| Agentforce | Configuración de agente | ✅ Registrar detalles de nivel de turno incluyendo entrada de usuario, respuesta de agente, explicación de razonamiento, puntuajes de confianza, contexto recuperado, acciones intentadas y errores encontrados |
| Einstein | Capa de Trust | ✅ Active el seguimiento de auditoría de IA generativa de Capa Einstein Trust (texto de solicitud y respuesta, versiones enmascaradas de PII, datos de fundamentación, puntuajes de seguridad y toxicidad, detalles de modelo) transmitido a Data 360, además de IA generativa Einstein y recopilación y almacenamiento de datos de comentarios para una retención a largo plazo |
| Plataforma | Objetos personalizados | ✅ Reserve objetos de registro personalizados para excepciones deliberadas, como un objeto ligero que correlaciona el comportamiento de los agentes con resultados de negocio, en vez de convertirlos en el sustrato de registro principal |
| Plataforma | Tablero | ✅ Correlacione el comportamiento de los agentes con los resultados de negocio, identifique oportunidades de mejora a través del análisis de patrones y alimente oportunidades en curso de aprendizaje continuo con ejemplos etiquetados como de calidad |
Antipatrones
| Dónde buscar | Aspecto negativo |
|---|---|
| Plataforma | Objetos personalizados | ⚠️ Creación manual de objetos transaccionales personalizados como el sustrato de registro de pláticas principal en vez del modelo de datos de rastreo de sesiones nativo, teniendo problemas de escala almacenando pláticas de múltiples turnos, grandes cargas de JSON y un rápido crecimiento de los datos |
| Agentforce | Rastreo de sesiones | ⚠️ Creación de un sistema de telemetría paralelo cuando Rastreo de sesiones Agentforce ya captura interacciones en un modelo de datos unificado en Data 360 |
| Agentforce | Configuración de agente | ⚠️ Registrar solo respuestas de agentes sin capturar entradas, trazas de razonamiento, contexto recuperado y acciones realizadas |
| Einstein | Capa de Trust | ⚠️ Desactivación del seguimiento de auditoría Capa Einstein Trust en producción o no activación de Recopilación y almacenamiento de datos de comentarios para la retención a largo plazo en Data 360 |
| Plataforma | Monitoreo | ⚠️ Basándose únicamente en el éxito/fallo de la plática sin capturar detalles de uso, modelo y solicitud de token a través de las uniones de llamadas LLM de STDM |
Patrones
| Dónde buscar | Qué aspecto tiene |
|---|---|
| Plataforma | Monitoreo | ✅ Medir la latencia de respuesta en percentiles (p50, p95, p99) revelando desempeño típico y experiencias en el peor de los casos |
| Plataforma | Monitoreo | ✅ Instrumente cada fase de latencia por separado (inferencia de modelo, recuperación de contexto, ejecución de acciones, red) permitiendo la optimización dirigida |
| Plataforma | Monitoreo | ✅ Alertar cuando la latencia de p95 supera umbrales indicando degradación del desempeño |
| Plataforma | Monitoreo | ✅ Realizar un seguimiento de la distribución de tokens (tokens de solicitud, tokens de finalización, tokens totales) por plática, por agente y por caso de uso |
| Plataforma | Monitoreo | ✅ Detectar pláticas atípicas que consumen tokens excesivos sugiriendo problemas de solicitud o mal uso |
| Plataforma | Monitoreo | ✅ Comparar el rendimiento actual con límites de frecuencia conocidos o líneas de base de capacidad que alertan al acercarse a umbrales |
| Plataforma | Monitoreo | ✅ Calcular índices de error como porcentaje del total de solicitudes permitiendo la comparación entre agentes y periodos de tiempo |
| Plataforma | Monitoreo | ✅ Distinguir entre categorías de error (errores de modelo, errores de permiso, errores de integración) que requieren respuestas diferentes |
| Plataforma | Monitoreo | ✅ Calcular la disponibilidad como porcentaje de tiempo que los agentes responden con éxito a solicitudes y realizar un seguimiento de los SLO |
| Plataforma | Proactive Monitoring | ✅ Configurar umbrales Proactive Monitoring basándose en patrones de comportamiento de agentes de línea base en vez de aceptar valores predeterminados |
| Plataforma | Scale Center | ✅ Revisar datos de Scale Center después de implementar nuevos agentes o realizar cambios de solicitud significativos validando el consumo de recursos coincide con las expectativas |
Antipatrones
| Dónde buscar | Aspecto negativo |
|---|---|
| Plataforma | Monitoreo | ⚠️ Medición de solo la latencia media en vez de percentiles, enmascarando las experiencias de usuario en el peor de los casos |
| Plataforma | Monitoreo | ⚠️ Seguimiento de la latencia total sin instrumentar fases individuales (inferencia, recuperación, ejecución de acciones) |
| Plataforma | Monitoreo | ⚠️ Tratar todos los errores del mismo modo en vez de categorizar por tipo (modelo, permiso, integración) para una respuesta apropiada |
| Plataforma | Proactive Monitoring | ⚠️ Aceptación de umbrales predeterminados Proactive Monitoring sin ajustar patrones de comportamiento de agentes de línea base |
| Plataforma | Scale Center | ⚠️ Implementación de nuevos agentes o realización de cambios de solicitud sin revisar datos de Scale Center para validar el consumo de recursos |
| Plataforma | Monitoreo | ⚠️ Ignorar patrones de consumo de tokens y no detectar pláticas atípicas que consumen 10 veces tokens típicos |
Patrones
| Dónde buscar | Qué aspecto tiene |
|---|---|
| Agentforce | Centro de pruebas | ✅ Comience con herramientas de evaluación y pruebas nativas: mantener conjuntos de casos de prueba reutilizables en Centro de pruebas de Agentforce y ejecutar agentes contra ellos en lotes, comprobando si el agente seleccionó el tema y la acción esperados y produjo una respuesta aceptable |
| Agentforce | Centro de pruebas | ✅ Utilice evaluadores nativos (dimensiones de calidad listas para su uso y el enfoque LLM como juez para puntuar la calidad conversacional) y cree evaluadores personalizados para criterios específicos de la organización, utilizando pláticas representativas de modo que la evaluación refleje el uso real |
| Agentforce | Centro de pruebas | ✅ Para preguntas objetivas con respuestas conocidas, mantenga afirmaciones de respuestas conocidas como casos de prueba repetibles en Centro de pruebas; para preguntas abiertas, agregue revisión humana de pláticas de muestra |
| Data 360 | Calidad de recuperación | ✅ Para agentes basados en una base Knowledge, utilice análisis de calidad de recuperación nativos para evaluar la relevancia del contexto, la relevancia de las respuestas y la fidelidad (fundamentación) de las respuestas |
| Einstein | Capa de Trust | ✅ Confíe en la detección de toxicidad en tiempo de ejecución de Capa Einstein Trust como la primera línea de defensa de la barandilla, luego mejore el monitoreo de seguridad a través del filtrado de contenido, muestreo de revisiones manuales, creación de reportes de usuarios y auditorías de equidad entre grupos demográficos |
| Datos 360 | GenAIFeedback | ✅ Capturar la satisfacción de los usuarios a través de comentarios Agentforce fluyendo a los DMO GenAIFeedback / GenAIFeedbackDetail en Data 360 (pulgares hacia arriba/hacia abajo, aceptar/rechazar, modificaciones, comentarios literales) junto con la solicitud de la pasarela y los datos de generación |
| Plataforma | Analytics | ✅ Combinar comentarios explícitos (preguntados antes de la distribución, después de la plática, encuestas de seguimiento) con señales implícitas (índices de finalización, distribución, abandono, reintentos), correlacionadas con características de la plática para guiar la priorización de mejoras |
Antipatrones
| Dónde buscar | Aspecto negativo |
|---|---|
| Agentforce | Centro de pruebas | ⚠️ Creación y ejecución de un arnés de pruebas personalizado en vez de comenzar con los conjuntos de pruebas reutilizables del Centro de pruebas de Agentforce y evaluadores nativos |
| Agentforce | Centro de pruebas | ⚠️ Basarse únicamente en la evaluación automatizada sin revisión humana para la evaluación de la calidad de respuestas abiertas |
| Plataforma | Monitoreo | ⚠️ Monitoreo solo de la precisión sin realizar un seguimiento de la relevancia, la seguridad y las dimensiones de satisfacción del usuario |
| Datos 360 | GenAIFeedback | ⚠️ Fallo al recopilar cualquier comentario de usuario (explícito o implícito) sobre la calidad de la respuesta de los agentes cuando los comentarios Agentforce ya fluyen a los DMO de GenAIFeedback |
| Agentforce | Configuración de agente | ⚠️ Omisión de auditorías de equidad que evalúan distribuciones de resultados entre grupos demográficos |
Patrones
| Dónde buscar | Qué aspecto tiene |
|---|---|
| Agentforce | Configuración de agente | ✅ Establecer el desempeño de línea base inmediatamente después de la implementación del agente midiendo la precisión, relevancia, seguridad y satisfacción entre casos de prueba representativos |
| Agentforce | Configuración de agente | ✅ Volver a evaluar periódicamente con los mismos casos de prueba que revelan cambios de desempeño independientes de turnos de patrón de uso |
| Plataforma | Monitoreo | ✅ Alerta cuando las mediciones de calidad disminuyen más allá de umbrales aceptables definidos por la tolerancia al impacto en el negocio |
| Plataforma | Analytics | ✅ Monitorear características de entrada (longitud de pregunta, distribución de tema, complejidad de idioma, terminología de dominio) detectando turnos de distribución significativos |
| Plataforma | Monitoreo | ✅ Monitorear características de respuesta (longitud de respuesta media, índices de invocación de acciones, frecuencias de distribución, patrones de error) estableciendo líneas base de comportamiento |
| Plataforma | Monitoreo | ✅ Configurar alertas automatizadas que se desencadenan cuando las mediciones de desviación superan umbrales desencadenando investigación y corrección |
Antipatrones
| Dónde buscar | Aspecto negativo |
|---|---|
| Agentforce | Configuración de agente | ⚠️ Fallo al establecer el desempeño de línea base después de la implementación inicial del agente, haciendo que la desviación no sea detectable |
| Plataforma | Monitoreo | ⚠️ Ignorar la desviación de distribución cuando los patrones de entrada de usuario cambian significativamente de lo que los agentes se diseñaron para gestionar |
| Plataforma | Monitoreo | ⚠️ No monitorear cambios de comportamiento (longitud de respuesta, índices de acción, frecuencias de distribución) con respecto a líneas base establecidas |
| Plataforma | Monitoreo | ⚠️ No tener alertas automatizadas para mediciones de deriva, basándose solo en la observación manual para detectar la degradación |
Patrones
| Dónde buscar | Qué aspecto tiene |
|---|---|
| Plataforma | Monitoreo | ✅ Monitorear distribuciones de consumo de tokens detectando pláticas atípicas e investigar aquellas que consumen tokens 10 veces típicos |
| Plataforma | Monitoreo | ✅ Detectar aumentos repentinos en índices de fallos, nuevos tipos de error no en la línea base o concentraciones de error localizado que afectan a usuarios o agentes específicos |
| Plataforma | Analytics | ✅ Realizar un seguimiento del abandono de pláticas por etapa de plática identificando si los usuarios abandonan durante la interacción inicial, en medio de la plática o después de la finalización de la tarea |
| Plataforma | Monitoreo | ✅ Enrutar fallos críticos de agentes a ingenieros de guardia inmediatamente, degradación de la calidad a equipos de productos durante el horario de oficina y anomalías menores en resúmenes diarios |
Antipatrones
| Dónde buscar | Aspecto negativo |
|---|---|
| Plataforma | Monitoreo | ⚠️ Tratar todas las alertas con igual urgencia, causando fatiga de alerta y fallos críticos omitidos |
| Plataforma | Monitoreo | ⚠️ Ignorar anomalías de costos como picos de consumo de tokens que pueden indicar problemas de solicitudes, abuso o problemas de infraestructura |
| Plataforma | Analytics | ⚠️ No realizar un seguimiento de los índices de abandono de pláticas o no analizar el abandono por etapa |
| Plataforma | Monitoreo | ⚠️ Esperando reportes de usuario en vez de detectar picos de índice de error de forma proactiva a través de monitoreo automatizado |
Patrones
| Dónde buscar | Qué aspecto tiene |
|---|---|
| Plataforma | Control de origen | ✅ Almacenar plantillas de solicitudes en Git junto con solicitudes de tratamiento de código de aplicación como lógica de aplicación crítica que merece revisión de código, pruebas e implementación controlada |
| Einstein | Generador de solicitudes | ✅ Utilizar Generador de solicitudes para el desarrollo de solicitudes iterativas con historial de versiones y funciones de prueba, luego exportar a control de versiones para oportunidades en curso de implementación |
| Plataforma | Control de origen | ✅ Almacenar configuraciones (selección de modelo, temperatura, límites de token, configuraciones de recuperación, permisos de acción, indicadores de funciones) como código que activa valores específicos del entorno y detección de desviación |
| Plataforma | Control de origen | ✅ Aplique versiones semánticas a componentes de agentes: principal (cambios de última hora), menor (características), parche (correcciones de fallos) con números de versión apareciendo en registros |
| Plataforma | Documentación | ✅ Documente qué cambió, por qué cambió, qué pruebas validaron el cambio y qué procedimientos de reversión existen para cada solicitud y cambio de configuración |
Antipatrones
| Dónde buscar | Aspecto negativo |
|---|---|
| Einstein | Generador de solicitudes | ⚠️ Realizar cambios de solicitud sin revisión de código, pruebas o procesos de implementación controlados |
| Plataforma | Configuración | ⚠️ Almacenamiento de configuraciones de agentes fuera del control de origen donde no se puede detectar la desviación y las implementaciones no se pueden automatizar |
| Plataforma | Documentación | ⚠️ Realizar cambios de solicitud sin documentar la justificación, los resultados de pruebas o los procedimientos de reversión |
| Plataforma | Control de origen | ⚠️ No se aplica la versión semántica, lo que hace imposible correlacionar incidentes con implementaciones específicas |
Patrones
| Dónde buscar | Qué aspecto tiene |
|---|---|
| Plataforma | Documentación | ✅ Mantener un registro de modelo registrando qué versiones de modelo se implementan donde se incluye familia de modelos, versión específica, estado de ajuste, entorno, fecha de implementación y equipo responsable |
| Plataforma | Documentación | ✅ Registrar cada implementación de agente incluyendo versión, entorno, marca de tiempo, usuario de implementación, aprobaciones obtenidas y resultado de implementación |
| Plataforma | Documentación | ✅ Asigne dependencias entre agentes, solicitudes, bases de Knowledge, acciones e integraciones de forma explícita en vez de descubrirlas durante incidentes |
| Negocio | Proceso | ✅ Establecer una programación de desaprobación con un periodo de notificación mínimo respaldado por póliza comunicado con suficiente antelación, permitiendo migraciones planificadas en vez de respuestas de emergencia a desaprobaciones forzadas |
| Plataforma | Documentación | ✅ Procedimientos de reversión de documentos para cada agente incluyendo versión de destino, pasos de ejecución, pruebas de validación y requisitos de notificación |
| Plataforma | Puesta en escena | ✅ Probar procedimientos de reversión en entornos que no son de producción validando que funcionan antes de depender de ellos durante incidentes de producción |
Antipatrones
| Dónde buscar | Aspecto negativo |
|---|---|
| Plataforma | Documentación | ⚠️ Descubrir dependencias entre agentes, solicitudes y bases Knowledge solo durante incidentes en vez de mantener mapas de dependencias explícitos |
| Negocio | Proceso | ⚠️ Notificación de desaprobación insuficiente que obliga a migraciones de emergencia en vez de transiciones planificadas |
| Plataforma | Documentación | ⚠️ Tener procedimientos de reversión no probados que fallan cuando más se necesitan durante incidentes de producción |
| Plataforma | Implementación | ⚠️ Implementación de agentes sin registrar versión, entorno, aprobaciones o resultados, perdiendo la capacidad de correlacionar incidentes con implementaciones |
Patrones
| Dónde buscar | Qué aspecto tiene |
|---|---|
| Plataforma | Interfaz de usuario | ✅ Recopilar comentarios explícitos (pulgares hacia arriba/hacia abajo, puntuajes de calidad, comentarios) y comentarios implícitos (índices de finalización, frecuencias de distribución, patrones de reintento) de forma sistemática |
| Data 360 | Depuración de datos | ✅ Depure registros de pláticas en conjuntos de datos de capacitación filtrando para la calidad, eliminando ejemplos problemáticos, garantizando la representatividad y deduplicando |
| Data 360 | Fundamentación | ✅ Adaptar agentes a vocabulario de dominio, procesos de negocio y Knowledge específico de la organización principalmente a través de RAG basado en Data 360 y ajuste de solicitudes: la ruta de adaptación nativa de Salesforce |
| Einstein | BYOLLM | ✅ Cuando la fundamentación y el ajuste de solicitudes son insuficientes, ajuste un modelo de forma externa y conéctelo a través de BYOLLM en vez de esperar ajustes generativos en plataforma |
| Einstein | Generador de solicitudes | ✅ Establecer cadencias de revisión de solicitudes regulares examinando pláticas recientes, mediciones de calidad y comentarios de usuarios identificando oportunidades de mejora |
| Einstein | Generador de solicitudes | ✅ Implementar cambios de solicitud de forma incremental con pruebas A/B validando mejoras antes de la implementación completa |
| Agentforce | Configuración de agente | ✅ Mantener conjuntos de pruebas cubriendo rutas felices, casos extremos, entradas adversarias y escenarios de problemas históricos, ampliando continuamente a medida que se descubren nuevos casos extremos |
Antipatrones
| Dónde buscar | Aspecto negativo |
|---|---|
| Plataforma | Datos | ⚠️ Intentar mejoras sin recopilación sistemática de comentarios, haciendo que las conjeturas de mejoras en vez de dirigidas por datos |
| Data 360 | Depuración de datos | ⚠️ Uso de registros de pláticas sin depurar para la capacitación incluyendo infracciones de seguridad, errores y ejemplos no representativos |
| Data 360 | Fundamentación | ⚠️ Hacer contacto con el ajuste externo antes de agotar la fundamentación RAG y el ajuste de solicitudes, la ruta nativa que resuelve la mayoría de las necesidades de adaptación de dominios sin un modelo personalizado |
| Einstein | Generador de solicitudes | ⚠️ Tratar la ingeniería de solicitudes como un ejercicio puntual en vez de una práctica continua ajustada a medida que evolucionan los patrones de uso |
| Agentforce | Configuración de agente | ⚠️ Tener conjuntos de pruebas estáticos que nunca se amplían para cubrir nuevos casos extremos descubiertos en producción |
Patrones
| Dónde buscar | Qué aspecto tiene |
|---|---|
| Plataforma | Tipos de metadatos personalizados | ✅ Implementar indicadores de funciones utilizando tipos de metadatos personalizados o configuración personalizada para desvincular la implementación de la versión para cambios de agentes de alto riesgo |
| Plataforma | Conjuntos de permisos | ✅ Implementar implementaciones canarias liberando cambios de agentes en un pequeño subconjunto de usuarios primero utilizando conjuntos de permisos que controlan el acceso de agentes |
| Agentforce | Configuración de agente | ✅ Monitoree la cohorte canaria de forma intensiva midiendo índices de éxito, calidad, índices de error, latencia, consumo de tokens y satisfacción, y solo amplíe la implementación cuando el canario coincida o mejore con el grupo de control que ejecuta la versión anterior del agente |
| Plataforma | Analytics | ✅ Definir criterios de éxito antes de iniciar pruebas A/B evitando resultados ambiguos, alineados con objetivos de negocio |
| Agentforce | Configuración de agente | ✅ Implementar pruebas de campeón-desafiante manteniendo la versión probada como reserva mientras se compara con la versión de retador mejorada |
| Negocio | Proceso | ✅ Establecer criterios de promoción objetivos incluyendo tamaño de muestra mínimo, umbrales de calidad y duración de evaluación antes de las decisiones de promoción |
Antipatrones
| Dónde buscar | Aspecto negativo |
|---|---|
| Agentforce | Configuración de agente | ⚠️ Implementación de cambios de agentes en todos los usuarios simultáneamente sin pruebas canarias, maximizando el radio de explosión de problemas |
| Plataforma | Implementación | ⚠️ Implementación de cambios de agentes de alto riesgo sin indicadores de funciones que permitan la reversión instantánea sin reimplementación |
| Plataforma | Analytics | ⚠️ Ejecución de pruebas A/B sin criterios de éxito predefinidos, lo que lleva a resultados ambiguos y malas decisiones |
| Plataforma | Analytics | ⚠️ Ejecución de experimentos con tamaño de muestra insuficiente produciendo resultados ruidosos que llevan a conclusiones incorrectas |
| Agentforce | Configuración de agente | ⚠️ Uso de indicadores de funciones para cada cambio de solicitud menor en vez de reservarlos para cambios de alto riesgo para agentes críticos de negocio |
Patrones
| Dónde buscar | Qué aspecto tiene |
|---|---|
| Plataforma | Monitoreo | ✅ Detectar fallos de agentes a través de alertas de monitoreo automatizadas sobre índices de error, degradación de mediciones de calidad, anomalías de costos, aumentos de latencia y distribuciones de usuarios |
| Plataforma | Monitoreo | ✅ Suplementar la detección automatizada con mecanismos de creación de reportes de usuario que permiten la distribución de fallos de monitoreo automatizado |
| Negocio | Proceso | ✅ Definir criterios de gravedad objetivamente basándose en impacto de usuario, radio de explosión, riesgo de integridad de datos y urgencia de recuperación |
| Plataforma | Documentación | ✅ Documentar procedimientos de respuesta inicial como libros de ejecución ejecutables por ingenieros de guardia sin experiencia profunda de agentes |
| Agentforce | Configuración de agente | ✅ Incluir en respuesta inicial: desactivar agente con fallos (disyuntor), enrutar a reserva, recopilar diagnósticos, notificar a las partes interesadas, iniciar comunicación de incidentes |
Antipatrones
| Dónde buscar | Aspecto negativo |
|---|---|
| Plataforma | Monitoreo | ⚠️ Basarse en reportes de usuario como mecanismo de detección principal en vez de monitoreo automatizado para fallos de agentes |
| Negocio | Proceso | ⚠️ Uso de la clasificación de gravedad subjetiva que lleva a problemas reales de subescalada o problemas menores de sobreescalada |
| Plataforma | Documentación | ⚠️ No tener listas de ejecuciones, lo que requiere investigación específica de incidentes por ingenieros con experiencia profunda de agentes durante cada incidente |
| Negocio | Proceso | ⚠️ Tratar los fallos de agentes de forma idéntica a los fallos de aplicaciones tradicionales sin tener en cuenta alucinaciones, respuestas fuera de tema o infracciones de seguridad |
Patrones
| Dónde buscar | Qué aspecto tiene |
|---|---|
| Plataforma | Apex | ✅ Implemente disyuntores con umbral de error configurable (por ejemplo, índice de error del 50%), plazo de duración (por ejemplo, plazo de ejecución de 5 minutos) y pruebas de recuperación (solicitudes de prueba periódicas) |
| Agentforce | Configuración de agente | ✅ Diseñar jerarquías de reserva: Agente sofisticado principal → Agente de copia de seguridad más sencillo → Respuestas de preguntas frecuentes estáticas → Transferencia humana |
| Plataforma | Orquestación | ✅ Implementar lógica de reserva en la capa de orquestación en vez de dentro de agentes individuales permitiendo un comportamiento coherente entre ecosistemas de agentes |
| Agentforce | Configuración de agente | ✅ Diseñar flujos de trabajo de transferencia humana preservando el contexto de la plática, comunicando el motivo de la transferencia y enrutando a agentes humanos apropiados con experiencia relevante |
| Plataforma | Monitoreo | ✅ Monitorear índices de traspasos por tema, agente y motivo de fallo para identificar brechas de capacidad de agentes |
| Agentforce | Configuración de agente | ✅ Cuando falla un razonamiento sofisticado, realice una reserva a una lógica más sencilla; cuando los datos en tiempo real no están disponibles, opere en datos en caché; cuando fallan las integraciones, opere en modo de solo lectura |
| Plataforma | Orquestación | ✅ Probar rutas de reserva validando regularmente que funcionan cuando es necesario |
Antipatrones
| Dónde buscar | Aspecto negativo |
|---|---|
| Agentforce | Configuración de agente | ⚠️ No tener disyuntores, lo que permite a los agentes con fallos afectar repetidamente a los usuarios mientras se resuelven problemas |
| Plataforma | Orquestación | ⚠️ Implementación de lógica de reserva dentro de agentes individuales en vez de en la capa de orquestación, creando un comportamiento incoherente |
| Agentforce | Configuración de agente | ⚠️ El diseño de agentes de aprobación/fallo binarios que funcionan perfectamente o fallan completamente sin opciones de degradación elegantes |
| Plataforma | Orquestación | ⚠️ Nunca probar rutas de reserva, descubriendo que no funcionan solo durante incidentes reales |
| Agentforce | Configuración de agente | ⚠️ Traspaso humano que pierde contexto de plática obligando a los usuarios a repetir información |
Patrones
| Dónde buscar | Qué aspecto tiene |
|---|---|
| Negocio | Proceso | ✅ Realizar revisiones posteriores a incidentes sin culpa centrándose en mejoras del sistema en vez de fallos individuales creando seguridad psicológica |
| Negocio | Proceso | ✅ Cree una cronología detallada desde condiciones iniciales a través de detección, investigación, respuesta, recuperación y validación con marcas de tiempo |
| Negocio | Proceso | ✅ Utilice la técnica de “Cinco por qué” para desglosar desde síntomas a causas fundamentales en vez de conclusiones simplistas |
| Negocio | Proceso | ✅ Analizar factores que contribuyen incluyendo brechas de monitoreo, brechas de prueba, brechas de documentación, brechas de automatización y brechas arquitectónicas |
| Negocio | Proceso | ✅ Evaluar la detección: qué señal debería haber detectado el problema antes, qué monitoreo permite una detección más rápida |
| Negocio | Proceso | ✅ Especifique elementos de acción concretos, asignados y sujetos a plazos que eviten la repetición (por ejemplo, “agregue alertas para índices de error superiores al 5% durante 10 minutos - asignados: Alex - vencido: 2 semanas”) |
| Negocio | Proceso | ✅ Realizar un seguimiento de la finalización de elementos de acción en revisiones posteriores garantizando que se produce una mejora continua |
| Plataforma | Documentación | ✅ Documentar revisiones posteriores a incidentes en base de Knowledge compartida con etiquetado que activa el análisis de patrones entre múltiples incidentes |
| Negocio | Proceso | ✅ Compartir revisiones posteriores a incidentes más allá de los respondedores de incidentes inmediatos a través de reuniones de equipo o sesiones de almuerzo y aprendizaje |
Antipatrones
| Dónde buscar | Aspecto negativo |
|---|---|
| Negocio | Proceso | ⚠️ Postmortems centrados en la culpa que reducen la seguridad psicológica y evitan la evaluación honesta de fallos |
| Negocio | Proceso | ⚠️ Conclusiones de causa raíz simplistas (“el agente tenía un fallo”) en vez de hallazgos específicos que permiten una solución efectiva |
| Negocio | Proceso | ⚠️ Elementos de acción vagos como “mejorar el monitoreo” en vez de tareas específicas, asignadas y con plazos específicos |
| Negocio | Proceso | ⚠️ Índices de realización de elementos de acción bajos que indican fallos de procesos de mejora continua |
| Negocio | Proceso | ⚠️ Mantener los aprendizajes posteriores a incidentes aislados para los respondedores inmediatos en vez de compartir ampliamente para el aprendizaje organizacional |
Patrones
| Dónde buscar | Qué aspecto tiene |
|---|---|
| Negocio | Proceso | ✅ Validar lista de comprobación previa a la implementación incluyendo pruebas, revisión de seguridad, validación de cumplimiento, documentación, configuración de monitoreo y aprobación de partes interesadas |
| Negocio | Proceso | ✅ Evaluar el riesgo en base al radio de explosión, la confidencialidad de los datos, la autoridad de acción, las dependencias de integración, la complejidad de la recuperación y las implicaciones de cumplimiento |
| Negocio | Proceso | ✅ Ampliar los requisitos de aprobación en función del riesgo: alto riesgo requiere aprobación ejecutiva, revisión de seguridad e implementación gradual; bajo riesgo requiere revisión por colegas y pruebas estándar |
| Plataforma | Procesos de aprobación | ✅ Implementar flujos de trabajo de aprobación automatizados, con seguimiento y auditables utilizando procesos de aprobación de Salesforce o herramientas de implementación externas |
| Negocio | Proceso | ✅ Definir procedimientos de omisión de emergencia que requieren aprobación ejecutiva, documentación justificativa y revisión posterior a la implementación acelerada |
| Plataforma | Monitoreo | ✅ Realizar un seguimiento de implementaciones de emergencia por separado; la alta frecuencia de implementación de emergencia indica problemas de proceso que requieren investigación |
Antipatrones
| Dónde buscar | Aspecto negativo |
|---|---|
| Negocio | Proceso | ⚠️ Aplicación de una profundidad de aprobación uniforme independientemente del perfil de riesgo de los agentes, desperdicio de esfuerzos en agentes de bajo riesgo o revisión insuficiente de agentes de alto riesgo |
| Negocio | Proceso | ⚠️ Implementación de agentes de producción sin validación de lista de comprobación previa a la implementación de pruebas, seguridad, cumplimiento y monitoreo |
| Plataforma | Implementación | ⚠️ No tener procedimientos de omisión de emergencia, causando retrasos de solución críticos durante incidentes de producción |
| Negocio | Proceso | ⚠️ Requieren frecuentemente implementaciones de emergencia, lo que indica procesos estándar dañados en vez de circunstancias excepcionales |
Patrones
| Dónde buscar | Qué aspecto tiene |
|---|---|
| Agentforce | Configuración de agente | ✅ Características de salida de prueba (contiene información requerida, mantiene el tono apropiado, incluye citas) en vez de texto exacto para salidas de agentes no deterministas |
| Agentforce | Configuración de agente | ✅ Establecer umbrales de calidad mínimos (por ejemplo, “95% de precisión en conjunto de pruebas retenidas, cero infracciones de seguridad, auditoría de equidad no muestra disparidades demográficas que superen el 5%“) |
| Agentforce | Configuración de agente | ✅ Realizar pruebas de seguridad con entradas adversarias incluyendo inyección rápida, intentos de fuga de la cárcel, distribución de solicitudes y solicitudes fuera del ámbito |
| Agentforce | Configuración de agente | ✅ Tener pruebas de seguridad realizadas por miembros del equipo no implicados en el desarrollo de agentes proporcionando una perspectiva actualizada sobre vulnerabilidades |
| Plataforma | Pruebas de desempeño | ✅ Prueba bajo carga realista incluyendo pláticas simultáneas, longitudes de plática típicas y volumen de uso proyectado |
| Plataforma | Seguridad | ✅ Validar que los agentes no pueden acceder a datos no autorizados, no pueden realizar acciones no autorizadas y que la inyección rápida no puede distribuir privilegios |
| Plataforma | CI/CD | ✅ Integrar la exploración de seguridad en oportunidades en curso de implementación utilizando Salesforce Code Analyzer y herramientas de seguridad de IA especializadas |
Antipatrones
| Dónde buscar | Aspecto negativo |
|---|---|
| Agentforce | Configuración de agente | ⚠️ Probar agentes para coincidencia de texto exacto en resultados no deterministas en vez de probar características de resultados |
| Plataforma | Pruebas de desempeño | ⚠️ Solo pruebas con escenarios de un solo usuario, problemas de límites reguladores que faltan, restricciones de recursos y cuellos de botella de capacidad de ampliación |
| Agentforce | Configuración de agente | ⚠️ Omitir las pruebas de seguridad o hacer que los desarrolladores prueben sus propios agentes sin una perspectiva actualizada de las vulnerabilidades |
| Plataforma | Seguridad | ⚠️ No probar si la inyección rápida puede distribuir privilegios de agentes o acceder a datos no autorizados |
| Agentforce | Configuración de agente | ⚠️ Tener conjuntos de pruebas estáticos que no representan diversidad de uso real incluyendo diferentes tipos de usuario y complejidades de pláticas |
Patrones
| Dónde buscar | Qué aspecto tiene |
|---|---|
| Plataforma | Documentación | ✅ Documente cada cambio: qué cambió, por qué, qué pruebas lo validaron y qué procedimiento de reversión existe |
| Negocios | Comunicación | ✅ Notificar a todas las partes interesadas (usuarios, equipos de operaciones, asistencia, negocio) describiendo qué está cambiando, cuándo, qué beneficios, qué riesgos y con quién hacer contacto |
| Negocios | Comunicación | ✅ Establecer plantillas de comunicación para diferentes tipos de cambios estandarizando mensajes y reduciendo los gastos generales de preparación |
| Plataforma | Monitoreo de eventos | ✅ Implementaciones de agentes de tiempo durante periodos de bajo uso informados por datos de Monitoreo de eventos mostrando patrones de uso reales |
| Negocio | Proceso | ✅ Implemente cambios de agentes importantes de forma temprana a mediados de semana evitando fines de semana con capacidad de respuesta ante incidentes reducida |
| Negocio | Proceso | ✅ Establecer periodos de inmovilización de cambios antes de eventos de negocio importantes (final del año fiscal, lanzamientos de productos, campañas de marketing principales) |
| Negocio | Proceso | ✅ Calendario de inmovilización de cambios de documentos comunicando anualmente periodos restringidos con suficiente antelación |
Antipatrones
| Dónde buscar | Aspecto negativo |
|---|---|
| Plataforma | Implementación | ⚠️ Implementación durante el uso máximo, cierre de fin de mes, cierre de fin de trimestre o eventos de negocio importantes |
| Plataforma | Implementación | ⚠️ Implementación los lunes (aumento) o viernes (reducción de plantilla) cuando la capacidad de respuesta ante incidentes está limitada |
| Negocio | Proceso | ⚠️ Tener congelaciones de cambios excesivas que ralentizan la velocidad de mejora sin reducción de riesgo proporcionada |
| Negocios | Comunicación | ⚠️ Implementación de cambios de agentes sin notificar a los usuarios afectados, equipos de operaciones, equipos de asistencia o partes interesadas de negocio |
| Plataforma | Documentación | ⚠️ Realizar cambios sin documentar la justificación, creando organizaciones que redescubran lecciones en vez de aprovechar la experiencia |
Patrones
| Dónde buscar | Qué aspecto tiene |
|---|---|
| Plataforma | Interfaz de usuario | ✅ Implementar la recopilación de comentarios dentro de la interfaz de usuario de plática permitiendo una respuesta inmediata mientras la interacción está actualizada en vez de una recopilación retrasada |
| Plataforma | Analytics | ✅ Consultar registros de pláticas analizando tipos de preguntas, longitudes de pláticas, índices de éxito por tema y satisfacción del usuario por características de pláticas |
| Plataforma | Analytics | ✅ Analizar la agrupación de registros de errores por tipo de error, usuarios afectados, patrones de plática y distribución temporal para revelar problemas sistemáticos |
| Plataforma | Analytics | ✅ Priorice la corrección de errores por frecuencia e impacto: errores de alta frecuencia que afectan a muchos usuarios garantizan una atención inmediata |
| Plataforma | Monitoreo | ✅ Establecer líneas base de calidad después de la implementación inicial y monitorear la calidad continua frente a líneas base alertando cuando disminuyen las tendencias |
Antipatrones
| Dónde buscar | Aspecto negativo |
|---|---|
| Plataforma | Interfaz de usuario | ⚠️ Demorar la recopilación de comentarios (por ejemplo, emails de seguimiento días después) reduciendo los índices de respuesta e introduciendo sesgos de recuperación |
| Plataforma | Analytics | ⚠️ No analizar patrones de uso para determinar si los agentes justifican la complejidad operativa o si las funciones están infrautilizadas |
| Plataforma | Analytics | ⚠️ Tratar todos los errores por igual en vez de priorizar por frecuencia e impacto de negocio |
| Plataforma | Monitoreo | ⚠️ Tomar decisiones de mejora sin datos, careciendo de líneas de base de calidad y monitoreo de tendencias |
Patrones
| Dónde buscar | Qué aspecto tiene |
|---|---|
| Negocio | Proceso | ✅ Proporcione una estructura de experimento coherente: hipótesis, diseño experimental, mediciones, tamaño de muestra y criterios de éxito |
| Negocio | Proceso | ✅ Documentar experimentos antes de la ejecución evitando la interpretación ambigua de resultados |
| Plataforma | Analytics | ✅ Realizar un seguimiento de la asignación de variantes en metadatos de pláticas activando la correlación de resultados por variante |
| Plataforma | Analytics | ✅ Calcule el tamaño de muestra requerido antes de los experimentos basándose en el tamaño de efecto esperado, la potencia estadística y los índices de error aceptables |
| Plataforma | Analytics | ✅ Utilice la optimización de bandidos de múltiples brazos para asignar dinámicamente más tráfico a variantes de mejor desempeño reduciendo el costo de oportunidad |
| Plataforma | Documentación | ✅ Mantener el catálogo de experimentos con variantes probadas, resultados medidos, resultados alcanzados y decisiones tomadas para evitar volver a probar enfoques fallidos |
Antipatrones
| Dónde buscar | Aspecto negativo |
|---|---|
| Negocio | Proceso | ⚠️ Ejecución de experimentos sin hipótesis predefinidas y criterios de éxito que conducen a resultados ambiguos |
| Plataforma | Analytics | ⚠️ El uso de tamaños de muestra insuficientes produciendo resultados ruidosos que conducen a malas decisiones de mejora |
| Plataforma | Documentación | ⚠️ Al no tener catálogo de experimentos, lo que provoca que los equipos vuelvan a probar enfoques fallidos anteriormente y pierdan Knowledge organizativo |
| Plataforma | Analytics | ⚠️ No realizar un seguimiento de qué usuarios recibieron qué variantes, haciendo imposible la correlación de resultados |