Excelência operacional – Padrões agentes

Saiba mais sobre a Excelência Operacional bem-arquitetada → Excelência Operacional da Agência

Padrões

Onde procurarQual é a boa aparência
Agentforce | Rastreamento de sessão✅ Use o Modelo de dados de rastreamento de sessão (STDM) nativo para capturar interações do agente em um modelo de dados unificado no Data 360 em vez de criar um sistema de telemetria paralelo, registrando cada conversa como uma hierarquia de rastreamento de sessões, interações (turns) e etapas (UserInputStep, LLMExecutionStep, FunctionStep)
Agentforce | Rastreamento de sessão✅ Conte com os objetos STDM padrão (AIAgentSession, AIAgentSessionParticipant, AIAgentInteraction, AIAgentInteractionStep, AIAgentInteractionMessage), que capturam ações nativamente como etapas da interação em vez de exigir um registro de ação separado
Agentforce | Rastreamento de sessão✅ Recupere os detalhes de uso, modelo e prompt do token unindo etapas de interação aos registros de chamada LLM (por meio de referências GenerationId e GenAiGatewayRequest/Response) em vez de armazená-los como campos de sessão personalizados
Agentforce | Rastreamento de sessão✅ Capture rastreamentos de raciocínio do Mecanismo de raciocínio do Atlas – o rastreamento de sessão registra as etapas do planejador como parte de cada interação – para revelar os processos de decisão do agente e melhorar a capacidade de depuração
Agentforce | Configuração do agente✅ Registrar detalhes no nível de turno, incluindo entrada do usuário, resposta do agente, explicação de raciocínio, pontuações de confiança, contexto recuperado, ações tentadas e erros encontrados
Einstein | Camada Trust✅ Ative a trilha de auditoria de IA generativa da Camada de Trust do Einstein (texto de prompt e resposta, versões mascaradas por PII, dados de fundamentação, pontuações de segurança e toxicidade, detalhes do modelo) transmitida ao Data 360, além de Armazenamento e coleta de dados de feedback e IA generativa do Einstein para retenção de longo prazo
Plataforma | Objetos personalizados✅ Reserve objetos de registro personalizados para exceções deliberadas, como um objeto leve correlacionando o comportamento do agente aos resultados de negócios, em vez de torná-los o substrato de registro principal
Plataforma | Painel✅ Correlacionar o comportamento do agente aos resultados de negócios, identificar oportunidades de melhoria por meio da análise de padrão e alimentar pipelines de aprendizado contínuo com exemplos rotulados com qualidade

Anti-Padrões

Onde procurarQual é a aparência ruim
Plataforma | Objetos personalizadosCriar manualmente objetos transacionais personalizados como o substrato principal de registro de conversas em vez do Modelo de dados de rastreamento de sessão nativo, enfrentando problemas de escala ao armazenar conversas de vários turnos, grandes cargas úteis JSON e rápido crescimento de dados
Agentforce | Rastreamento de sessãoCriar um sistema de telemetria paralelo quando o Rastreamento de sessão do Agentforce já captura interações em um modelo de dados unificado no Data 360
Agentforce | Configuração do agente⚡️ Registrar apenas as respostas do agente sem capturar entradas, raciocinar rastreamentos, contexto recuperado e ações realizadas
Einstein | Camada TrustDesabilitar a trilha de auditoria da Camada de Trust do Einstein em produção ou não ativar a Coleção e armazenamento de dados de feedback para retenção de longo prazo no Data 360
Plataforma | Monitoramento⚡️ Dependendo apenas do sucesso/falha da conversa sem capturar detalhes de uso de token, modelo e prompt por meio das junções de chamada LLM de STDM

Padrões

Onde procurarQual é a boa aparência
Plataforma | Monitoramento✅ Medir a latência da resposta em percentis (p50, p95, p99) revelando desempenho típico e experiências de pior caso
Plataforma | Monitoramento✅ Instrumente cada fase de latência separadamente (inferência de modelo, recuperação de contexto, execução de ação, rede) habilitando a otimização direcionada
Plataforma | Monitoramento✅ Alerta quando a latência p95 excede limites indicando degradação do desempenho
Plataforma | Monitoramento✅ Rastreie a distribuição de token (tokens de prompt, tokens de conclusão, tokens totais) por conversa, por agente e por caso de uso
Plataforma | Monitoramento✅ Detectar conversas atípicas que consomem tokens excessivos sugerindo problemas de prompt ou uso indevido
Plataforma | Monitoramento✅ Comparar a taxa de transferência atual com os limites de taxa conhecidos ou alerta de linhas de base de capacidade ao se aproximar dos limites
Plataforma | Monitoramento✅ Calcule as taxas de erro como um percentual do total de solicitações, permitindo a comparação entre agentes e períodos
Plataforma | Monitoramento✅ Diferenciar entre categorias de erro (erros de modelo, erros de permissão, erros de integração) que exigem respostas diferentes
Plataforma | Monitoramento✅ Calcule a disponibilidade como a porcentagem de tempo em que os agentes respondem com sucesso a solicitações e rastreiam em relação a SLOs
Plataforma | Proactive Monitoring✅ Configurar limites Proactive Monitoring com base nos padrões de comportamento do agente de linha de base em vez de aceitar padrões
Plataforma | Centro de escala✅ Revise os dados do Centro de escala depois de implementar novos agentes ou fazer alterações importantes de prompt validando as expectativas de correspondência de consumo do recurso

Anti-Padrões

Onde procurarQual é a aparência ruim
Plataforma | Monitoramento⚡️ Medindo apenas a latência média, em vez de percentis, mascarando experiências de usuário de pior caso
Plataforma | Monitoramento⚡️ Rastrear a latência total sem instrumentar fases individuais (inferência, recuperação, execução de ação)
Plataforma | Monitoramento⚡️ Tratar todos os erros da mesma maneira em vez de categorizar por tipo (modelo, permissão, integração) para uma resposta adequada
Plataforma | Proactive MonitoringAceitar limites padrão Proactive Monitoring sem ajustar aos padrões de comportamento do agente de base
Plataforma | Centro de escala⚡️ Implantar novos agentes ou fazer alterações de prompt sem revisar os dados do Centro de escala para validar o consumo de recursos
Plataforma | Monitoramento⚡️ Ignorar padrões de consumo de token e não detectar conversas atípicas que consomem 10x tokens típicos

Padrões

Onde procurarQual é a boa aparência
Agentforce | Centro de testes✅ Comece com ferramentas nativas de teste e avaliação: manter conjuntos de casos de teste reutilizáveis na central de testes do Agentforce e executar agentes contra eles em lote, verificando se o agente selecionou o tema e a ação esperados e produziu uma resposta aceitável
Agentforce | Centro de testes✅ Use avaliadores nativos (dimensões de qualidade prontas para uso e a abordagem de LLM-as-judge para pontuar a qualidade da conversa) e crie avaliadores personalizados para critérios específicos da organização, usando conversas representativas para que a avaliação reflita o uso real
Agentforce | Centro de testes✅ Para perguntas factuais com respostas conhecidas, mantenha as declarações de resposta conhecida como casos de teste repetíveis no Centro de teste; para perguntas de término aberto, adicione revisão humana de conversas de amostra
Data 360 | Qualidade de recuperação✅ Para agentes baseados em uma base de Knowledge, use a análise de qualidade de recuperação nativa para avaliar a relevância do contexto, a relevância das respostas e a fidelidade (fundamentaridade) das respostas
Einstein | Camada Trust✅ Conte com a detecção de toxicidade no tempo de execução da Camada de Trust do Einstein como a primeira linha de defesa de proteção, então melhore o monitoramento de segurança por meio de filtragem de conteúdo, amostragem de revisão manual, relatórios do usuário e auditorias de imparcialidade entre grupos demográficos
Data 360 | GenAIFeedback✅ Capture a satisfação do usuário por meio do feedback do Agentforce que flui para os DMOs GenAIFeedback / GenAIFeedbackDetail no Data 360 (tomil para cima/para baixo, aceitar/rejeitar, editar, comentários verbais) junto com a solicitação de gateway e os dados de geração
Plataforma | Analytics✅ Combine feedback explícito (pedido antes do escalonamento, após a conversa, pesquisas de acompanhamento) com sinais implícitos (taxas de conclusão, escalonamento, abandono, novas tentativas), correlacionando-se com características da conversa para orientar a priorização da melhoria

Anti-Padrões

Onde procurarQual é a aparência ruim
Agentforce | Centro de testesConstruir e executar um equipamento de teste personalizado em vez de começar com os conjuntos de teste reutilizáveis da Central de Testes do Agentforce e avaliadores nativos
Agentforce | Centro de testes⚡️ Contando apenas com avaliação automatizada sem revisão humana para avaliação de qualidade de respostas de término aberto
Plataforma | Monitoramento⚡️ Monitorar apenas a precisão sem rastrear dimensões de relevância, segurança e satisfação do usuário
Data 360 | GenAIFeedback⚡️ Não conseguir coletar qualquer feedback do usuário (explicito ou implícito) sobre a qualidade da resposta do agente quando o feedback do Agentforce já flui para os DMOs de GenAIFeedback
Agentforce | Configuração do agente⚡️ Ignorar auditorias de imparcialidade avaliando distribuições de resultados entre grupos demográficos

Padrões

Onde procurarQual é a boa aparência
Agentforce | Configuração do agente✅ Estabelecer o desempenho da linha de base imediatamente após a implementação do agente, medindo a precisão, a relevância, a segurança e a satisfação em casos de teste representativos
Agentforce | Configuração do agente✅ Reavaliar periodicamente em relação aos mesmos casos de teste revelando alterações de desempenho independentemente de turnos de padrão de uso
Plataforma | Monitoramento✅ Alerta quando as métricas de qualidade ultrapassam limites aceitáveis definidos pela tolerância ao impacto dos negócios
Plataforma | Analytics✅ Monitorar características de entrada (comprimento da pergunta, distribuição de tópicos, complexidade do idioma, terminologia de domínio) detectando turnos de distribuição significativos
Plataforma | Monitoramento✅ Monitorar características da resposta (duração média da resposta, taxas de invocação de ação, frequências de escalação, padrões de erro) estabelecendo linhas de base comportamentais
Plataforma | Monitoramento✅ Configure o acionamento automatizado de alertas quando as métricas de desvio excederem limites acionando investigação e remediação

Anti-Padrões

Onde procurarQual é a aparência ruim
Agentforce | Configuração do agente⚡️ Falha ao estabelecer o desempenho da linha de base após a implantação inicial do agente, tornando o desvio não detectável
Plataforma | MonitoramentoIgnorar o desvio de distribuição quando os padrões de entrada do usuário mudam significativamente em relação ao que os agentes foram projetados para lidar
Plataforma | Monitoramento⚡️ Não monitorar alterações comportamentais (duração da resposta, taxas de ação, frequências de escalação) em relação às linhas de base estabelecidas
Plataforma | Monitoramento⚡️ Não ter alerta automatizado para métricas de desvio, contando apenas com observação manual para detectar degradação

Padrões

Onde procurarQual é a boa aparência
Plataforma | Monitoramento✅ Monitore as distribuições de consumo de token detectando conversas atípicas e investigue aquelas que consomem 10x tokens típicos
Plataforma | Monitoramento✅ Detectar aumentos repentinos nas taxas de falha, novos tipos de erro não na linha de base ou concentrações de erro localizadas que afetam usuários ou agentes específicos
Plataforma | Analytics✅ Acompanhe o abandono da conversa por estágio da conversa identificando se os usuários abandonam durante a interação inicial, no meio da conversa ou após a conclusão da tarefa
Plataforma | Monitoramento✅ Encaminhe falhas críticas do agente para engenheiros de chamada imediatamente, degradação de qualidade para equipes do produto durante o horário comercial e pequenas anomalias para resumos diários

Anti-Padrões

Onde procurarQual é a aparência ruim
Plataforma | Monitoramento⚡️ Tratando todos os alertas com a mesma urgência, causando fadiga de alerta e falhas críticas perdidas
Plataforma | MonitoramentoIgnorar anomalias de custo, como picos de consumo de token que podem indicar problemas de prompt, abuso ou problemas de infraestrutura
Plataforma | Analytics⚡️ Não rastrear as taxas de abandono da conversa ou não analisar o abandono por estágio
Plataforma | Monitoramento⚡️ Aguardar relatórios do usuário em vez de detectar de modo proativo picos de taxa de erro por meio do monitoramento automatizado

Padrões

Onde procurarQual é a boa aparência
Plataforma | Controle de origem✅ Armazene modelos de prompts no Git junto com avisos de código de aplicativo tratando como lógica de aplicativo crítica que merece revisão, teste e implantação controlada de código
Einstein | Criador de prompts✅ Use Criador de prompts para desenvolvimento de prompts iterativo com recursos de histórico de versões e teste, então exporte para controle de versão para pipelines de implementação
Plataforma | Controle de origem✅ Armazenar configurações (seleção de modelo, temperatura, limites de token, configurações de recuperação, permissões de ação, sinalizadores de recurso) como código que habilita valores específicos do ambiente e detecção de desvio
Plataforma | Controle de origem✅ Aplicar controle de versões semântico a componentes do agente: principal (interrupção de alterações), secundário (recursos), correção (correções de erros) com números de versão aparecendo em registros
Plataforma | Documentação✅ Documente o que mudou, por que mudou, qual teste validou a alteração e quais procedimentos de reversão existem para cada solicitação e alteração de configuração

Anti-Padrões

Onde procurarQual é a aparência ruim
Einstein | Criador de prompts⚡️ Fazer alterações de prompt sem revisão de código, teste ou processos de implementação controlados
Plataforma | ConfiguraçãoArmazenar configurações de agente fora do controle de origem em que o desvio não pode ser detectado e as implantações não podem ser automatizadas
Plataforma | Documentação⚡️ Fazer alterações de prompt sem documentar a racionalidade, os resultados de teste ou os procedimentos de reversão
Plataforma | Controle de origem⚡️ Falha na aplicação de controle de versões semântico, impossibilitando a correlação de incidentes com implantações específicas

Padrões

Onde procurarQual é a boa aparência
Plataforma | Documentação✅ Mantenha um registro de modelo que registra quais versões de modelo são implementadas, incluindo família de modelos, versão específica, estado de ajuste fino, ambiente, data de implementação e equipe responsável
Plataforma | Documentação✅ Registrar todas as implementações do agente, incluindo versão, ambiente, carimbo de data e hora, usuário de implementação, aprovações obtidas e resultado da implementação
Plataforma | Documentação✅ Mapeie dependências entre agentes, avisos, bases Knowledge, ações e integrações explicitamente em vez de descobri-las durante incidentes
Negócios | Processo✅ Estabelecer uma agenda de descontinuação com um período de aviso mínimo com suporte em política comunicado com antecedência suficiente, habilitando migrações planejadas em vez de respostas de emergência a descontinuações forçadas
Plataforma | Documentação✅ Procedimentos de reversão de documento para cada agente, incluindo versão de destino, etapas de execução, testes de validação e requisitos de notificação
Plataforma | Preparação✅ Testar procedimentos de reversão em ambientes que não sejam de produção para validar se eles funcionam antes de depender deles durante incidentes de produção

Anti-Padrões

Onde procurarQual é a aparência ruim
Plataforma | DocumentaçãoDescobrir dependências entre agentes, avisos e bases de Knowledge apenas durante incidentes, em vez de manter mapas de dependência explícitos
Negócios | Processo⚡️ Fornecer um aviso de descontinuação insuficiente forçando migrações de emergência em vez de transições planejadas
Plataforma | Documentação⚡️ Ter procedimentos de reversão não testados que falham quando mais necessário durante incidentes de produção
Plataforma | Implantação⚡️ Implantar agentes sem registrar versão, ambiente, aprovações ou resultado, perdendo a capacidade de correlacionar incidentes com implantações

Padrões

Onde procurarQual é a boa aparência
Plataforma | UI✅ Colete feedback explícito (polegar para cima e para baixo, pontuações de qualidade, comentários) e feedback implícito (taxas de conclusão, frequências de escalação, padrões de repetição) sistematicamente
Data 360 | Curadoria de dados✅ Organize registros de conversa em conjuntos de dados de treinamento filtrando pela qualidade, removendo exemplos problemáticos, garantindo a representatividade e desduplicando
Data 360 | Fundamentação✅ Adapte os agentes ao vocabulário de domínio, aos processos de negócios e ao Knowledge específico da organização, principalmente por meio do RAG baseado no Data 360 e do ajuste rápido – o caminho de adaptação nativo do Salesforce
Einstein | BYOLLM✅ Quando a fundamentação e o ajuste de prompts forem insuficientes, faça o ajuste fino de um modelo externamente e conecte-o por meio de BYOLLM, em vez de esperar o ajuste fino generativo na plataforma
Einstein | Criador de prompts✅ Estabelecer ritmo de revisão de prompts regular examinando conversas recentes, métricas de qualidade e feedback do usuário identificando oportunidades de melhoria
Einstein | Criador de prompts✅ Implemente alterações de prompt incrementalmente com testes A/B validando melhorias antes da distribuição completa
Agentforce | Configuração do agente✅ Mantenha conjuntos de teste que abrangem caminhos felizes, casos de extremidade, entradas adversárias e cenários de problemas históricos, expandindo-se continuamente à medida que novos casos de extremidade são descobertos

Anti-Padrões

Onde procurarQual é a aparência ruim
Plataforma | Dados⚡️ Tentando melhorar sem coleta de feedback sistemática, fazendo suposições de melhoria em vez de dados orientados
Data 360 | Curadoria de dados⚡️ Usar registros de conversa não selecionados para treinamento, incluindo violações de segurança, erros e exemplos não representativos
Data 360 | Fundamentação⚡️ Alcançar o ajuste fino externo antes de esgotar a fundamentação RAG e o ajuste de prompt, o caminho nativo que resolve a maioria das necessidades de adaptação de domínio sem um modelo personalizado
Einstein | Criador de prompts⚡️ Tratar a engenharia de prompts como um exercício único em vez de uma prática contínua ajustada conforme os padrões de uso evoluem
Agentforce | Configuração do agente⚡️ Ter conjuntos de teste estáticos que nunca se expandem para cobrir novos casos de ponta descobertos em produção

Padrões

Onde procurarQual é a boa aparência
Plataforma | Tipos de metadados personalizados✅ Implemente sinalizadores de recurso usando tipos de metadados personalizados ou configurações personalizadas para desacoplar a implantação da versão para alterações de agente de alto risco
Plataforma | Conjuntos de permissões✅ Implemente implantações Canary liberando alterações de agente para um pequeno subconjunto de usuários primeiro usando conjuntos de permissões que controlam o acesso do agente
Agentforce | Configuração do agente✅ Monitore a coorte canária medindo intensivamente as taxas de sucesso, a qualidade, as taxas de erro, a latência, o consumo do token e a satisfação e expanda a distribuição apenas quando o canário corresponde ou melhora no grupo de controle que executa a versão do agente anterior
Plataforma | Analytics✅ Defina critérios de sucesso antes de iniciar testes A/B para evitar resultados ambíguos, alinhados aos objetivos de negócios
Agentforce | Configuração do agente✅ Implementar testes de campeão e desafiador mantendo a versão comprovada como fallback enquanto compara a versão de desafiador aprimorada
Negócios | Processo✅ Estabelecer critérios de promoção objetivos, incluindo tamanho mínimo da amostra, limites de qualidade e duração da avaliação antes das decisões de promoção

Anti-Padrões

Onde procurarQual é a aparência ruim
Agentforce | Configuração do agenteDistribuir alterações de agente para todos os usuários ao mesmo tempo sem testes de canary, maximizando o raio de problemas
Plataforma | Implantação⚡️ Implementar alterações de agente de alto risco sem sinalizadores de recurso habilitando reversão instantânea sem reimplementação
Plataforma | AnalyticsExecutar testes A/B sem critérios de sucesso predefinidos, levando a resultados ambíguos e decisões ruins
Plataforma | AnalyticsExecutar experiências com tamanho de amostra insuficiente produzindo resultados ruidosos que levam a conclusões incorretas
Agentforce | Configuração do agente⚡️ Usar sinalizadores de recurso para cada pequena alteração de prompt em vez de reservá-los para alterações de alto risco para agentes essenciais para os negócios

Padrões

Onde procurarQual é a boa aparência
Plataforma | Monitoramento✅ Detectar falhas do agente por meio de alerta de monitoramento automatizado sobre taxas de erro, degradação da métrica de qualidade, anomalias de custo, aumentos de latência e escalonamentos de usuário
Plataforma | Monitoramento✅ Suplementar a detecção automatizada com mecanismos de relatório do usuário que permitem a escalação de erros de monitoramento automatizado de problemas
Negócios | Processo✅ Defina critérios de gravidade de modo objetivo com base no impacto do usuário, no raio de explosão, no risco de integridade dos dados e na urgência da recuperação
Plataforma | Documentação✅ Documente procedimentos de resposta inicial como manuais executáveis por engenheiros na chamada sem conhecimento aprofundado do agente
Agentforce | Configuração do agente✅ Inclua na resposta inicial: desabilitar agente com falha (interruptor de circuito), rotear para fallback, coletar diagnósticos, notificar as partes interessadas, iniciar a comunicação de incidentes

Anti-Padrões

Onde procurarQual é a aparência ruim
Plataforma | MonitoramentoConfiar em relatórios do usuário como mecanismo de detecção primário em vez de monitoramento automatizado para falhas do agente
Negócios | Processo⚡️ Usar classificação de gravidade subjetiva que leva a problemas reais de escalonamento inferior ou problemas secundários de escalonamento excessivo
Plataforma | Documentação⚡️ Não ter manuais, exigindo investigação específica do incidente por engenheiros com profundo conhecimento do agente durante cada incidente
Negócios | Processo⚡️ Tratar falhas do agente de maneira idêntica às falhas do aplicativo tradicional sem levar em conta alucinações, respostas fora do tópico ou violações de segurança

Padrões

Onde procurarQual é a boa aparência
Plataforma | Apex✅ Implemente os disruptores de circuito com limite de erro configurável (por exemplo, taxa de erro de 50%), janela de duração (por exemplo, janela dinâmica de 5 minutos) e teste de recuperação (solicitações de avaliação periódica)
Agentforce | Configuração do agente✅ Projetar hierarquias de fallback: Agente sofisticado principal → Agente de backup mais simples → Respostas frequentes estáticas → Transferência humana
Plataforma | Orquestração✅ Implemente a lógica de fallback na camada de orquestração, em vez de dentro de agentes individuais, permitindo um comportamento consistente em todo o ecossistema do agente
Agentforce | Configuração do agente✅ Projetar fluxos de trabalho de transferência humana preservando o contexto da conversa, comunicando o motivo da transferência e roteando para o agente humano adequado com conhecimento relevante
Plataforma | Monitoramento✅ Monitore as taxas de transferência por tópico, agente e motivo da falha para identificar lacunas de capacidade do agente
Agentforce | Configuração do agente✅ Quando o raciocínio sofisticado falhar, volte para uma lógica mais simples; quando os dados em tempo real estiverem indisponíveis, operar em dados em cache; quando as integrações falharem, operar no modo somente leitura
Plataforma | Orquestração✅ Testar caminhos de fallback regularmente, validando se eles funcionam quando necessário

Anti-Padrões

Onde procurarQual é a aparência ruim
Agentforce | Configuração do agente⚡️ Não ter interruptores de circuito, permitindo que agentes com falha afetem repetidamente os usuários enquanto os problemas são resolvidos
Plataforma | Orquestração⚡️ Implementar a lógica de fallback em agentes individuais, em vez de na camada de orquestração, criando comportamento inconsistente
Agentforce | Configuração do agente⚡️ Projetar agentes de aprovação/falha binários que funcionam perfeitamente ou falham completamente sem opções de degradação adequadas
Plataforma | Orquestração⚡️ Nunca teste caminhos de fallback, descobrindo que eles não funcionam apenas durante incidentes reais
Agentforce | Configuração do agenteTransferência humana que perde o contexto da conversa forçando os usuários a repetir informações

Padrões

Onde procurarQual é a boa aparência
Negócios | Processo✅ Realize análises pós-incidente impecáveis com foco em melhorias do sistema em vez de falha individual criando segurança psicológica
Negócios | Processo✅ Crie uma linha do tempo detalhada de condições iniciais por meio de detecção, investigação, resposta, recuperação e validação com carimbos de data e hora
Negócios | Processo✅ Use a técnica de detalhamento “Cinco razões” dos sintomas para causas fundamentais em vez de conclusões simplificadas
Negócios | Processo✅ Analisar fatores relevantes, incluindo lacunas de monitoramento, lacunas de teste, lacunas de documentação, lacunas de automação e lacunas arquitetônicas
Negócios | Processo✅ Avaliar detecção: qual sinal deve ter detectado o problema anteriormente, qual monitoramento permite uma detecção mais rápida
Negócios | Processo✅ Especifique itens de ação específicos atribuídos que impedem a recorrência (por exemplo, “adicionar alerta para taxa de erro acima de 5% em 10 minutos - atribuído: Alex – vencimento: 2 semanas”)
Negócios | Processo✅ Acompanhe a conclusão do item de ação em revisões subsequentes garantindo que melhoria contínua realmente ocorra
Plataforma | Documentação✅ Documentar análises pós-incidente na base de Knowledge compartilhada com marcação que habilita a análise de padrão em vários incidentes
Negócios | Processo✅ Compartilhe análises pós-incidente largamente além dos respondentes de incidentes imediatos por meio de reuniões de equipe ou sessões de almoço e aprendizado

Anti-Padrões

Onde procurarQual é a aparência ruim
Negócios | Processo⚡️ Pós-mortemas focados em culpa que reduzem a segurança psicológica e impedem a avaliação honesta de falhas
Negócios | Processo⚡️ Conclusões de causa raiz simples (“o agente tinha um bug”) em vez de descobertas específicas que permitem uma solução eficaz
Negócios | ProcessoItens de ação vazios, como “melhorar o monitoramento”, em vez de tarefas específicas atribuídas e com prazo definido
Negócios | ProcessoTaxas baixas de conclusão de item de ação indicando falha do processo de melhoria contínua
Negócios | Processo⚡️ Manter aprendizado pós-incidente isolado para respostas imediatas em vez de compartilhar amplamente para aprendizado organizacional

Padrões

Onde procurarQual é a boa aparência
Negócios | Processo✅ Validar a lista de verificação pré-implementação, incluindo teste, revisão de segurança, validação de conformidade, documentação, configuração de monitoramento e aprovação da parte interessada
Negócios | Processo✅ Avaliar o risco com base no raio de explosão, na confidencialidade dos dados, na autoridade de ação, nas dependências de integração, na complexidade da recuperação e nas implicações de conformidade
Negócios | Processo✅ Requisitos de aprovação de escala com base no risco: alto risco requer aprovação executiva, revisão de segurança e distribuição gradual; baixo risco requer revisão por pares e testes padrão
Plataforma | Processos de aprovação✅ Implementar fluxos de trabalho de aprovação automatizados, rastreados e auditáveis usando processos de aprovação do Salesforce ou ferramentas de implementação externas
Negócios | Processo✅ Defina procedimentos de desvio de emergência que exigem aprovação executiva, documentação de fundamento e revisão pós-implementação acelerada
Plataforma | Monitoramento✅ Rastreie implantações de emergência separadamente; a alta frequência de implantação de emergência indica problemas de processo que exigem investigação

Anti-Padrões

Onde procurarQual é a aparência ruim
Negócios | ProcessoAplicar profundidade uniforme de aprovação independentemente do perfil de risco do agente, desperdiçar esforço em agentes de baixo risco ou subavaliando agentes de alto risco
Negócios | Processo⚡️ Implementar agentes de produção sem validação da lista de verificação pré-implementação de testes, segurança, conformidade e monitoramento
Plataforma | Implantação⚡️ Não ter procedimentos de desvio de emergência, causando atrasos críticos durante incidentes de produção
Negócios | Processo⚡️ Frequentemente exigindo implantações de emergência, indicando processos padrão corrompidos em vez de circunstâncias excepcionais

Padrões

Onde procurarQual é a boa aparência
Agentforce | Configuração do agente✅ Características de saída de teste (contém informações obrigatórias, mantém o tom adequado, inclui citações) em vez de texto exato para saídas de agente não deterministas
Agentforce | Configuração do agente✅ Estabelecer limites mínimos de qualidade (por exemplo, “precisão de 95% no conjunto de testes em espera, nenhuma violação de segurança, auditoria de imparcialidade mostra nenhuma disparidade demográfica superior a 5%“)
Agentforce | Configuração do agente✅ Realize testes de segurança com entradas adversárias, incluindo injeção de prompt, tentativas de jailbreak, escalação de solicitação e solicitações fora do escopo
Agentforce | Configuração do agente✅ Ter testes de segurança realizados por membros da equipe que não estejam envolvidos no desenvolvimento do agente, fornecendo novas percepções sobre vulnerabilidades
Plataforma | Teste de desempenho✅ Teste sob carregamento realista, incluindo conversas simultâneas, durações típicas da conversa e volume de uso projetado
Plataforma | Segurança✅ Valide se os agentes não podem acessar dados não autorizados, realizar ações não autorizadas e que a injeção de prompt não pode escalar privilégios
Plataforma | CI/CD✅ Integre a verificação de segurança ao pipeline de implementação usando o Salesforce Code Analyzer e ferramentas de segurança de IA especializadas

Anti-Padrões

Onde procurarQual é a aparência ruim
Agentforce | Configuração do agente⚡️ Testar agentes para a correspondência exata de texto em saídas não determinísticas em vez de testar características de saída
Plataforma | Teste de desempenhoTeste somente com cenários de usuário único, problemas de limite do regulador ausentes, restrições de recurso e gargalos de escalabilidade
Agentforce | Configuração do agente⚡️ Ignorar testes de segurança ou fazer os desenvolvedores testarem seus próprios agentes sem uma nova perspectiva sobre vulnerabilidades
Plataforma | Segurança⚡️ Não testar se a injeção de prompt pode escalar os privilégios do agente ou acessar dados não autorizados
Agentforce | Configuração do agente⚡️ Ter conjuntos de teste estáticos que não representam diversidade de uso real, incluindo diferentes tipos de usuário e complexidades de conversa

Padrões

Onde procurarQual é a boa aparência
Plataforma | Documentação✅ Documente todas as alterações: o que mudou, por quê, qual teste o validou e qual procedimento de reversão existe
Negócios | Comunicação✅ Notifique todas as partes interessadas (usuários, equipes de operações, suporte, negócios) descrevendo o que está mudando, quando, quais benefícios, quais riscos e quem contatar
Negócios | Comunicação✅ Estabelecer modelos de comunicação para diferentes tipos de alteração padronizando mensagens e reduzindo a sobrecarga de preparação
Plataforma | Monitoramento de evento✅ Implantações do agente de tempo durante períodos de uso baixo informadas por dados de Monitoramento de evento mostrando padrões de uso reais
Negócios | Processo✅ Implementar alterações importantes do agente no início da semana, evitando fins de semana com capacidade reduzida de resposta a incidentes
Negócios | Processo✅ Estabelecer períodos de congelamento de alteração antes de grandes eventos de negócios (fim do ano fiscal, lançamentos de produtos, campanhas de marketing importantes)
Negócios | Processo✅ Calendário de congelamento de alteração de documento comunicando anualmente períodos restritos com antecedência suficiente

Anti-Padrões

Onde procurarQual é a aparência ruim
Plataforma | Implantação⚡️ Implantação durante uso de pico, fechamento de fim de mês, fechamento de fim de trimestre ou eventos comerciais importantes
Plataforma | Implantação⚡️ Implantação em segundas-feiras (aprimoramento) ou sextas-feiras (equipe reduzida) quando a capacidade de resposta a incidentes estiver limitada
Negócios | Processo⚡️ Ter alterações excessivas congela a velocidade de melhoria sem redução proporcional do risco
Negócios | ComunicaçãoImplementar alterações de agente sem notificar usuários afetados, equipes de operações, equipes de suporte ou partes interessadas de negócios
Plataforma | Documentação⚡️ Fazer alterações sem justificar a documentação, criando organizações que descobrem novamente lições em vez de se basearem na experiência

Padrões

Onde procurarQual é a boa aparência
Plataforma | UI✅ Implemente a coleta de feedback na interface do usuário da conversa habilitando a resposta imediata enquanto a interação está atualizada em vez de atrasada na coleta
Plataforma | Analytics✅ Registros de conversas de consulta analisando tipos de pergunta, durações da conversa, taxas de sucesso por tópico e satisfação do usuário por características da conversa
Plataforma | Analytics✅ Analisar o agrupamento de registros de erro por tipo de erro, usuários afetados, padrões de conversa e distribuição temporal para revelar problemas sistemáticos
Plataforma | Analytics✅ Priorizar a remoção de erros por frequência e impacto: erros de alta frequência que afetam muitos usuários exigem atenção imediata
Plataforma | Monitoramento✅ Estabelecer linhas de base de qualidade após a implantação inicial e monitorar a qualidade contínua em relação ao alerta de linhas de base quando as tendências diminuírem

Anti-Padrões

Onde procurarQual é a aparência ruim
Plataforma | UIAdiar a coleta de feedback (por exemplo, emails de acompanhamento dias depois) reduzindo as taxas de resposta e introduzindo o viés de recall
Plataforma | Analytics⚡️ Não analisar padrões de uso para determinar se os agentes justificam a complexidade operacional ou se os recursos estão subutilizados
Plataforma | Analytics⚡️ Tratar todos os erros igualmente, em vez de priorizar por frequência e impacto comercial
Plataforma | Monitoramento⚡️ Tomar decisões de melhoria sem dados, sem linhas de base de qualidade e monitoramento de tendência

Padrões

Onde procurarQual é a boa aparência
Negócios | Processo✅ Forneça uma estrutura de experimentos consistente: hipótese, design experimental, métricas, tamanho da amostra e critérios de sucesso
Negócios | Processo✅ Documentar experiências antes da execução, evitando interpretação ambígua dos resultados
Plataforma | Analytics✅ Acompanhe a atribuição da variante nos metadados da conversa habilitando a correlação de resultados por variante
Plataforma | Analytics✅ Calcule o tamanho da amostra necessário antes de realizar experiências com base no tamanho do efeito esperado, na potência estatística e nas taxas de erro aceitáveis
Plataforma | Analytics✅ Use a otimização de bandido multifator para alocar dinamicamente mais tráfego a variantes com melhor desempenho, reduzindo o custo da oportunidade
Plataforma | Documentação✅ Mantenha o catálogo de experiências com variantes testadas, resultados medidos, resultados alcançados e decisões tomadas para evitar o reteste de abordagens com falha

Anti-Padrões

Onde procurarQual é a aparência ruim
Negócios | ProcessoExecutar experiências sem hipóteses predefinidas e critérios de sucesso que levam a resultados ambíguos
Plataforma | Analytics⚡️ Usar tamanhos de amostra insuficientes produzindo resultados ruidosos que levam a decisões de melhoria ruins
Plataforma | Documentação⚡️ Não ter um catálogo de experimentos, fazendo com que as equipes testem novamente abordagens com falha anteriormente e perdem o Knowledge organizacional
Plataforma | Analytics⚡️ Não rastrear quais usuários receberam quais variantes, impossibilitando a correlação de resultados