Excellence opérationnelle - Schémas agentsiques
En savoir plus sur Excellence opérationnelle bien archivée → Excellence opérationnelle Agentic Enterprise
Modèles
| Où chercher | À quoi ressemble le bien |
|---|---|
| Agentforce | Traçage des sessions | ✅ Utilisez le modèle STDM (Session Tracing Data Model) natif qui capture les interactions des agents dans un modèle de données unifié sur Data 360 plutôt que de construire un système de télémétrie parallèle, en enregistrant chaque conversation sous forme de hiérarchie de traces de sessions, d’interactions (tours) et d’étapes (UserInputStep, LLMExecutionStep, FunctionStep) |
| Agentforce | Traçage des sessions | ✅ S’appuyer sur les objets STDM standard (AIAgentSession, AIAgentSessionParticipant, AIAgentInteraction, AIAgentInteractionStep, AIAgentInteractionMessage), qui capturent les actions nativement en tant qu’étapes d’interaction au lieu de demander un journal d’actions séparé |
| Agentforce | Traçage des sessions | ✅ Récupérer les détails d’utilisation de jetons, de modèle et d’invite en joignant des étapes d’interaction à leurs enregistrements d’appel LLM (via GenerationId et GenAiGatewayRequest/Response) plutôt que de les stocker en tant que champs de session personnalisés |
| Agentforce | Traçage des sessions | ✅ Capturer les traces de raisonnement du moteur de raisonnement Atlas — le traçage de session enregistre les étapes du planificateur dans le cadre de chaque interaction — pour révéler les processus de décision des agents et améliorer la débogabilité |
| Agentforce | Configuration de l’agent | ✅ Consigner les détails de tour de rôle, notamment l’entrée de l’utilisateur, la réponse de l’agent, l’explication du raisonnement, les scores de confiance, le contexte récupéré, les actions tentées et les erreurs rencontrées |
| Einstein | Couche de Trust | ✅ Activez le journal d’audit de l’IA générative de la couche Trust Einstein (texte d’invite et de réponse, versions masquées par les informations d’identification personnelle, données d’ancrage, scores de sécurité et de toxicité, détails du modèle) diffusé dans Data 360, plus l’IA générative Einstein et la collecte et le stockage des données de commentaires pour une rétention à long terme |
| Plate-forme | Objets personnalisés | ✅ Réserver des objets de consignation personnalisés pour des exceptions délibérées, par exemple un objet léger corrélant le comportement de l’agent avec les résultats métiers, au lieu d’en faire le substrat de consignation principal |
| Plate-forme | Tableau de bord | ✅ Corréler le comportement des agents avec les résultats métiers, identifier les opportunités d’amélioration par l’analyse des modèles et alimenter les pipelines d’apprentissage continu avec des exemples étiquetés de qualité |
Anti-modèles
| Où chercher | À quoi ressemble mal |
|---|---|
| Plate-forme | Objets personnalisés | ⚠️ Élaboration manuelle d’objets transactionnels personnalisés en tant que substrat principal de consignation des conversations au lieu du modèle natif de données de traçage des sessions, rencontrant des problèmes d’échelle de stockage des conversations à plusieurs tours, des charges utiles JSON importantes et une croissance rapide des données |
| Agentforce | Traçage des sessions | ⚠️ Construire un système de télémétrie parallèle lorsque le Traçage de session Agentforce capture déjà les interactions dans un modèle de données unifié sur Data 360 |
| Agentforce | Configuration de l’agent | ⚠️ Consigner uniquement les réponses des agents sans capturer les entrées, les traces de raisonnement, le contexte récupéré et les actions exécutées |
| Einstein | Couche de Trust | ⚠️ Désactivation du journal d’audit Einstein Trust Layer en production ou non activation de la Collecte et stockage des données de commentaires pour la rétention à long terme dans Data 360 |
| Plate-forme | Surveillance | ⚠️ S’appuyant uniquement sur la réussite/l’échec de la conversation sans capturer l’utilisation de jetons, le modèle et les détails d’invite via les jointures d’appels LLM STDM |
Modèles
| Où chercher | À quoi ressemble le bien |
|---|---|
| Plate-forme | Surveillance | ✅ Mesurer la latence de réponse aux percentiles (p50, p95, p99) révélant des performances typiques et des expériences dans le pire des cas |
| Plate-forme | Surveillance | ✅ Instrumenter chaque phase de latence séparément (inférence du modèle, récupération du contexte, exécution d’actions, réseau) permettant une optimisation ciblée |
| Plate-forme | Surveillance | ✅ Alerte lorsque la latence p95 dépasse les seuils indiquant une dégradation des performances |
| Plate-forme | Surveillance | ✅ Suivre la distribution des jetons (jetons d’invite, jetons de réalisation, nombre total de jetons) par conversation, par agent et par cas d’utilisation |
| Plate-forme | Surveillance | ✅ Détecter les conversations aberrantes qui consomment des jetons excessifs suggérant des problèmes rapides ou une mauvaise utilisation |
| Plate-forme | Surveillance | ✅ Comparer le débit actuel aux limites de taux connues ou aux niveaux de référence de capacité alertant lorsque les seuils approchent |
| Plate-forme | Surveillance | ✅ Calculer les taux d’erreur en pourcentage du nombre total de requêtes permettant la comparaison entre les agents et les périodes |
| Plate-forme | Surveillance | ✅ Différencier les catégories d’erreur (erreurs de modèle, erreurs d’autorisation, erreurs d’intégration) nécessitant des réponses différentes |
| Plate-forme | Surveillance | ✅ Calculer la disponibilité en pourcentage de temps pendant lequel les agents ont répondu avec succès aux demandes et suivre par rapport aux SLO |
| Plate-forme | Proactive Monitoring | ✅ Configurer des seuils Proactive Monitoring basés sur des modèles de comportement de référence des agents plutôt que d’accepter des paramètres par défaut |
| Plate-forme | Centre d’échelle | ✅ Examiner les données du Centre d’échelle après avoir déployé de nouveaux agents ou apporté des modifications rapides importantes pour valider la consommation de ressources correspondant aux attentes |
Anti-modèles
| Où chercher | À quoi ressemble mal |
|---|---|
| Plate-forme | Surveillance | ⚠️ Mesurer uniquement la latence moyenne au lieu de percentiles, masquer les expériences utilisateur les plus pessimistes |
| Plate-forme | Surveillance | ⚠️ Suivi de la latence totale sans instrumenter les phases individuelles (inférence, récupération, exécution d’action) |
| Plate-forme | Surveillance | ⚠️ Traiter toutes les erreurs de la même façon plutôt que de classer par type (modèle, autorisation, intégration) pour une réponse appropriée |
| Plate-forme | Proactive Monitoring | ⚠️ Acceptation des seuils Proactive Monitoring par défaut sans s’accorder aux schémas de comportement de référence des agents |
| Plate-forme | Centre d’échelle | ⚠️ Déploiement de nouveaux agents ou modifications rapides sans consulter les données du Centre d’échelle pour valider la consommation de ressources |
| Plate-forme | Surveillance | ⚠️ Ignorer les modèles de consommation de jetons et ne pas détecter les conversations aberrantes consommant 10 fois les jetons typiques |
Modèles
| Où chercher | À quoi ressemble le bien |
|---|---|
| Agentforce | Centre de test | ✅ Commencez avec l’outil de test et d’évaluation natif: maintenir des ensembles de requêtes test réutilisables au Centre de test Agentforce et exécuter les agents contre eux par lot, en vérifiant si l’agent a sélectionné la rubrique et l’action attendues et produit une réponse acceptable |
| Agentforce | Centre de test | ✅ Utilisez des évaluateurs natifs (dimensions de qualité prêtes à l’emploi et approche LLM-as-juge pour évaluer la qualité conversationnelle) et rédigez des évaluateurs personnalisés pour des critères spécifiques à l’organisation, en utilisant des conversations représentatives afin que l’évaluation reflète l’utilisation réelle |
| Agentforce | Centre de test | ✅ Pour les questions factuelles avec des réponses connues, maintenez les assertions avec des réponses connues en tant que cas de test répétitifs dans le Centre de test. Pour les questions ouvertes, ajoutez un examen humain des conversations échantillons |
| Data 360 | Qualité de la récupération | ✅ Pour les agents ancrés dans une base Knowledge, utilisez l’analyse native de récupération-qualité afin d’évaluer la pertinence du contexte, la pertinence des réponses et la fidélité (ancrage) des réponses |
| Einstein | Couche de Trust | ✅ S’appuyer sur la détection de la toxicité à l’exécution de la couche de Trust Einstein en tant que première ligne de protection, puis améliorer la surveillance de la sécurité par le filtrage des contenus, l’échantillonnage manuel des examens, les rapports utilisateur et les audits d’équité à travers les groupes démographiques |
| Data 360 | GenAIFeedback | ✅ Capturer la satisfaction des utilisateurs à travers les commentaires Agentforce circulant dans les DMO GenAIFeedback / GenAIFeedbackDetail dans Data 360 (pouce vers le haut/vers le bas, accepter/rejeter, modifications, commentaires textuels) avec les données de requête et de génération de passerelle |
| Plate-forme | Analytics | ✅ Combiner des commentaires explicites (demandés avant l’escalade, après la conversation, enquêtes de suivi) avec des signaux implicites (taux de réalisation, escalade, abandon, tentatives), en les corrélant aux caractéristiques de la conversation pour guider la priorisation de l’amélioration |
Anti-modèles
| Où chercher | À quoi ressemble mal |
|---|---|
| Agentforce | Centre de test | ⚠️ Élaboration et exécution d’un harnais de test personnalisé au lieu de commencer avec les ensembles de tests réutilisables du Centre de test Agentforce et les évaluateurs natifs |
| Agentforce | Centre de test | ⚠️ S’appuyer uniquement sur l’évaluation automatisée sans examen humain pour l’évaluation de la qualité des réponses ouvertes |
| Plate-forme | Surveillance | ⚠️ Surveillance de la précision uniquement sans suivre les dimensions de pertinence, de sécurité et de satisfaction utilisateur |
| Data 360 | GenAIFeedback | ⚠️ Échec de la collecte d’un quelconque commentaire utilisateur (explicite ou implicite) sur la qualité de réponse des agents lorsque les commentaires Agentforce circulent déjà dans les DMO GenAIFeedback |
| Agentforce | Configuration de l’agent | ⚠️ Ignorer les audits d’équité évaluant la distribution des résultats entre les groupes démographiques |
Modèles
| Où chercher | À quoi ressemble le bien |
|---|---|
| Agentforce | Configuration de l’agent | ✅ Établir les performances de référence immédiatement après le déploiement de l’agent en mesurant la précision, la pertinence, la sécurité et la satisfaction dans des cas de test représentatifs |
| Agentforce | Configuration de l’agent | ✅ Réévaluer périodiquement par rapport aux mêmes cas de test en révélant des changements de performance indépendants des changements de modèle d’utilisation |
| Plate-forme | Surveillance | ✅ Alerte lorsque les métriques de qualité déclinent au-delà des seuils acceptables définis par la tolérance à l’impact métier |
| Plate-forme | Analytics | ✅ Surveiller les caractéristiques d’entrée (longueur de la question, distribution des rubriques, complexité de la langue, terminologie du domaine) en détectant les changements de distribution importants |
| Plate-forme | Surveillance | ✅ Surveiller les caractéristiques de réponse (longueur moyenne des réponses, taux d’invocation d’actions, fréquences d’escalade, modèles d’erreur) en établissant des références comportementales |
| Plate-forme | Surveillance | ✅ Configurer le déclenchement d’alertes automatisées lorsque les métriques de dérive dépassent les seuils déclenchant une enquête et une réparation |
Anti-modèles
| Où chercher | À quoi ressemble mal |
|---|---|
| Agentforce | Configuration de l’agent | ⚠️ Échec de l’établissement des performances de référence après le déploiement initial de l’agent, rendant la dérive indétectable |
| Plate-forme | Surveillance | ⚠️ Ignorer la dérive de distribution lorsque les modèles d’entrée utilisateur changent significativement par rapport à ce que les agents ont été conçus pour gérer |
| Plate-forme | Surveillance | ⚠️ Ne pas surveiller les changements de comportement (longueur des réponses, taux d’action, fréquences d’escalade) par rapport aux valeurs de référence établies |
| Plate-forme | Surveillance | ⚠️ Ne pas avoir d’alerte automatisée pour les métriques de dérive, ne s’appuyant que sur l’observation manuelle pour détecter les dégradations |
Modèles
| Où chercher | À quoi ressemble le bien |
|---|---|
| Plate-forme | Surveillance | ✅ Surveiller les distributions de consommation de jetons en détectant les conversations aberrantes et enquêter sur ceux qui consomment 10x jetons typiques |
| Plate-forme | Surveillance | ✅ Détecter des augmentations soudaines des taux d’échec, de nouveaux types d’erreur qui ne sont pas dans la base de référence ou des concentrations d’erreurs localisées affectant des utilisateurs ou des agents spécifiques |
| Plate-forme | Analytics | ✅ Suivre les abandons de conversation par étape de conversation en identifiant si les utilisateurs abandonnent pendant l’interaction initiale, en pleine conversation ou après la réalisation d’une tâche |
| Plate-forme | Surveillance | ✅ Acheminer immédiatement les défaillances critiques des agents vers les ingénieurs d’astreinte, la dégradation de la qualité vers les équipes produit pendant les heures ouvrables et les anomalies mineures vers les résumés quotidiens |
Anti-modèles
| Où chercher | À quoi ressemble mal |
|---|---|
| Plate-forme | Surveillance | ⚠️ Traiter toutes les alertes avec la même urgence, provoquant la fatigue des alertes et les échecs critiques manqués |
| Plate-forme | Surveillance | ⚠️ Ignorer les anomalies de coût telles que les pics de consommation de jetons qui peuvent indiquer des problèmes rapides, des abus ou des problèmes d’infrastructure |
| Plate-forme | Analytics | ⚠️ Ne pas suivre les taux d’abandon de conversation ou ne pas analyser l’abandon par étape |
| Plate-forme | Surveillance | ⚠️ Attente des rapports utilisateur plutôt que détection proactive des pics de taux d’erreur grâce à la surveillance automatisée |
Modèles
| Où chercher | À quoi ressemble le bien |
|---|---|
| Plate-forme | Contrôle de source | ✅ Stocker les modèles d’invite dans Git avec le code de l’application en traitant les invites comme une logique d’application critique méritant un examen du code, des tests et un déploiement contrôlé |
| Einstein | Générateur de répliques | ✅ Utilisez Générateur de répliques pour le développement itératif d’invites avec l’historique des versions et des capacités de test, puis exportez vers le contrôle des versions pour les pipelines de déploiement |
| Plate-forme | Contrôle de source | ✅ Stocker les configurations (sélection du modèle, température, limites en jetons, configurations de récupération, autorisations d’action, indicateurs de fonctionnalité) sous forme de code permettant des valeurs spécifiques à l’environnement et la détection des dérives |
| Plate-forme | Contrôle de source | ✅ Appliquer la gestion des versions sémantiques aux composants de l’agent : majeur (modifications en cours), mineur (fonctionnalités), correctif (correctifs de bogues) avec des numéros de version affichés dans les journaux |
| Plate-forme | Documentation | ✅ Documenter ce qui a changé, les raisons pour lesquelles il a changé, les tests qui ont validé la modification et les procédures d’annulation existantes pour chaque modification d’invite et de configuration |
Anti-modèles
| Où chercher | À quoi ressemble mal |
|---|---|
| Einstein | Générateur de répliques | ⚠️ Effectuer des modifications rapides sans révision de code, test ou processus de déploiement contrôlé |
| Plate-forme | Configuration | ⚠️ Stockage des configurations des agents hors du contrôle de la source où la dérive ne peut pas être détectée et les déploiements ne peuvent pas être automatisés |
| Plate-forme | Documentation | ⚠️ Effectuer des modifications rapides sans documenter la justification, les résultats d’essais ou les procédures d’annulation |
| Plate-forme | Contrôle de source | ⚠️ Échec de l’application de la gestion des versions sémantiques, rendant impossible la corrélation des incidents avec des déploiements spécifiques |
Modèles
| Où chercher | À quoi ressemble le bien |
|---|---|
| Plate-forme | Documentation | ✅ Tenir un registre de modèle enregistrant les versions de modèle déployées, notamment la famille du modèle, la version spécifique, l’état d’ajustement, l’environnement, la date de déploiement et l’équipe responsable |
| Plate-forme | Documentation | ✅ Consigner chaque déploiement d’agent, y compris la version, l’environnement, l’horodatage, l’utilisateur déployant, les approbations obtenues et le résultat du déploiement |
| Plate-forme | Documentation | ✅ Mapper explicitement les dépendances entre les agents, les invites, les bases Knowledge, les actions et les intégrations plutôt que de les découvrir lors d’incidents |
| Entreprise | Processus | ✅ Établir un calendrier de dépréciation avec un délai de préavis minimum garanti par la politique communiqué suffisamment à l’avance, permettant des migrations planifiées plutôt que des réponses d’urgence aux dépréciations forcées |
| Plate-forme | Documentation | ✅ Procédures de restauration de documents pour chaque agent, y compris la version cible, les étapes d’exécution, les tests de validation et les exigences de notification |
| Plate-forme | Staging | ✅ Tester les procédures de restauration dans des environnements de non-production en validant leur fonctionnement avant de les dépendre lors d’incidents de production |
Anti-modèles
| Où chercher | À quoi ressemble mal |
|---|---|
| Plate-forme | Documentation | ⚠️ Découverte des dépendances entre les agents, les invites et les bases Knowledge uniquement lors d’incidents plutôt que de maintenir des cartes de dépendance explicites |
| Entreprise | Processus | ⚠️ Fournir un avis de dépréciation insuffisant forçant des migrations d’urgence plutôt que des transitions planifiées |
| Plate-forme | Documentation | ⚠️ Avoir des procédures de restauration non testées qui échouent en cas de besoin lors d’incidents de production |
| Plate-forme | Déploiement | ⚠️ Déploiement d’agents sans consigner la version, l’environnement, les approbations ou le résultat, perte de capacité à corréler les incidents avec les déploiements |
Modèles
| Où chercher | À quoi ressemble le bien |
|---|---|
| Plate-forme | Interface utilisateur | ✅ Recueillir des commentaires explicites (pouces vers le haut/vers le bas, scores de qualité, commentaires) et implicites (taux de réalisation, fréquences d’escalade, modèles de nouvelle tentative) systématiquement |
| Data 360 | Curation des données | ✅ Organiser les conversations consignées dans des jeux de données de formation en filtrant par qualité, en retirant les exemples problématiques, en garantissant la représentativité et en dédupliquant |
| Data 360 | Ancrage | ✅ Adapter les agents au vocabulaire du domaine, aux processus métiers et aux Knowledge spécifiques à l’organisation principalement via RAG ancré dans Data 360 et le prompt tuning - le parcours d’adaptation natif de Salesforce |
| Einstein | BYOLLM | ✅ Lorsque l’ancrage et l’ajustement rapide sont insuffisants, ajustez un modèle en externe et connectez-le via BYOLLM plutôt que de vous attendre à un ajustement génératif dans la plate-forme |
| Einstein | Générateur de répliques | ✅ Établir une cadence d’examen rapide régulière examinant les conversations récentes, les métriques de qualité et les commentaires des utilisateurs identifiant les opportunités d’amélioration |
| Einstein | Générateur de répliques | ✅ Implémenter les modifications des invites de façon incrémentielle avec des tests A/B qui valident les améliorations avant le déploiement complet |
| Agentforce | Configuration de l’agent | ✅ Maintenir des ensembles de tests couvrant les chemins heureux, les requêtes edge, les entrées contradictoires et les scénarios de problème historiques, en se développant continuellement à mesure que de nouveaux requêtes edge sont découvertes |
Anti-modèles
| Où chercher | À quoi ressemble mal |
|---|---|
| Plate-forme | Données | ⚠️ Tenter une amélioration sans collecte systématique de commentaires, en faisant des suppositions d’amélioration plutôt que pilotées par les données |
| Data 360 | Curation des données | ⚠️ Utilisation de journaux de conversation non traités pour la formation, y compris les infractions à la sécurité, les erreurs et les exemples non représentatifs |
| Data 360 | Ancrage | ⚠️ Atteindre l’ajustement externe avant d’épuiser l’ancrage RAG et l’ajustement rapide, le chemin natif qui résout la plupart des besoins d’adaptation de domaine sans modèle personnalisé |
| Einstein | Générateur de répliques | ⚠️ Traiter l’ingénierie des invites comme un exercice unique plutôt qu’une pratique continue ajustée à mesure que les modèles d’utilisation évoluent |
| Agentforce | Configuration de l’agent | ⚠️ Avoir des jeux de tests statiques qui ne s’étendent jamais pour couvrir les nouveaux cas de bord découverts en production |
Modèles
| Où chercher | À quoi ressemble le bien |
|---|---|
| Plate-forme | Types de métadonnées personnalisées | ✅ Implémenter des indicateurs de fonctionnalité en utilisant des types de métadonnées personnalisées ou des paramètres personnalisés afin de dissocier le déploiement de la version pour les modifications des agents à haut risque |
| Plate-forme | Ensembles d’autorisations | ✅ Implémenter des déploiements canaris libérant d’abord les modifications apportées par les agents à un petit sous-ensemble d’utilisateurs en utilisant des ensembles d’autorisations contrôlant l’accès des agents |
| Agentforce | Configuration de l’agent | ✅ Surveillez intensivement la cohorte de canaris en mesurant les taux de réussite, la qualité, les taux d’erreur, la latence, la consommation de jetons et la satisfaction, et développez le déploiement uniquement lorsque le canari correspond ou améliore le groupe de contrôle qui exécute la version précédente de l’agent |
| Plate-forme | Analytics | ✅ Définir des critères de réussite avant de commencer des tests A/B empêchant les résultats ambigus, alignés sur les objectifs métiers |
| Agentforce | Configuration de l’agent | ✅ Déployer le test champion-challenger en maintenant la version éprouvée comme solution de repli tout en comparant avec la version améliorée du challenger |
| Entreprise | Processus | ✅ Établir des critères de promotion objectifs, notamment la taille minimale de l’échantillon, les seuils de qualité et la durée d’évaluation avant les décisions de promotion |
Anti-modèles
| Où chercher | À quoi ressemble mal |
|---|---|
| Agentforce | Configuration de l’agent | ⚠️ Déploiement simultané des modifications des agents pour tous les utilisateurs sans test canari, maximisant le rayon d’explosion des problèmes |
| Plate-forme | Déploiement | ⚠️ Déploiement des modifications des agents à haut risque sans indicateur de fonctionnalité permettant une restauration instantanée sans redéploiement |
| Plate-forme | Analytics | ⚠️ Exécution de tests A/B sans critères de réussite prédéfinis, entraînant des résultats ambigus et de mauvaises décisions |
| Plate-forme | Analytics | ⚠️ Exécution d’expériences avec une taille d’échantillon insuffisante produisant des résultats bruyants qui conduisent à des conclusions incorrectes |
| Agentforce | Configuration de l’agent | ⚠️ Utiliser des indicateurs de fonctionnalité pour chaque modification d’invite mineure plutôt que de les réserver aux modifications à haut risque pour les agents critiques de l’entreprise |
Modèles
| Où chercher | À quoi ressemble le bien |
|---|---|
| Plate-forme | Surveillance | ✅ Détecter les défaillances des agents en alertant par surveillance automatisée sur les taux d’erreur, la dégradation des métriques de qualité, les anomalies de coût, les augmentations de latence et les escalades utilisateur |
| Plate-forme | Surveillance | ✅ Compléter la détection automatisée avec des mécanismes de rapport utilisateur permettant l’escalade des problèmes de surveillance automatisée |
| Entreprise | Processus | ✅ Définir objectivement des critères de sévérité basés sur l’impact utilisateur, le rayon d’explosion, le risque d’intégrité des données et l’urgence de récupération |
| Plate-forme | Documentation | ✅ Documenter les procédures de réponse initiale sous forme de runbooks exécutables par des ingénieurs d’astreinte sans expertise approfondie des agents |
| Agentforce | Configuration de l’agent | ✅ Inclure dans la réponse initiale: désactiver l’agent défaillant (disjoncteur), acheminer vers le repli, collecter les diagnostics, notifier les parties prenantes, initier une communication sur les incidents |
Anti-modèles
| Où chercher | À quoi ressemble mal |
|---|---|
| Plate-forme | Surveillance | ⚠️ S’appuyer sur les rapports utilisateur comme principal mécanisme de détection plutôt que sur la surveillance automatisée des défaillances des agents |
| Entreprise | Processus | ⚠️ Utiliser une classification de sévérité subjective qui conduit à une sous-escalade des problèmes réels ou à une surescalade des problèmes mineurs |
| Plate-forme | Documentation | ⚠️ N’ayant pas de runbooks, nécessitant une enquête spécifique à l’incident par des ingénieurs ayant une expertise approfondie des agents lors de chaque incident |
| Entreprise | Processus | ⚠️ Traiter les échecs d’agents de façon identique aux échecs d’application traditionnels sans tenir compte des hallucinations, des réponses hors sujet ou des infractions à la sécurité |
Modèles
| Où chercher | À quoi ressemble le bien |
|---|---|
| Plate-forme | Apex | ✅ Implémenter des disjoncteurs avec un seuil d’erreur configurable (par exemple, un taux d’erreur de 50 %), une fenêtre de durée (par exemple, une fenêtre glissante de 5 min) et des tests de récupération (demandes d’évaluation périodiques) |
| Agentforce | Configuration de l’agent | ✅ Concevoir des hiérarchies de secours: Agent sophistiqué principal → Agent de sauvegarde plus simple → Réponses FAQ statiques → Transfert humain |
| Plate-forme | Orchestration | ✅ Implémenter une logique de repli dans la couche d’orchestration plutôt qu’au sein d’agents individuels permettant un comportement cohérent à travers l’écosystème des agents |
| Agentforce | Configuration de l’agent | ✅ Concevoir des workflows de transfert humain en préservant le contexte de la conversation, en communiquant le motif de transfert et en acheminant vers l’agent humain approprié avec l’expertise appropriée |
| Plate-forme | Surveillance | ✅ Surveiller les taux de transfert par rubrique, agent et motif d’échec afin d’identifier les écarts de capacité des agents |
| Agentforce | Configuration de l’agent | ✅ Lorsque le raisonnement sophistiqué échoue, revenir à une logique plus simple; lorsque les données en temps réel ne sont pas disponibles, fonctionner sur des données mises en cache; lorsque les intégrations échouent, fonctionner en mode lecture seule |
| Plate-forme | Orchestration | ✅ Tester les chemins de repli en validant régulièrement leur fonctionnement lorsque nécessaire |
Anti-modèles
| Où chercher | À quoi ressemble mal |
|---|---|
| Agentforce | Configuration de l’agent | ⚠️ Ne pas avoir de disjoncteurs, ce qui permet aux agents défaillants d’impacter à répétition les utilisateurs pendant que les problèmes sont résolus |
| Plate-forme | Orchestration | ⚠️ Implémentation d’une logique de repli chez les agents individuels plutôt qu’au niveau de la couche d’orchestration, créant un comportement incohérent |
| Agentforce | Configuration de l’agent | ⚠️ Concevoir des agents passe/échec binaires qui fonctionnent parfaitement ou échouent complètement sans options de dégradation gracieuses |
| Plate-forme | Orchestration | ⚠️ Ne jamais tester les chemins de repli, découvrir qu’ils ne fonctionnent pas uniquement lors d’incidents réels |
| Agentforce | Configuration de l’agent | ⚠️ Transfert humain qui perd le contexte de la conversation obligeant les utilisateurs à répéter des informations |
Modèles
| Où chercher | À quoi ressemble le bien |
|---|---|
| Entreprise | Processus | ✅ Effectuer des examens post-incident irréprochables en se concentrant sur les améliorations du système plutôt que sur les fautes individuelles créant une sécurité psychologique |
| Entreprise | Processus | ✅ Créer une chronologie détaillée à partir des conditions initiales en passant par la détection, l’enquête, la réponse, la récupération et la validation avec des horodatages |
| Entreprise | Processus | ✅ Utilisez le forage de technique « Five Whys » des symptômes aux causes fondamentales plutôt que des conclusions simplistes |
| Entreprise | Processus | ✅ Analyser les facteurs contributifs, y compris les écarts de surveillance, les écarts dans les tests, les écarts dans la documentation, les écarts dans l’automatisation et les écarts dans l’architecture |
| Entreprise | Processus | ✅ Évaluer la détection : quel signal aurait dû détecter le problème plus tôt, quelle surveillance permet une détection plus rapide |
| Entreprise | Processus | ✅ Spécifier des éléments d’action concrets, attribués, limités dans le temps, empêchant la récurrence (par exemple, « ajouter une alerte pour un taux d’erreur supérieur à 5 % sur 10min - attribué : Alex - dû : 2 semaines”) |
| Entreprise | Processus | ✅ Suivre l’exécution des éléments d’action dans les examens suivants en s’assurant que l’amélioration continue se produit réellement |
| Plate-forme | Documentation | ✅ Documenter les examens postérieurs à un incident dans une base de Knowledge partagée avec le balisage qui active l’analyse des modèles à travers plusieurs incidents |
| Entreprise | Processus | ✅ Partager les examens postérieurs à l’incident au-delà des intervenants immédiats lors de réunions d’équipe ou de sessions de déjeuner-apprentissage |
Anti-modèles
| Où chercher | À quoi ressemble mal |
|---|---|
| Entreprise | Processus | ⚠️ Des post-mortems ciblés sur la faute qui réduisent la sécurité psychologique et empêchent une évaluation honnête des échecs |
| Entreprise | Processus | ⚠️ Conclusions simplistes des causes premières (« l’agent avait un bogue ») plutôt que des constatations spécifiques permettant une remédiation efficace |
| Entreprise | Processus | ⚠️ Éléments d’action vagues tels que « améliorer la surveillance » au lieu de tâches spécifiques, attribuées et limitées dans le temps |
| Entreprise | Processus | ⚠️ Faible taux de réalisation des éléments d’action indiquant un échec du processus d’amélioration continue |
| Entreprise | Processus | ⚠️ Isoler les apprentissages postérieurs à l’incident pour les intervenants immédiats plutôt que de les partager à grande échelle pour l’apprentissage organisationnel |
Modèles
| Où chercher | À quoi ressemble le bien |
|---|---|
| Entreprise | Processus | ✅ Valider la liste de contrôle de pré-déploiement, y compris les tests, le contrôle de sécurité, la validation de la conformité, la documentation, la configuration de la surveillance et l’approbation des parties prenantes |
| Entreprise | Processus | ✅ Évaluer le risque en fonction du rayon d’explosion, de la sensibilité des données, de l’autorité d’action, des dépendances d’intégration, de la complexité de la récupération et des implications de conformité |
| Entreprise | Processus | ✅ Évoluer les exigences d’approbation en fonction du risque: à risque élevé nécessite l’approbation de la direction, un examen de sécurité et un déploiement progressif; à faible risque nécessite un examen par les pairs et des tests standard |
| Plate-forme | Processus d’approbation | ✅ Implémenter des workflows d’approbation automatisés, suivis et auditables en utilisant des processus d’approbation Salesforce ou des outils de déploiement externes |
| Entreprise | Processus | ✅ Définir des procédures de contournement d’urgence nécessitant l’approbation de la direction, la documentation de justification et un examen accéléré après le déploiement |
| Plate-forme | Surveillance | ✅ Suivre les déploiements d’urgence séparément; la fréquence élevée des déploiements d’urgence indique des problèmes de processus nécessitant une enquête |
Anti-modèles
| Où chercher | À quoi ressemble mal |
|---|---|
| Entreprise | Processus | ⚠️ Appliquer une profondeur d’approbation uniforme quel que soit le profil de risque de l’agent, gaspiller des efforts sur les agents à faible risque ou sous-évaluer ceux à haut risque |
| Entreprise | Processus | ⚠️ Déploiement d’agents de production sans validation de test, de sécurité, de conformité et de surveillance dans la liste de contrôle préalable au déploiement |
| Plate-forme | Déploiement | ⚠️ Ne pas avoir de procédures de contournement d’urgence, entraînant des délais critiques de correction lors d’incidents de production |
| Entreprise | Processus | ⚠️ Nécessitant souvent des déploiements d’urgence, indiquant des processus standard rompus plutôt que des circonstances exceptionnelles |
Modèles
| Où chercher | À quoi ressemble le bien |
|---|---|
| Agentforce | Configuration de l’agent | ✅ Tester les caractéristiques de sortie (contient les informations requises, maintient le ton approprié, inclut des citations) plutôt que le texte exact pour les sorties d’agent non déterministes |
| Agentforce | Configuration de l’agent | ✅ Établir des seuils de qualité minimum (p. ex., « précision de 95 % sur l’ensemble d’essais retenus, zéro infraction à la sécurité, l’audit d’équité ne montre aucune disparité démographique supérieure à 5 % ») |
| Agentforce | Configuration de l’agent | ✅ Effectuer des tests de sécurité avec des entrées contradictoires, y compris l’injection rapide, les tentatives de jailbreak, l’escalade des demandes et les requêtes hors de portée |
| Agentforce | Configuration de l’agent | ✅ Faire effectuer des tests de sécurité par des membres de l’équipe qui ne sont pas impliqués dans le développement de l’agent, ce qui apporte une nouvelle perspective sur les vulnérabilités |
| Plate-forme | Tests de performance | ✅ Tester sous une charge réaliste comprenant des conversations simultanées, des durées de conversation typiques et le volume d’utilisation projeté |
| Plate-forme | Sécurité | ✅ Valider que les agents ne peuvent pas accéder à des données non autorisées, ne peuvent pas exécuter des actions non autorisées et que l’injection rapide ne peut pas escalader les privilèges |
| Plate-forme | CI/CD | ✅ Intégrer l’analyse de sécurité dans le pipeline de déploiement en utilisant Salesforce Code Analyzer et des outils de sécurité IA spécialisés |
Anti-modèles
| Où chercher | À quoi ressemble mal |
|---|---|
| Agentforce | Configuration de l’agent | ⚠️ Test des agents pour la correspondance exacte du texte dans les sorties non déterministes plutôt que de tester les caractéristiques de sortie |
| Plate-forme | Tests de performance | ⚠️ Uniquement des tests avec des scénarios à utilisateur unique, des problèmes de limites du gouverneur manquantes, des contraintes de ressources et des blocages d’évolutivité |
| Agentforce | Configuration de l’agent | ⚠️ Ignorer les tests de sécurité ou demander aux développeurs de tester leurs propres agents sans perspective nouvelle sur les vulnérabilités |
| Plate-forme | Sécurité | ⚠️ Ne pas tester si l’injection rapide peut escalader les privilèges de l’agent ou accéder à des données non autorisées |
| Agentforce | Configuration de l’agent | ⚠️ Avoir des ensembles de tests statiques qui ne représentent pas une réelle diversité d’utilisation, y compris différents types d’utilisateur et complexités de la conversation |
Modèles
| Où chercher | À quoi ressemble le bien |
|---|---|
| Plate-forme | Documentation | ✅ Documenter chaque modification : ce qui a changé, pourquoi, quels tests l’ont validé et quelle procédure de restauration existe |
| Entreprise | Communication | ✅ Notifier toutes les parties prenantes (utilisateurs, équipes opérationnelles, support, entreprise) en décrivant ce qui change, quand, quels avantages, quels risques et qui contacter |
| Entreprise | Communication | ✅ Établir des modèles de communication pour différents types de changement standardisant les messages et réduisant les frais de préparation |
| Plate-forme | Surveillance des événements | ✅ Déploiements d’agents temporels pendant les périodes de faible utilisation informés par les données de Surveillance des événements montrant les modèles d’utilisation réels |
| Entreprise | Processus | ✅ Déployez les modifications majeures des agents tôt en milieu de semaine en évitant les week-ends avec une capacité de réponse aux incidents réduite |
| Entreprise | Processus | ✅ Établir des périodes de gel des modifications avant les événements commerciaux majeurs (fin d’exercice fiscal, lancements de produits, campagnes marketing majeures) |
| Entreprise | Processus | ✅ Calendrier de gel des modifications de document communiquant chaque année des périodes restreintes suffisamment à l’avance |
Anti-modèles
| Où chercher | À quoi ressemble mal |
|---|---|
| Plate-forme | Déploiement | ⚠️ Déploiement pendant les pics d’utilisation, les fermetures de fin de mois, les fermetures de trimestre ou les événements commerciaux majeurs |
| Plate-forme | Déploiement | ⚠️ Déploiement les lundis (augmentation) ou les vendredis (réduction des effectifs) lorsque les capacités de réponse aux incidents sont limitées |
| Entreprise | Processus | ⚠️ Avoir un changement excessif fige qui ralentit l’amélioration de la vitesse sans réduction proportionnelle du risque |
| Entreprise | Communication | ⚠️ Déploiement des modifications des agents sans notifier les utilisateurs, les équipes opérationnelles, les équipes de support ou les parties prenantes concernées |
| Plate-forme | Documentation | ⚠️ Faire des changements sans documenter la justification, créer des organisations qui redécouvrent les leçons plutôt que de s’appuyer sur l’expérience |
Modèles
| Où chercher | À quoi ressemble le bien |
|---|---|
| Plate-forme | Interface utilisateur | ✅ Implémenter la collecte de commentaires dans l’interface utilisateur de la conversation pour permettre une réponse immédiate lorsque l’interaction est fraîche plutôt que la collecte retardée |
| Plate-forme | Analytics | ✅ Interroger les journaux de conversation en analysant les types de question, la durée des conversations, les taux de réussite par rubrique et la satisfaction des utilisateurs par caractéristiques de conversation |
| Plate-forme | Analytics | ✅ Analyser le regroupement des journaux d’erreur par type d’erreur, utilisateurs affectés, modèles de conversation et distribution temporelle pour révéler des problèmes systématiques |
| Plate-forme | Analytics | ✅ Prioriser la correction des erreurs par fréquence et impact : Les erreurs à haute fréquence affectant de nombreux utilisateurs nécessitent une attention immédiate |
| Plate-forme | Surveillance | ✅ Établir des niveaux de référence de qualité après le déploiement initial et surveiller la qualité continue par rapport aux niveaux de référence alertant lorsque les tendances déclinent |
Anti-modèles
| Où chercher | À quoi ressemble mal |
|---|---|
| Plate-forme | Interface utilisateur | ⚠️ Retarder la collecte de commentaires (p. ex. courriels de suivi quelques jours plus tard) réduire les taux de réponse et introduire un biais de rappel |
| Plate-forme | Analytics | ⚠️ Ne pas analyser les modèles d’utilisation pour déterminer si les agents justifient la complexité opérationnelle ou si les capacités sont sous-utilisées |
| Plate-forme | Analytics | ⚠️ Traiter toutes les erreurs de la même façon plutôt que de prioriser par fréquence et impact métier |
| Plate-forme | Surveillance | ⚠️ Prendre des décisions d’amélioration sans données, sans référence de qualité et sans suivi des tendances |
Modèles
| Où chercher | À quoi ressemble le bien |
|---|---|
| Entreprise | Processus | ✅ Fournir une structure d’expérience cohérente: hypothèse, conception expérimentale, métriques, taille de l’échantillon et critères de réussite |
| Entreprise | Processus | ✅ Documenter les expériences avant l’exécution afin d’éviter une interprétation ambiguë des résultats |
| Plate-forme | Analytics | ✅ Suivre l’attribution de variantes dans les métadonnées de conversation afin d’activer la corrélation des résultats par variante |
| Plate-forme | Analytics | ✅ Calculer la taille d’échantillon requise avant les expériences en fonction de la taille de l’effet attendu, de la puissance statistique et des taux d’erreur acceptables |
| Plate-forme | Analytics | ✅ Utiliser l’optimisation des bandits multi-bras pour allouer dynamiquement plus de trafic à des variantes plus performantes réduisant le coût d’opportunité |
| Plate-forme | Documentation | ✅ Tenir à jour le catalogue des expériences avec les variantes testées, les résultats mesurés, les résultats obtenus et les décisions prises pour empêcher les nouveaux tests des approches échouées |
Anti-modèles
| Où chercher | À quoi ressemble mal |
|---|---|
| Entreprise | Processus | ⚠️ Exécution d’expériences sans hypothèses prédéfinies et critères de succès conduisant à des résultats ambigus |
| Plate-forme | Analytics | ⚠️ L’utilisation de tailles d’échantillon insuffisantes produisant des résultats bruyants qui entraînent de mauvaises décisions d’amélioration |
| Plate-forme | Documentation | ⚠️ Ne pas avoir de catalogue d’expériences, ce qui fait que les équipes testent de nouveau des approches précédemment échouées et perdent Knowledge organisationnelle |
| Plate-forme | Analytics | ⚠️ Ne pas suivre quels utilisateurs ont reçu quelles variantes, rendant impossible la corrélation des résultats |