Operational Excellence - Agentic Patterns (オペレーショナルエクセレンス - エージェントパターン)

Well-Architected Operational Excellence → Agentic Enterprise Operational Excellence の詳細

パターン

参照すべき場所外観
Agentforce | セッション追跡✅並列テレメトリーシステムを構築するのではなく、Data 360 の統合データモデルでエージェントのインタラクションを取得するネイティブのセッショントレーシングデータモデル (STDM) を使用して、各会話をセッション、インタラクション (ターン)、ステップ (UserInputStep、LLMExecutionStep、FunctionStep) のトレース階層として記録する
Agentforce | セッション追跡✅ アクションを個別のアクションログではなくインタラクションステップとしてネイティブに取得する標準 STDM オブジェクト (AIAgentSession、AIAgentSessionParticipant、AIAgentInteraction、AIAgentInteractionStep、AIAgentInteractionMessage) を使用します。
Agentforce | セッション追跡✅ カスタムセッション項目として保存するのではなく、インタラクションステップを (GenerationId および GenAiGatewayRequest/Response 参照を介して) LLM コールレコードに結合することで、トークンの利用状況、モデル、プロンプトの詳細を取得する
Agentforce | セッション追跡✅ Atlas Reasoning Engine から推論トレースを取得する — セッショントレーシングは、各インタラクションの一環としてプランナーのステップを記録し、エージェントの意思決定プロセスを明らかにしてデバッグ性を向上させます。
Agentforce | エージェント設定✅ ユーザーの入力、エージェントの応答、理由の説明、信頼性スコア、取得したコンテキスト、試行されたアクション、発生したエラーなど、ターンレベルの詳細を記録する
Einstein | Trustレイヤー✅ Data 360にストリーミングされるEinstein Trust Layer生成AI監査証跡(プロンプトとレスポンス テキスト、PIIマスクされたバージョン、グラウンディング データ、安全性と有害性スコア、モデルの詳細)に加えて、Einstein生成AIとフィードバック データの長期保存のための収集と保存を有効にします。
プラットフォーム | カスタムオブジェクト✅ エージェントの行動とビジネス結果を相関する軽量オブジェクトなど、意図的な例外のためにカスタムログオブジェクトをプライマリログ基盤にするのではなく予約する
プラットフォーム | ダッシュボード✅ エージェントの行動とビジネス結果を関連付け、パターン分析で改善機会を特定し、品質表示ラベルが付けられた例を使用して継続的な学習パイプラインにフィードする

アンチパターン

参照すべき場所どんな悪い感じか
プラットフォーム | カスタムオブジェクト⚠️ ネイティブのセッショントレーシングデータモデルではなく、主要な会話ログ記録基盤としてカスタムトランザクションオブジェクトを手作業で作成することで、複数ターンの会話、大きな JSON ペイロード、およびデータの急増を保存するスケールの問題に直面している
Agentforce | セッション追跡⚠️ Agentforceセッション トレーシングでData 360の統合データ モデルのやりとりがすでに取得されている場合の並列テレメトリー システムの構築
Agentforce | エージェント設定⚠️ 入力、推論追跡、取得されたコンテキスト、実行されたアクションを取得せずにエージェント応答のみを記録する
Einstein | Trustレイヤー⚠️ 本番でのEinstein Trust Layer監査履歴の無効化、またはData 360での長期保存のためのフィードバック データ収集および保存の有効化なし
プラットフォーム | 監視⚠️ STDM LLM-call join を使用してトークンの利用状況、モデル、プロンプトの詳細を取得せずに会話の成功/失敗のみに依存する

パターン

参照すべき場所外観
プラットフォーム | 監視✅ 応答遅延をパーセントで測定 (p50、p95、p99) し、典型的なパフォーマンスと最悪のエクスペリエンスを明らかにする
プラットフォーム | 監視✅ 各遅延フェーズ (モデルの推測、コンテキストの取得、アクションの実行、ネットワーク) を個別に計測し、対象を絞った最適化が可能
プラットフォーム | 監視✅ p95 遅延がパフォーマンス低下を示すしきい値を超えた場合にアラートを表示
プラットフォーム | 監視✅ 会話ごと、エージェントごと、使用事例ごとのトークン配布 (プロンプトトークン、完了トークン、合計トークン) の追跡
プラットフォーム | 監視✅ プロンプトの問題や誤用を示唆する過剰なトークンを使用する異常会話を検出する
プラットフォーム | 監視✅ しきい値に近づいている場合に、既知のレート制限または業務量ベースラインアラートと現在のスループットを比較
プラットフォーム | 監視✅ エラー率を全体に対する割合で計算し、エージェントや期間全体で比較可能
プラットフォーム | 監視✅ 異なる対応が必要なエラーカテゴリ (モデルエラー、権限エラー、インテグレーションエラー) を区別
プラットフォーム | 監視✅ エージェントが要求に正常に応答した時間の割合として対応可能状況を計算し、SLO を追跡します。
プラットフォーム | Proactive Monitoring✅ Proactive Monitoringしきい値は、デフォルトを受け入れるのではなく、ベースライン エージェントの動作パターンに基づいて設定します。
プラットフォーム | スケールセンター✅ 新しいエージェントをリリースした後、または大幅なプロンプト変更を行った後に、スケールセンターデータを確認し、リソースの消費が期待と一致することを確認します。

アンチパターン

参照すべき場所どんな悪い感じか
プラットフォーム | 監視⚠️ パーセントではなく平均遅延のみを測定し、最悪のユーザーエクスペリエンスをマスキングする
プラットフォーム | 監視⚠️ 個々のフェーズ (推測、取得、アクション実行) を計測せずに合計遅延を追跡する
プラットフォーム | 監視⚠️ 適切な対応のために種別 (モデル、権限、インテグレーション) で分類するのではなく、すべてのエラーを同じ方法で処理する
プラットフォーム | Proactive Monitoring⚠️ エージェントのベースライン動作パターンに合わせて調整することなく、デフォルトのProactive Monitoringしきい値を受け入れる
プラットフォーム | スケールセンター⚠️ 新しいエージェントのリリースや、Scale Center データを確認しない迅速な変更によるリソース消費の検証
プラットフォーム | 監視⚠️ トークン消費パターンを無視し、典型的なトークンを 10 倍消費する異常会話の検出に失敗する

パターン

参照すべき場所外観
Agentforce | テストセンター✅ ネイティブのテストと評価ツールから開始: Agentforce テストセンターで再利用可能なテストケースセットを管理し、エージェントを一括で実行して、エージェントが予期されるトピックとアクションを選択し、受け入れられる応答を生成したかどうかを確認します。
Agentforce | テストセンター✅ ネイティブ評価者 (標準の品質ディメンションと会話品質をスコアリングするための LLM-as-Judge アプローチ) を使用し、実際の使用状況が反映されるように代表的な会話を使用して組織固有の条件のカスタム評価者を作成する
Agentforce | テストセンター✅ 既知の回答がある事実に基づく質問については、テストセンターで既知の回答アサーションを繰り返し可能なテストケースとして管理します。自由回答形式の質問については、サンプル会話の人間によるレビューを追加します。
Data 360 | 取得品質✅Knowledge Baseにグラウンディングされたエージェントの場合、ネイティブの取得品質分析を使用して、コンテキストの関連性、回答の忠実度(グラウンディング)を評価します。
Einstein | Trustレイヤー✅ Einstein Trust Layerランタイム毒性検出をガードレール防御の最前線として使用し、コンテンツ フィルタリング、手動レビュー サンプリング、ユーザー レポート、デモグラフィック グループ全体の公平性監査を通じて安全性監視を改善します。
Data 360 | GenAIフィードバック✅ゲートウェイの要求および生成データと共にData 360のGenAIFeedback/GenAIFeedbackDetail DMO(サムアップ/ダウン、承諾/却下、編集、逐語的なコメント)に流入するAgentforceフィードバックを通じてユーザー満足度を把握
プラットフォーム | Analytics✅ 明示的なフィードバック (エスカレーション前、会話後、フォローアップアンケート) と暗黙的なシグナル (完了率、エスカレーション、放棄、再試行) を組み合わせて、会話の特性と相関させ、改善の優先度付けをガイドする

アンチパターン

参照すべき場所どんな悪い感じか
Agentforce | テストセンター⚠️ Agentforce テストセンターの再利用可能なテストセットとネイティブ評価者から開始するのではなく、カスタムテストハーネスを作成して実行する
Agentforce | テストセンター⚠️ 自由回答の品質評価は、人によるレビューのない自動評価のみに頼る
プラットフォーム | 監視⚠️ 関連性、安全性、ユーザー満足度ディメンションを追跡せずに精度のみを監視する
Data 360 | GenAIフィードバック⚠️ AgentforceフィードバックがすでにGenAIFeedback DMOに流れている場合に、エージェントの応答品質に関するユーザー フィードバック(明示的または暗黙的)を収集できない
Agentforce | エージェント設定⚠️ 人口統計グループ全体の結果分布を評価する公平性監査のスキップ

パターン

参照すべき場所外観
Agentforce | エージェント設定✅ 代表的なテストケース全体の精度、関連性、安全性、満足度を測定して、エージェントのリリース直後にベースラインパフォーマンスを確立する
Agentforce | エージェント設定✅ 同じテストケースに対して定期的に再評価を行い、使用パターンのシフトに関係なくパフォーマンスの変化を明らかにする
プラットフォーム | 監視✅ ビジネスへの影響の許容範囲で定義された許容しきい値を超えて品質指標が低下したときにアラートを表示
プラットフォーム | Analytics✅ 入力特性 (質問の長さ、トピックの分布、言語の複雑さ、ドメインの用語) を監視して、分布の著しい変化を検出する
プラットフォーム | 監視✅ 行動ベースラインを確立する応答特性 (平均応答時間、アクション呼び出し率、エスカレーション頻度、エラーパターン) の監視
プラットフォーム | 監視✅ ドリフト総計値がしきい値を超えた場合に自動アラートが起動するように設定して、調査と修復をトリガー

アンチパターン

参照すべき場所どんな悪い感じか
Agentforce | エージェント設定⚠️ エージェントの初期リリース後にベースラインパフォーマンスを確立できず、ドリフトが検出されない
プラットフォーム | 監視⚠️ ユーザー入力パターンがエージェントが処理するように設計されたパターンから大幅に変化する場合の分布ドリフトの無視
プラットフォーム | 監視⚠️ 設定されたベースラインに対する行動の変化 (応答時間、アクション率、エスカレーション頻度) を監視していない
プラットフォーム | 監視⚠️ ドリフト指標の自動アラートがなく、劣化の検出は手動観測のみに頼っている

パターン

参照すべき場所外観
プラットフォーム | 監視✅ 異常会話を検出するトークン消費分布を監視し、一般的なトークンの 10 倍を消費するトークンを調査する
プラットフォーム | 監視✅ 特定のユーザーやエージェントに影響する、障害率の急激な増加、ベースラインにない新しいエラー種別、または局所的なエラー濃度の検出
プラットフォーム | Analytics✅ 会話フェーズ別に会話の放棄を追跡し、ユーザーが最初のインタラクション中、会話中、または ToDo の完了後に放棄したかどうかを特定する
プラットフォーム | 監視✅ 重要なエージェントの障害をオンコールエンジニアにすぐに転送し、営業時間中に品質を低下させて、軽微な異常を毎日のダイジェストに転送します。

アンチパターン

参照すべき場所どんな悪い感じか
プラットフォーム | 監視⚠️ すべてのアラートを同等の緊急度で処理し、アラートの疲労と重大な失敗を見逃します。
プラットフォーム | 監視⚠️ プロンプトの問題、悪用、インフラストラクチャの問題を示す可能性があるトークン消費の急増などのコスト異常の無視
プラットフォーム | Analytics⚠️ 会話離脱率を追跡していない、またはフェーズごとの離脱の分析に失敗した
プラットフォーム | 監視⚠️ 自動監視でエラー率の急増を積極的に検出するのではなく、ユーザーレポートを待つ

パターン

参照すべき場所外観
プラットフォーム | ソース管理✅ プロンプトをコードレビュー、テスト、制御されたリリースに値する重要なアプリケーションロジックとして処理するプロンプトテンプレートをアプリケーションコードと共に Git に保存
Einstein | プロンプトビルダープロンプトビルダーを使用して、バージョン履歴とテスト機能を備えた反復的なプロンプト開発を行い、リリースパイプラインのバージョン管理にエクスポートする
プラットフォーム | ソース管理✅ 設定 (モデルの選択、温度、トークン制限、取得設定、アクション権限、機能フラグ) をコードとして保存し、環境固有の値とドリフト検出を有効化
プラットフォーム | ソース管理✅ エージェントコンポーネントへのセマンティックバージョン管理の適用: ログにバージョン番号が表示されるメジャー (変更の中断)、マイナー (機能)、パッチ (バグ修正)
プラットフォーム | ドキュメント✅ プロンプトと設定変更ごとに、変更された内容、変更された理由、変更を検証したテスト、および存在するロールバック手順を文書化する

アンチパターン

参照すべき場所どんな悪い感じか
Einstein | プロンプトビルダー⚠️ コードレビュー、テスト、管理されたリリースプロセスなしで迅速な変更を行う
プラットフォーム | 設定⚠️ ドリフトを検出できず、リリースを自動化できないソース制御外のエージェント設定の保存
プラットフォーム | ドキュメント⚠️ 根拠、テスト結果、ロールバック手順を文書化せずに迅速に変更すること
プラットフォーム | ソース管理⚠️ セマンティックバージョン管理を適用できず、インシデントを特定のリリースと関連付けることができない

パターン

参照すべき場所外観
プラットフォーム | ドキュメント✅ モデルファミリー、特定のバージョン、微調整の状態、環境、リリース日、担当チームなど、どのモデルバージョンをリリースするかを記録するモデルレジストリを管理する
プラットフォーム | ドキュメント✅ バージョン、環境、タイムスタンプ、リリースユーザー、取得した承認、リリース結果など、すべてのエージェントリリースを記録します。
プラットフォーム | ドキュメント✅ エージェント、プロンプト、Knowledgeベース、アクション、インテグレーション間の連動関係をインシデント中に検出するのではなく、明示的に対応付ける
ビジネス | プロセス✅ ポリシーに基づいた最小限の通知期間を事前に十分に通知して廃止スケジュールを設定し、強制的な廃止への緊急対応ではなく計画的な移行を可能にする
プラットフォーム | ドキュメント✅ 対象バージョン、実行ステップ、検証テスト、通知要件を含む各エージェントのロールバック手順の文書化
プラットフォーム | ステージング✅ 本番以外の環境でロールバック手順をテストし、本番インシデント中にロールバック手順に依存する前に動作することを確認する

アンチパターン

参照すべき場所どんな悪い感じか
プラットフォーム | ドキュメント⚠️ 明示的な依存関係の対応付けを維持するのではなく、インシデント中にのみエージェント、プロンプト、Knowledge Base間の依存関係を検出する
ビジネス | プロセス⚠️ 計画された移行ではなく緊急移行を強制する不十分な廃止通知の提供
プラットフォーム | ドキュメント⚠️ 本番インシデント中に最も必要なときに失敗するテストされていないロールバック手順がある
プラットフォーム | リリース⚠️ バージョン、環境、承認、結果を記録せずにエージェントをリリースすると、インシデントをリリースと関連付ける機能を失う

パターン

参照すべき場所外観
プラットフォーム | UI✅ 明示的なフィードバック (アップ/ダウン、品質スコア、コメント) と暗黙的なフィードバック (完了率、エスカレーション頻度、再試行パターン) を計画的に収集する
Data 360 | データキュレーション✅ 品質の絞り込み、問題のある例の削除、代表性の確保、重複排除により、会話ログをトレーニングデータセットに選定
Data 360 | グラウンディング✅主にData 360でグラウンディングされたRAGとプロンプト チューニング(Salesforceネイティブの適応パス)を使用して、エージェントをドメインの語彙、ビジネスプロセス、組織固有のKnowledgeに適応させます。
Einstein | BYOLLM✅ グラウンディングとプロンプトチューニングが不十分な場合は、プラットフォーム内生成の微調整を期待する代わりに、外部でモデルを微調整し、BYOLLM を介して接続します。
Einstein | プロンプトビルダー✅ 最近の会話、品質評価指標、改善機会を特定するユーザーフィードバックを調査する定期的なプロンプトレビューケイデンスを設定する
Einstein | プロンプトビルダー✅ 完全なロールアウトの前に改善を検証する A/B テストを使用してプロンプトの変更を段階的に実装する
Agentforce | エージェント設定✅ ハッピーパス、エッジケース、敵対的入力、過去の問題シナリオをカバーするテストセットを管理し、新しいエッジケースが見つかったときに継続的に拡張

アンチパターン

参照すべき場所どんな悪い感じか
プラットフォーム | データ⚠️ 系統的なフィードバック収集を行わずに改善を試み、データ主導ではなく推測で改善を図る
Data 360 | データキュレーション⚠️ 選定されていない会話ログを使用した安全違反、エラー、代表者以外の例を含むトレーニング
Data 360 | グラウンディング⚠️ RAGグラウンディングとプロンプトチューニングを使い果たす前に外部微調整を行う。カスタムモデルを使用せずにほとんどのドメイン適応ニーズを満たすネイティブパス
Einstein | プロンプトビルダー⚠️ プロンプトエンジニアリングは、使用パターンの進化に合わせて調整された継続的な練習ではなく、1 回限りの課題として捉える
Agentforce | エージェント設定⚠️ 本番で検出された新しいエッジケースをカバーするために拡張されない静的テストセットがある

パターン

参照すべき場所外観
プラットフォーム | カスタムメタデータ型✅ カスタムメタデータ型またはカスタム設定を使用して機能フラグを実装し、リリースからリリースを切り離して、リスクの高いエージェントの変更に対応
プラットフォーム | 権限セット✅ エージェントアクセスを制御する権限セットを使用して、エージェントの変更を小規模なユーザーサブセットにリリースするカナリアリリースを最初に実装する
Agentforce | エージェント設定✅ 成功率、品質、エラー率、遅延、トークン消費、満足度を集中的に測定するカナリアコホートを監視し、カナリアが以前のエージェントバージョンを実行しているコントロールグループと一致するか改善された場合にのみロールアウトを拡大
プラットフォーム | Analytics✅ A/B テストを開始する前に、ビジネス目標に沿ったあいまいな結果にならないように成功条件を定義する
Agentforce | エージェント設定✅ 改善された王座挑戦者バージョンと比較しながら、実績のあるバージョンをフォールバックとして維持しながら、チャンピオンと挑戦者のテストをリリースする
ビジネス | プロセス✅ プロモーションを決定する前に、最小サンプルサイズ、品質しきい値、評価期間などの客観的なプロモーション条件を設定する

アンチパターン

参照すべき場所どんな悪い感じか
Agentforce | エージェント設定⚠️ カナリアテストなしですべてのユーザーにエージェントの変更を同時にロールアウトし、問題の半径を最大化
プラットフォーム | リリース⚠️ 機能フラグを使用しない高リスクのエージェント変更のリリースにより、再リリースなしで即座にロールバックが可能
プラットフォーム | Analytics⚠️ 事前定義された成功基準のない A/B テストを実行すると、結果があいまいになり、意思決定が甘くなる
プラットフォーム | Analytics⚠️ サンプルサイズが不十分で実験を実行すると、誤った結論につながる騒々しい結果になる
Agentforce | エージェント設定⚠️ 重要なエージェントへのリスクの高い変更のために機能フラグを予約するのではなく、小さなプロンプトの変更ごとに機能フラグを使用する

パターン

参照すべき場所外観
プラットフォーム | 監視✅ エラー率、品質指標の低下、コストの異常、遅延の増加、ユーザーエスカレーションに関する自動監視アラートでエージェントの失敗を検出
プラットフォーム | 監視✅ 自動監視見逃しの問題のエスカレーションを可能にするユーザーレポートメカニズムで自動検出を補完
ビジネス | プロセス✅ ユーザーへの影響、爆発半径、データ整合性リスク、復旧の緊急度に基づいて重要度条件を客観的に定義
プラットフォーム | ドキュメント✅ エージェントの専門知識がなくても、オンコールエンジニアが実行可能なランブックとして初期対応手順を文書化
Agentforce | エージェント設定✅ 初期対応に含める: 障害が発生したエージェント (サーキットブレーカー) の無効化、フォールバックへの転送、診断の収集、関係者への通知、インシデントコミュニケーションの開始

アンチパターン

参照すべき場所どんな悪い感じか
プラットフォーム | 監視⚠️ エージェントの障害の自動監視ではなく、ユーザーレポートを主要な検出メカニズムとして使用
ビジネス | プロセス⚠️ 主観的な重要度分類を使用して、実際の問題がエスカレーション過小または軽微な問題がエスカレーション過小になる
プラットフォーム | ドキュメント⚠️ Runbook がなく、すべてのインシデントでエージェントの専門知識を持つエンジニアによるインシデント固有の調査が必要
ビジネス | プロセス⚠️ 幻覚、トピック外の応答、安全違反を考慮しないで、エージェントの失敗を従来のアプリケーションの失敗と同様に処理する

パターン

参照すべき場所外観
プラットフォーム | Apex✅ 設定可能なエラーしきい値 (エラー率 50% など)、期間 (ローリングウィンドウ 5 分など)、リカバリーテスト (定期的なトライアル要求) を使用してサーキットブレーカーを実装
Agentforce | エージェント設定✅ フォールバック階層の設計: 高度な主エージェント → シンプルなバックアップエージェント → 静的な FAQ 応答 → 人のハンドオフ
プラットフォーム | オーケストレーション✅ 個々のエージェント内ではなくオーケストレーションレイヤーで代替ロジックを実装し、エージェントエコシステム全体で一貫した動作を実現
Agentforce | エージェント設定✅ 会話のコンテキストを維持し、ハンドオフ理由を伝え、関連する専門知識を持つ適切な人間のエージェントに転送するヒューマンハンドオフワークフローを設計する
プラットフォーム | 監視✅ トピック、エージェント、失敗理由別のハンドオフ率を監視し、エージェントの能力のギャップを特定する
Agentforce | エージェント設定✅ 高度な推論に失敗した場合は、よりシンプルなロジックにフォールバックし、リアルタイムデータが使用できない場合は、キャッシュされたデータに対して操作し、インテグレーションに失敗した場合は、参照のみモードで操作する
プラットフォーム | オーケストレーション✅ フォールバックパスを定期的にテストし、必要に応じて機能することを確認する

アンチパターン

参照すべき場所どんな悪い感じか
Agentforce | エージェント設定⚠️ Circuit Breaker がなく、エージェントが失敗すると、問題が解決するまでユーザーに繰り返し影響が及ぶ
プラットフォーム | オーケストレーション⚠️ オーケストレーションレイヤーではなく個々のエージェント内に代替ロジックを実装し、一貫性のない動作を作成する
Agentforce | エージェント設定⚠️ グレースフルな劣化オプションなしで完全に機能するか、完全に機能しないバイナリの合否判定エージェントの設計
プラットフォーム | オーケストレーション⚠️ フォールバックパスをテストせず、実際のインシデント中にのみ機能しないことを発見
Agentforce | エージェント設定⚠️ 会話のコンテキストを失い、ユーザーが情報を繰り返すことを強制するヒューマンハンドオフ

パターン

参照すべき場所外観
ビジネス | プロセス✅ 個々の障害が心理的安全性を生み出すのではなく、システムの改善に焦点を絞った無責任なインシデント後レビューの実施
ビジネス | プロセス✅ 初期条件から検出、調査、対応、復旧、タイムスタンプによる検証までの詳細なタイムラインの作成
ビジネス | プロセス✅ 単純な結論ではなく、症状から根本原因までドリルダウンする「5つの理由」テクニックを使用する
ビジネス | プロセス✅ 監視ギャップ、テストギャップ、ドキュメントギャップ、自動化ギャップ、アーキテクチャギャップなどの要因を分析する
ビジネス | プロセス✅ 検出の評価: 問題を早期に検出すべき信号、より迅速な検出を可能にする監視
ビジネス | プロセス✅ 繰り返しを防止する具体的で割り当てられた期限付きのアクション項目を指定する (例: 「10 分間でエラー率が 5% を超えた場合にアラートを追加 - 割り当て済み: Alex - 期日: 2 週間」)
ビジネス | プロセス✅ 後続のレビューでアクション項目の完了を追跡し、継続的な改善が実際に行われることを確認する
プラットフォーム | ドキュメント✅ 複数のインシデントのパターン分析を可能にするタグ付けを使用して、共有Knowledgeベースでインシデント後レビューを文書化する
ビジネス | プロセス✅ チームミーティングや昼食/学習セッションを通じて、インシデント発生後のレビューをインシデント対応担当者だけでなく広く共有する

アンチパターン

参照すべき場所どんな悪い感じか
ビジネス | プロセス⚠️ 心理的安全性を低下させ、失敗の正直な評価を妨げる、非難に重点を置いた死後
ビジネス | プロセス⚠️ 効果的な改善を可能にする特定の発見ではなく、単純な根本原因の結論 (「エージェントにバグがあった」)
ビジネス | プロセス⚠️ 特定の割り当てられた期限付きの ToDo ではなく、「監視の改善」などの漠然としたアクション項目
ビジネス | プロセス⚠️ 継続的な改善プロセスの失敗を示す低いアクション項目完了率
ビジネス | プロセス⚠️ インシデント後の学習を組織の学習のために広く共有するのではなく、即時対応者にサイロ化

パターン

参照すべき場所外観
ビジネス | プロセス✅ テスト、セキュリティレビュー、コンプライアンス検証、ドキュメント、監視設定、関係者の承認を含むリリース前チェックリストの検証
ビジネス | プロセス✅ 爆発半径、データの機密性、アクション権限、インテグレーション連動関係、復旧の複雑さ、コンプライアンスへの影響に基づいてリスクを評価
ビジネス | プロセス✅ リスクに基づいて承認要件を拡張: 高リスクの場合は役員の承認、セキュリティレビュー、段階的なロールアウトが必要、低リスクの場合は同僚レビューと標準テストが必要
プラットフォーム | 承認プロセス✅ Salesforce 承認プロセスまたは外部リリースツールを使用して、自動化された追跡可能な承認ワークフローを実装する
ビジネス | プロセス✅ 役員の承認、根拠ドキュメント、迅速な導入後のレビューを必要とする緊急バイパス手順を定義する
プラットフォーム | 監視✅ 緊急リリースを個別に追跡します。緊急リリースの頻度が高いと、プロセスの問題を調査しなければならないことを示します。

アンチパターン

参照すべき場所どんな悪い感じか
ビジネス | プロセス⚠️ エージェントのリスクプロファイルに関係なく、一貫した承認深度を適用し、低リスクのエージェントに労力を浪費したり、高リスクのエージェントを過小評価したりする
ビジネス | プロセス⚠️ テスト、セキュリティ、コンプライアンス、監視のリリース前チェックリストの検証なしで本番エージェントをリリースする
プラットフォーム | リリース⚠️ 緊急バイパス手順がないため、本番インシデント中に重大な修正遅延が発生する
ビジネス | プロセス⚠️ 例外的な状況ではなく、破綻した標準プロセスを示す、緊急リリースを必要とすることが多い

パターン

参照すべき場所外観
Agentforce | エージェント設定✅ 非確定的エージェント出力の正確なテキストではなく、出力特性 (必要な情報が含まれている、適切な語調が維持されている、引用が含まれている) をテストする
Agentforce | エージェント設定✅ 最小品質しきい値の設定 (例: 「保持されたテストセットで 95% の精度、安全違反ゼロ、公正性監査で 5% を超える人口格差がない」)
Agentforce | エージェント設定✅ プロンプトインジェクション、脱獄試行、要請のエスカレーション、範囲外要請などの敵対的入力を使用して安全テストを実行する
Agentforce | エージェント設定✅ エージェント開発に関与していないチームメンバーによる安全性テストを実施し、脆弱性の新たな視点を提供
プラットフォーム | パフォーマンステスト✅ 同時会話数、一般的な会話時間、予測される使用量など、現実的な負荷でテストする
プラットフォーム | セキュリティ✅ エージェントが未承認のデータにアクセスできないこと、未承認のアクションを実行できないこと、プロンプトインジェクションで権限をエスカレーションできないことを検証する
プラットフォーム | CI/CD✅ Salesforce Code Analyzer と専用の AI セキュリティツールを使用して、リリースパイプラインのセキュリティスキャンを統合する

アンチパターン

参照すべき場所どんな悪い感じか
Agentforce | エージェント設定⚠️ 出力特性をテストするのではなく、非確定的出力でテキストの完全一致をテストするエージェント
プラットフォーム | パフォーマンステスト⚠️ シングルユーザーシナリオ、欠落しているガバナ制限の問題、リソースの制約、拡張性のボトルネックがあるテストのみ
Agentforce | エージェント設定⚠️ 安全性テストをスキップしたり、開発者が脆弱性について新たな視点を持たないまま独自のエージェントをテストしたりする
プラットフォーム | セキュリティ⚠️ プロンプトインジェクションでエージェント権限をエスカレーションできるか、未承認のデータにアクセスできるかをテストしていない
Agentforce | エージェント設定⚠️ さまざまなユーザー種別や会話の複雑さなど、実際の利用状況の多様性を表す静的テストセットがある

パターン

参照すべき場所外観
プラットフォーム | ドキュメント✅ すべての変更を文書化: 何が変更されたか、なぜ変更されたか、どのテストで検証されたか、どのロールバック手順が存在するか
ビジネス | コミュニケーション✅ すべての関係者 (ユーザー、運用チーム、サポート、ビジネス) に、何が、いつ、どのようなメリットがあり、どのようなリスクがあり、誰に連絡すべきかを通知します。
ビジネス | コミュニケーション✅ さまざまな変更種別のコミュニケーションテンプレートを作成してメッセージを標準化し、準備のオーバーヘッドを削減
プラットフォーム | イベント監視✅ 実際の使用パターンを示すイベント監視データによって通知される、使用頻度の低い期間の時間エージェントのリリース
ビジネス | プロセス✅ 大規模なエージェントの変更をインシデント対応能力が低下して週末を避け、早い段階からミッドウィークにリリースする
ビジネス | プロセス✅ 主要なビジネスイベント (年度末、製品発売、主要なマーケティングキャンペーン) の前に変更凍結期間を設定する
ビジネス | プロセス✅ 制限期間を十分に事前に連絡する文書変更凍結カレンダー

アンチパターン

参照すべき場所どんな悪い感じか
プラットフォーム | リリース⚠️ ピーク使用量、月末完了、四半期末完了、または主要なビジネスイベント時のリリース
プラットフォーム | リリース⚠️ インシデント対応能力が制限される月曜日 (増強) または金曜日 (人員削減) にリリースする
ビジネス | プロセス⚠️ 過剰な変更による凍結により、リスクが比例して低減されず、改善速度が遅くなる
ビジネス | コミュニケーション⚠️ 影響を受けるユーザー、運用チーム、サポートチーム、ビジネス関係者に通知することなくエージェントの変更をリリースする
プラットフォーム | ドキュメント⚠️ 根拠を文書化せずに変化を起こし、経験ではなく教訓を再発見する組織を作る

パターン

参照すべき場所外観
プラットフォーム | UI✅ 会話 UI 内にフィードバック収集を実装し、収集を遅らせるのではなく、インタラクションが新鮮な間に即座に応答できるようにします。
プラットフォーム | Analytics✅ 質問種別、会話の長さ、トピック別の成功率、会話の特徴別のユーザー満足度を分析する会話ログの照会
プラットフォーム | Analytics✅ エラー種別、影響を受けたユーザー、会話パターン、一時的な分布別にエラーログのグルーピングを分析し、体系的な問題を明らかにする
プラットフォーム | Analytics✅ エラー修復の頻度と影響による優先順位付け: 多くのユーザーに影響する頻度の高いエラーにはすぐに対応が必要です。
プラットフォーム | 監視✅ 初期リリース後に品質ベースラインを確立し、トレンドが低下したときにベースラインアラートに対して継続的な品質を監視する

アンチパターン

参照すべき場所どんな悪い感じか
プラットフォーム | UI⚠️ フィードバック収集の遅延 (フォローアップメールの数日後など) による回答率の低下とリコールバイアスの導入
プラットフォーム | Analytics⚠️ エージェントが運用の複雑さを正当化しているか、機能が十分に活用されていないかどうかを判断するために使用パターンを分析していない
プラットフォーム | Analytics⚠️ 頻度やビジネスへの影響で優先順位を付けるのではなく、すべてのエラーを均等に処理する
プラットフォーム | 監視⚠️ データなしで改善の意思決定を行い、品質ベースラインとトレンド監視を欠如している

パターン

参照すべき場所外観
ビジネス | プロセス✅ 仮説、実験計画、総計値、サンプルサイズ、成功条件など、一貫した実験体制の提供
ビジネス | プロセス✅ 実行前に実験を文書化し、結果のあいまいな解釈を防止
プラットフォーム | Analytics✅ 会話メタデータでバリエーションの割り当てを追跡し、バリエーション別に結果を相関付け
プラットフォーム | Analytics✅ 期待される効果サイズ、統計的検出力、許容誤差率に基づいて、実験前の必要なサンプルサイズを計算
プラットフォーム | Analytics✅ マルチアームバンディット最適化を使用して、パフォーマンスの高いバリエーションにより多くのトラフィックを動的に割り当てることで、商談コストを削減
プラットフォーム | ドキュメント✅ テストされたバリエーション、測定された結果、達成された結果、失敗したアプローチの再テストを防止するための決定を含む実験カタログを管理する

アンチパターン

参照すべき場所どんな悪い感じか
ビジネス | プロセス⚠️ 事前定義された仮説や成功基準のない実験を実行すると、結果があいまいになる
プラットフォーム | Analytics⚠️ 不十分なサンプルサイズを使用すると、ノイズの多い結果になり、改善の意思決定が適切に行われません。
プラットフォーム | ドキュメント⚠️ 実験カタログがないため、チームは以前に失敗したアプローチを再テストし、Organization Knowledgeを失う
プラットフォーム | Analytics⚠️ どのユーザーがどのバリエーションを受け取ったかを追跡していないため、結果の関連付けができない