エージェント企業の公平性

エージェント企業の公平性

自律エージェントが顧客、従業員、コミュニティに影響する意思決定を行う場合、公正さが責任ある自動化と有害な自動化を区別するアーキテクチャ品質になります。Agentforce エージェントは、制限された人間の監視下で業務を遂行し、バイアスを前例のない規模で永続化および増幅して、個々の差別パターンを体系的な不平等に変換します。エージェントシステムの公平性は、AI の公平性、アクセシビリティ、人の監視、アルゴリズムの説明責任、倫理的なガバナンスを 1 つのアーキテクチャの柱に統合する Salesforce Platform の第一級のアーキテクチャ上の懸念事項です。

このページでは、エージェントアーキテクチャ固有の公平性の課題について説明します。公平性の柱では、公平性の主要な原則、アクセシビリティ要件、倫理的なガバナンス フレームワークについて説明します。ここでは、自律的なエージェントの考慮事項に焦点を当てます。つまり、結果的な意思決定を行うエージェントのバイアス検出と、名目上の説明責任ではなく実質的な説明責任を果たすことを目的とした監視パターン、影響を受けるユーザーが意思決定に異議を唱えることができる透明性、データ制御と監査ログを通じて責任あるAIプラクティスをサポートするEinstein Trust Layerなどのプラットフォーム機能です。

Agentforce エージェントは、トレーニングデータ、取得元、および実際のインタラクションからパターンを学習します。これらのソースに過去の差別や人口統計学的不均衡を反映するバイアスが含まれている場合、エージェントはアルゴリズムの効率性によってそのバイアスを永続化し、何千人ものユーザーがパターンに気付く前に影響します。

  • 基盤モデルのバイアス: 大規模言語モデル (LLM) は、人種、性別、年齢、障害、およびその他の保護された特性に関する社会的バイアスを含むインターネット規模のデータに基づいてトレーニングされます。これらのバイアスは、明示的な差別的指示がなくてもエージェントの応答に現れ、プロンプトエンジニアリングやテストだけで完全に解決されることはまれです。これは、部分的にインターネット規模のトレーニングデータに固有のパターンを反映しています。たとえば、Agentforce 採用エージェントは、男性的な言語パターンを使用してリーダーシップの役割を説明します。または、サービスエージェントは、名前が過半数以外の民族や性別を示す顧客に対して異なる対応を取る場合があります。これは、意思決定の結果に関係なく、カスタマーエクスペリエンスに影響する可能性がある表現品質の問題です。

保護されたグループを表すさまざまな人格を使用して、デモグラフィックバイアスについてエージェントを計画的にテストします。名前、場所、コミュニケーションスタイルなど、デモグラフィックシグナルのみが異なる同一の要求を生成します。人格間でエージェントの回答を比較して、品質の違い、口調の違い、結果の格差を確認します。

  • トレーニングデータ表現のギャップ: 組織の顧客リレーション管理 (CRM) の履歴データが特定の顧客セグメントを十分に表していない場合、そのデータに基づいてトレーニングまたはグラウンディングされた Agentforce エージェントは、それらのセグメントのパフォーマンスが低下します。10 年間の商談データに基づいてトレーニングを受けたリードスコアリングエージェントが、営業チームが歴史的に優先度の低い地域からの見込み客を体系的に過小評価し、アルゴリズムバイアスによって人間のバイアスが複雑になるフィードバックループを作成します。

エージェントのトレーニングや取得拡張生成 (RAG) グラウンディングに Salesforce データを使用する前に、デモグラフィック表現を監査します。代表不足のグループを特定し、代表ギャップが正当なビジネスの違いや過去の差別を反映しているかどうかを評価します。エージェントをリリースする前に、データの増加や明示的なバイアスの緩和によって不均衡を減らします。一部のバイアスは残る傾向があり、通常はリリース前に解決するのではなく、下流の監視と監視によって管理されます。

  • RAG システムでの取得バイアス：Agentforce エージェントが知識ベース、Data 360 セグメント、および Salesforce レコードで RAG グラウンド応答を使用します。これらの取得元に偏ったコンテンツが含まれていたり、デモグラフィックグループ間で品質が異なる場合、リリースされたエージェントはその偏りを影響を受けるユーザーの環境に取り込むことができます。このリスクを軽減するには、ベストプラクティスとして本番環境の前に取得元を監査します。エンタープライズ環境のお客様向けに詳細なトラブルシューティングを提供するKnowledge記事を取得するサービスエージェントは、中小規模企業のお客様向けに一般的な対応のみを提供しますが、顧客層が保護されている特性と相関する公平性の問題であるサービス品質の格差は解消されません。

Knowledge Baseと取得ソースを監査して、デモグラフィック表現のギャップと品質の格差を確認します。ギャップを埋めることが困難な場合は、これらの制限をエージェントが適切な場所のガードレールとして扱います。ドキュメントの品質、完全性、正確性がすべての顧客セグメントで同等であることを確認します。過小評価されているユーザーを遠ざけるマジョリティカルチャーの参照にデフォルトを設定するのではなく、コンテンツの例に多様な表現を含めます。

  • インタラクションパターンバイアス: エージェントは、保護された特性と相関する会話のキューに基づいて動作を調整できます。このパターンの監視は、トレーニングデータにないユーザー行動から生じるインタラクションダイナミクスがあるため、リリース後も一般的な方法です。コミュニケーションスタイル、言語の複雑さ、タイミングパターンは、デモグラフィック情報を示す可能性があります。正式なコミュニケーションスタイルをカジュアルなスタイルとは異なる方法で扱うエージェントは、文化的背景、教育レベル、またはネイティブ言語の状況によって、意図せずに差別する可能性があります。

デモグラフィックグループ全体のエージェントのやりとりを監視して、行動の一貫性を確保します。ユーザー特性によって階層化された回答の長さ、詳細レベル、丁寧さマーカー、ソリューション品質を分析します。格差は調査に値する相互作用バイアスを示唆している。

  • フィードバックループ増幅: エージェントが自身の将来のトレーニングデータに影響を与えると、自己強化バイアスが発生します。たとえば、特定の営業テリトリーに割り当てる価値の高い商談が少ないルーティングエージェントでは、それらのテリトリーの成功データが生成されません。その結果、予測される成功確率が低下し、今後の商談のルーティングがさらに減少します。介入なしでは、この初期バイアスは経時的に複層化します。

経時的な決定分布の変化を監視して、フィードバックループを検出します。特定のデモグラフィックグループが系統的に肯定的な結果を受け入れていない場合、エージェントの決定が将来の不利な決定を正当化する格差を生み出しているかどうかを調査します。エッジケースの人間によるレビューと定期的な再バランシングによってループを解消します。

複数の Agentforce エージェントがオーケストレーション チェーンで連携している場合、1 つのエージェントからのバイアスが下流エージェントに入力され、わずかな初期バイアスが重大な差別的結果に増幅する複合的な影響が生じます。

  • 順次エージェントチェーン: エージェント A の出力がエージェント B の入力になると、エージェント A の偏った決定によってエージェント B の選択肢が制約され、差別が永続化または増幅されるリスクがあります。

リード評価オーケストレーションについて考えてみます。

  1. Research Agentは、WebソースとCRM履歴から顧客インテリジェンスを収集します。
  2. スコアリングエージェントは、調査エージェントによる調査結果に基づいてリードスコアを割り当てます。
  3. ルーティングエージェントは、スコアに基づいてリードをテリトリーに割り当てます。
  4. エンゲージメントエージェントは、以前のすべてのエージェントの出力に基づいてアウトリーチをパーソナライズします。

調査エージェントが (トレーニングデータのギャップや取得バイアスのために) 特定の顧客デモグラフィックの網羅性の低いデータを系統的に取得すると、スコアリングエージェントは不完全な情報を否定的なシグナルとして解釈します。その後、ルーティングエージェントは優先度の低いテリトリーに割り当て、エンゲージメントエージェントはパーソナライズされていないアウトリーチを提供します。複合効果により、個々のエージェントのバイアスを大幅に上回るサービス品質の格差が生じます。

  • 並列エージェント合意: 複数のエージェントが同じ入力と結果を独立して分析して集計するパターンでは、エージェントがトレーニングデータまたは基盤モデルを共有するときにバイアスを増幅できます。

5 人のエージェントが個別にリードをスコアリングし、全員がバイアスのかかったトレーニングデータや基盤モデルのバイアスを共有している場合、コンセンサスはバイアスを修正せず、単に検証します。「5 人のエージェントが同意」では、5 人全員が同じ系統的バイアスを共有している場合、差別的結果に対する誤った信頼性が提供されます。

オーケストレーション バイアスの軽減戦略:

  • Agent output audit at each stage: オーケストレーションチェーンのすべてのエージェントの完全な入力と出力を記録します。最終結果でバイアスが検出された場合、チェーンを逆方向に辿って、バイアスを導入したエージェントと増幅が発生したフェーズを特定します。

各オーケストレーションフェーズの決定の分布を人口統計別に表示する CRM Analytics ダッシュボードを作成します。チェーンのどこで格差が発生または拡大するかを特定します。

  • **Diversity in agent training and prompting (**エージェントのトレーニングとプロンプトの多様性) - 多様性によって相関エラーが減り、バイアスの増幅が起こりにくくなります。マルチエージェントの合意パターンを使用する場合、多様性を最大化します。
  • Bring Your Own LLM (BYOLLM) 設定など、商用で実行可能かつサポートされているさまざまな基盤モデル
  • エージェントごとに異なる取得元
  • さまざまなプロンプトエンジニアリングアプローチ
  • 異なる信頼性しきい値のキャリブレーション
  • 人による転換点のレビュー: 決定によって下流のオプションが大幅に絞り込まれるオーケストレーションのフェーズを特定します。個々のエージェントの信頼性が高くても、これらの変曲点に人間のレビューを挿入します。オーケストレーションにより、個々のエージェントの信頼性スコアでは把握できない効果が発生します。
  • オーケストレーションフェーズごとの公平性評価指標: 最終結果の公平性を測定するだけでなく、チェーンの各フェーズでの人口統計学的同等性、均等な機会、異種影響を計算します。

フェーズ 1 で人口統計学的同等性が 90%、フェーズ 2 で 85%、フェーズ 3 で 78%、フェーズ 4 で 70% の場合、各フェーズは単独では許容できるように見えますが、最終格差は許容できません。フェーズ別の総計値は、差別的な結果が生じる前に複合化を捕捉します。

  • オーケストレーション障害のサーキット ブレーカー - 次の場合にオーケストレーション ロジックを停止してユーザーにエスカレーションするように構成します。
  • 下流のエージェントが信頼していても、エージェントの信頼性がしきい値を下回る
  • オーケストレーションフェーズ間で分布が大きく変化する
  • ディシジョンチェーンでトレーニングセットまたは検証セットで表現されていないデータが検出される
  • ユーザーが中間決定に対して明示的に質問または異議を唱える

マルチエージェントオーケストレーションにより、高度な推論が可能になりますが、説明責任が分散し、複合的なバイアスがかかる不透明な決定チェーンが作成されます。段階的な公正性の監視と戦略的な人間の監視に対するアーキテクチャ上の注意により、オーケストレーションがバイアス増幅装置にならないようにします。

ユーザーに関する最終的な意思決定を行う Agentforce エージェントをリリースする前に、デモグラフィックグループ全体の公平性評価指標を計算します。公正性評価をセキュリティレビューと同等の権限を持つ必須のリリースゲートにします。

  • 人口同等: 陽性結果率は、保護されている人口統計グループ間でほぼ等しい必要があります。エージェントがグループ A のサービス要求を 60% の割合で承認し、グループ B を 40% の割合で承認すると、デモグラフィックの同等性が侵害されます。人口統計学的同等性は、グループ間で結果率の差が生じる正当な理由がない場合に適しています。

母集団を人口統計区分に分割し、区分ごとの陽性結果率を測定し、区分全体の率を比較することで、人口統計学的同等性を計算します。指定承認者との同等性のギャップを文書化します。

  • 機会均等: 真陽性率はグループ全体で比較可能です。エージェントは、デモグラフィックの特性に関係なく、適格な個人を均等に識別します。予測モデルでは、基礎となる信用度が類似する場合、保護対象グループ全体で同様の率で信用できる申込者が認識されます。

多くの場合、均等な商談は、基本料金が正当に異なる可能性がある個人資格に関する判断において、人口統計学的同等性よりも適切な評価指標です。エージェントが、過小評価されているグループの適格な候補者を計画的に見逃しているかどうかを監視します。緩和後も格差がある場合は、エージェントがこの使用事例に適さない可能性があります。

  • 等号確率: 真陽性率と偽陽性率の両方がグループ間で等しくなります。これは、デモグラフィック全体で真陽性率と偽陽性率の両方を制限する厳格な定義です。確率を均等化することで、見逃した商談が特定のグループに集中することや、冤罪が特定のグループに集中することを防ぎます。

均等化された確率を達成するには、多くの場合、デモグラフィックグループごとに個別の決定しきい値が必要です。米国では、雇用関連の意思決定については、Title VII(1964年公民権法)で保護対象階層別にスコアを調整したり、異なるカットオフスコアを設定したりすることが禁じられているため、この方法では雇用の均等化を実現できません。その他のコンテキストや管轄区域では、明示的な差別化措置について法的な疑問が生じるため、グループ固有のしきい値を実装する前に弁護士に相談してください。

  • 異種影響率: 4/5 ルールではスクリーニングしきい値が提供されます。あるグループが最も高いパフォーマンスのグループの割合の 80% 未満で肯定的な結果を受け取った場合、バイアスを調査します。75% の比率 (たとえば、承認率が 45% に対して承認率が 60%) は 5 分の 4 のしきい値を下回り、正当化または軽減が必要な潜在的な差別を示します。

異種影響分析は雇用法の標準であり、AI システムにもますます適用されています。比率が 80% を下回る場合は、調査と改善の手順を文書化します。改善によって比率が引き上げられない場合、チームは使用事例が適切ではないと結論付けることがあります。

  • 個人の公平性: グループメンバーシップに関係なく、類似する個人が類似する予測を受け取ります。同じ信用度、購入履歴、エンゲージメントを持つ 2 人の顧客は、デモグラフィックの違いに関係なく、同様のクレジット限度のおすすめを受け取ります。

個人の公平性は哲学的に重要ですが、「類似性」は主観的で状況に依存するため、運用上困難です。厳格な数学的制約ではなく、個人の公平性を設計原則として機能の選択とテストの指針にします。

2 つのプラットフォーム機能でバイアス検出用のデータが取得されます。Einstein Trust Layer は、各 Agentforce インタラクションの生成 AI 監査履歴を記録します。監査履歴には、モデルに送信されたプロンプト、返された応答、使用されたグラウンディング ソース、有害性スコアなどの Trust シグナルが含まれます。Agentforce セッショントレーシングでは、各決定の背後にある段階的な理由が記録されます。これらを組み合わせることで、バイアスの検出と公平性の監視をサポートするデータが提供され、そのデータの解釈は人間の作業であり、通常は訓練を受けたレビュー担当者と専用の時間が必要になります。

  • 応答ロギング: Trust Layer は、生成されたすべてのインタラクションのプロンプト、モデル応答、および Trust シグナルを記録します。このデータを使用して、デモグラフィックグループ全体の予測分布を分析します。顧客セグメント別に承認率、おすすめパターン、リスクスコアを比較する CRM Analytics ダッシュボードを作成します。

Query Trust Layer logs regular (信頼レイヤーログの定期的な照会): プロンプト「Show me all high-value opportunity prediction in the last 30 days grouped by customer industry, region, and account size. (顧客の業種、地域、および取引先の規模別にグループ化された、過去 30 日間のすべての価値の高い商談予測を表示してください。)」を使用します。予測分布はセグメント間で一貫しているか、特定のセグメントのスコアが系統的に高い/低いか」

  • 理由追跡キャプチャ: Agentforce エージェントの場合、Agentforce セッション追跡ではエージェントがどのように意思決定に達したかを記録し、Trust Layer 監査履歴ではプロンプト、応答、グラウンディング ソース(取得されたナレッジ記事や Salesforce レコードなど)を取得します。ユーザーがバイアスを報告したときに両方を確認し、バイアスを導入した可能性のあるデータソース、取得パターン、または推論ステップを理解します。

理由追跡により、従来のシステムよりも事後の公平性監査がより詳細で実行しやすくなります。デモグラフィックグループで層別化された 100 件のエージェントの意思決定のサンプルを作成し、グループ間で推論品質が比較可能かどうかをレビュー担当者に評価してもらいます。

  • 異常検知: エージェントの決定パターンがベースラインから大幅に逸脱した場合のアラートを設定します。特定の顧客セグメントの承認率が前週比で 20% 減少した場合、調査をトリガーします。突然の配信シフトは、データ品質の問題、モデルのドリフト、または早急な対応が必要なバイアスの発生を示す可能性があります。

公正性のシグナルを警告するカスタム監視を構築します。「Agentforce サービスエージェントの顧客セグメントの平均会話時間が 3 日間連続して全体の平均の 1.5 倍を超えた場合に通知します。」長さの格差は、サービスの効果が低い特定のグループを示している可能性があります。

  • 公正性ダッシュボードテンプレート: 一般的なエージェントの使用事例の公正性評価指標を追跡する再利用可能な CRM Analytics ダッシュボードテンプレートを作成します。人口統計学的同等性の計算、等しい商談評価指標、異種影響率、評価指標の経時的な進化を示すトレンドグラフを含めます。公正性の監視を標準化するエージェント開発チーム間でテンプレートを共有します。

バイアスが検出されたら、根本原因に基づいて適切なフェーズで軽減策を適用します。

  • データ介入の前処理: エージェントのトレーニングまたは RAG インデックス付けの前にデータレベルでバイアスを修正します。トレーニングデータで過小評価されているデモグラフィックグループを過剰サンプリングして、バランスの取れた表現を確保します。実際のデータが不十分な場合、少数過剰サンプリング手法 (SMOTE) などの手法を使用して、過小評価されているグループの追加データを統合します。SMOTE は数値の表形式の特徴を補間するため、構造化された CRM トレーニングデータに適用され、RAG グラウンディングに使用される非構造化テキストには適用されません。

Salesforce CRM データをモデルのトレーニングに使用する前に、デモグラフィックのギャップを監査します。過去の商談データが特定の顧客種別を過大に表す場合、トレーニングセットを再調整するか、サンプリングの加重を使用して、エージェントが判断のシグナルとしてその過大な表現を学習できないようにします。

  • 処理中アルゴリズム制約: モデルのトレーニング中に公正性制約を適用して、正確性と公平性の両方を同時に最適化します。これにより、グループ全体の公平性が大幅に向上しながら、raw の精度が 2 ～ 3% 低下する可能性があります。モデルのトレーニングを制御する場合、公平性に制約されたトレーニングが最も効果的な軽減方法です。

トレーニングを変更できない基盤モデルを使用する Agentforce エージェントの場合、システム プロンプトを使用してエージェントの動作を制約します。「すべての顧客デモグラフィックを同等のプロフェッショナリズムと詳細で扱います。顧客のコミュニケーションスタイルや背景に関係なく、同等の長さと品質の説明を提供する」

  • 後処理しきい値調整: 合法的な場合には、デモグラフィックグループごとに決定しきい値を調整すると、モデルトレーニング後の結果率を均等化できます。たとえば、承認エージェントは、あるグループに 80% の信頼性しきい値を適用し、別のグループに 75% の信頼性しきい値を適用して、基礎となるモデルのバイアスを相殺できます。差別禁止法では、この手法が大幅に制限されており、一部の管轄区域では、特定の決定でこの手法を全面的に禁止しています (下記を参照)。

しきい値の調整は、グループを明示的に異なる方法で扱い、多くの管轄区域の差別禁止法によって制限または禁止されているため、議論の的になっています。米国では、雇用関連の決定については、Title VII (1964 年公民権法) でスコアを調整したり、保護対象階層ごとに異なるカットオフスコアを使用したりすることが全面的に禁止されており、文書化された正当性によって慣行が合法化されることはありません。他の管轄区域では独自の制約が適用されるため、ユーザーに適用されるルールを確認してください。慣行が許可されている場合は、グループ固有のしきい値を実装するときの法的正当性を文書化し、しきい値によって他の差別的影響が生じることなく公平性が向上することを確認します。

  • プロキシ機能検出および削除: 保護された特性と相関し、間接的な差別メカニズムとして機能する機能を特定します。一般的なプロキシは次のとおりです。
  • 人種、民族、所得レベルの郵便番号プロキシ
  • 性別と民族を表す名前パターン
  • 宗教および介護責任の通信タイミングプロキシ
  • 所得レベルのデバイス種別プロキシ
  • テリトリー割り当ては、デモグラフィック構成のプロキシになる可能性がある

すべてのモデル特徴と保護特性間の相関係数を計算します。高度に相関した特徴の場合、正当な予測値で包含が正当化されるかどうか、または代替特徴でプロキシ効果なしで同様の予測を提供できるかどうかを評価します。

Agentforce エージェントは、レビューを名目上ではなく実質的になるように設計された手動の監視で操作できます。適切な監視レベルは、決定の利害関係、復元可能性、規制要件によって異なります。

実行前に人間によるレビューで結果的決定を転送します。決定が人間の審査に値するほど重要なものであるかどうかは、潜在的な被害の重大度とその被害が発生する可能性を比較することで判断します。多くの場合、医療、金融サービス、公共セクターなどの規制された領域内で最終的な意思決定が行われますが、それらの領域外でも発生します。一般的なリスクの高いコンテキストは次のとおりです。

  • 雇用の意思決定 - 採用、昇格、解除、報酬、パフォーマンスレビュー
  • クレジットおよび金融サービス - クレジット承認、変更制限、口座閉鎖、価格設定
  • 医療 - 診断の提案、治療の推奨、補償範囲の決定
  • 法的権利 - 契約の解釈、紛争解決、サービスへのアクセス
  • ハウジング - テナントのスクリーニング、リース承認、立ち退きの推奨事項

これらのコンテキストで Agentforce エージェントを設計し、実行前に人間の承認を要求しながら、意思決定を分析、推奨、準備します。エージェントを、人間に代わる自律的な意思決定者ではなく、人間の判断を強化する意思決定支援ツールとして位置付けます。

エージェントの不確実性に基づいて人間のレビューをトリガーする信頼性しきい値を設定します。

  • **高信頼性(90%**以上) - エージェントは完全な監査ログを使用して自律的に処理を続行します。
  • 中程度の信頼性 (70 ~ 90%) - エージェントがアクションの前に手動レビューで推奨
  • 低信頼性(<70%) - エージェントはコンテキストの概要を使用して完全に人間に委ねます。

本番データを使用してしきい値を調整します。「70% の信頼性」の予測は、検証されると約 70% の確率で成功します。誤って調整された信頼性スコアは、エスカレーション メカニズムに対するTrustを損ないます。

各信頼帯域でエージェントの決定をサンプリングし、実際の成功率を計算することで、キャリブレーションをテストします。「高信頼性」の決定が 75% の確率でのみ成功する場合は、しきい値を再調整するか、モデルの信頼性の推定を改善します。

Agentforceが定義された制限内で要求を解決できない場合は、人間にエスカレーションします。エスカレーション先に支援可能な業務量があることを確認します。過負荷のキューにルーティングしても被害は軽減されません。

エスカレーショントリガーを設定します。

  • 会話ターン – 5~7ターン後に解決せずにエスカレーション
  • 経過時間 – 解決せずに 10 分後にエスカレーション
  • ユーザーセンチメント – ユーザーが不満を示したら、エスカレーションする
  • 繰り返し検出 – エージェントが同じ応答を繰り返す場合、エスカレーションする

完全な会話コンテキストを使用して、エスカレーション済みケースを適切なスキルベースのキューに転送するようにオムニチャネルを設定します。ユーザーがエージェントにすでに提供されている情報を繰り返すことなく、エスカレーションを効率的に処理できるように人間のエージェントをトレーニングします。

承認されたユーザーが、ドキュメント化された根拠を使用していつでもAgentforceの決定を上書きできるようにします。上書きには複数の目的があります。

  • エラー修正: ユーザーは、ユーザーに危害を加えたりポリシーに違反したりするエージェントのミスを修正します。上書き機能は、エッジケースが避けられない複雑な環境で稼働する自律システムの安全弁となります。
  • バイアス検出: 特定のデモグラフィックで Agentforce 拒否を人間が上書きする頻度が他のデモグラフィックよりも高い場合は、両方の可能性を調査します。エージェントがそのグループを組織的に不利にして人間がそれを修正しているか、上書き者が新しいバイアスを導入している可能性があります。最初のパターンはエージェントの確認を示し、2 番目のパターンはレビュー担当者のトレーニングを示します。
  • エージェントの改善: 根拠のある上書きは、エージェントの改善のためのトレーニングデータになります。上書きされた決定をサンプリングし、人間がエージェントに同意しなかった理由を分析します。上書きパターンを迅速な調整またはモデルの再トレーニングに組み込みます。
  • 説明責任: 上書きによって説明責任が割り当てられます。エージェントの決定を上書きするユーザーは、その決定の結果に対する責任を負います。明確な説明責任により、全員が AI に説明責任があると想定し、誰も所有権を持たないという責任の分散を回避できます。

インシデントの発生後ではなく、リリース前に説明責任を割り当てます。

  • **モデル所有者:**モデルの公正性、正確性、動作に責任を負うデータ サイエンス リーダー。リリースの承認、公平性アラートへの応答、更新の承認を行います。モデル所有者は、アーキテクチャ決定レコードに記載されている指定個人です。
  • **意思決定所有者:**製品所有者は、特定のユースケースに合わせてAIを導入する責任と、顧客への実際の影響について責任を負うことができます。意思決定所有者は、説明責任を AI システムに委任できません。
  • 不服申立て権限: 倫理審査委員会または指定されたチームが、エージェントの意思決定が不正であったと考えるユーザーからの不服申立てを処理します。アピールプロセスは、アクセスしやすく、タイムリーで、エージェントの意思決定を覆すことができるものでなければなりません。
  • 監査権限: エージェントを検証する定期的な監査を実施するコンプライアンスチームは、公正性パラメーターの範囲内で業務を行い、標準を満たさないエージェントを修復待機中に一時停止できます。

役職だけでなく、すべてのロールを名前で文書化し、組織の変更後も説明責任が保持されるようにします。

Agentforce エージェントがユーザに影響する意思決定を行う場合、それらのユーザは決定の影響に比例したわかりやすい説明を受ける必要があります。

さまざまな利用者にサービスを提供する複数の説明レイヤーを作成する:

  • ユーザー向け説明: 技術的な専門知識がなくてもわかりやすい簡単な言葉で説明できます。申請金額 ($12,000) が承認制限 ($10,000) を超えているため、サービス要請にはマネージャーの承認が必要です。通常、マネージャーの承認は 24 時間以内、または合意されたサービスレベル契約 (SLA) 内で完了します。」
  • ビジネスの説明: 業務ユーザーには、ビジネスコンテキストと共に主要な意思決定要素が表示されます。リードスコア: 73/100。 主な肯定的な要因: 会社規模 (従業員 500 人)、Web サイトエンゲージメントの活発さ (30 日間で 12 回の訪問)、業種の一致 (SaaS)。主なマイナス要素: MQL エンゲージメントなし、対象地域外」
  • **技術説明:**データ サイエンティストはモデルの詳細(機能の加重、信頼性のキャリブレーション、モデルのバージョン、トレーニング日、入力分布)を確認します。技術的な説明では、デバッグとバイアス調査がサポートされます。
  • 監査の説明: コンプライアンスチームは、モデルバージョン、決定時の正確な入力値、参照されたすべてのデータソース、推論の追跡、設定状態など、完全な決定トレースを確認できます。監査の説明は、正確な再構築が必要な規制調査と公正性監査をサポートします。

Agentforce セッショントレーシングはエージェントの意思決定の背後にある段階的な理由を記録し、Einstein Trust Layer はプロンプトと応答の監査履歴 (グラウンディングソースを含む) を取得します。これらを組み合わせることで、適切な詳細レベルで透明性を提供できます。

  • リアルタイムの透過性: Agentforce が意思決定を行うときに、「購入履歴 (類似する購入を 3 件)、現在のプロモーション (20% 割引)、在庫状況 (在庫あり、明日出荷) に基づいて商品 A を推奨しました」という概要理由をユーザーに表示します。
  • オンデマンドの詳細説明: 「Why did you recommend this? (これを推奨した理由は?)」と入力します。リンク。取得されたすべての Knowledge 記事、参照された Salesforce レコード、決定ロジックなど、完全な理由を表示できます。詳細な説明によって Trust が構築され、ユーザーがエラーやバイアスを特定できるようになります。
  • 履歴の再構築: 数週間後または数か月後にユーザーが過去の意思決定に異議を唱えると、セッションの推論トレースとTrust Layer監査履歴を取得して、過去の意思決定を正確に説明できます。歴史の復元は、不服申立てと規制調査をサポートします。
  • Aggregate pattern analysis: デモグラフィックグループで層別化されたサンプル推論トレースを使用して、決定品質の一貫性があるかどうかを分析します。各顧客セグメントの 100 個のトレースを確認し、グループ間で推論深度、ソース品質、ロジックが比較可能かどうかを評価します。

ユーザーが誤って解釈した未加工の確度スコアを回避して、ユーザーに適した用語で予測の信頼性を表示します。

「73% の信頼」の代わりに、次のように信頼を伝えます。

  • 高い信頼性 – 「類似するケースに基づいて、この推奨が適切であると確信しています」
  • 中程度の信頼性 – 「この推奨事項は適切である可能性が高いが、マネージャーによる確認が推奨される」
  • 低信頼性 – 「この状況は異常です。より適切な指針を提供できる専門家にエスカレーションしている」

信頼性に対する信頼性レベルの意味を「過去の検証に基づいて、信頼性が高いおすすめは約 95% の確率で正しい」と説明。

信頼性が中程度または低レベルの決定の場合、「この要請は標準パラメーター外であるため、シニアスペシャリストによる審査を受け、通常は 24 時間以内に承認されるか、合意済みのサービスレベル契約 (SLA) の範囲内で承認されます」と、追加審査の内容を説明します。

必要に応じて、結果を変更する内容をユーザーに表示します。偽造品を使用すると、ユーザーは、すでに下された決定を通知するだけでなく、特定のアクションによって結果を改善できます。

例: 「リードスコアは、検証済みの雇用情報 (+8 ポイント) と追加の信用照会 (+5 ポイント) で増加します。このドキュメントを提供すると、アプリケーションが優先度レビューキューに移動します。”

カウンターファクトは強力な透明性メカニズムですが、慎重な設計が必要です。ゲームを奨励する事実や、保護されている特性を決定要素として不用意に明らかにする事実を提供しない。「10 歳若ければ出願のスコアは高くなる」というのは、違法な差別であり、透明性にはなりません。

一部の管轄区域では、ユーザーがボットを操作していることを明確に開示することが、設計のベストプラクティスだけでなく法的要件となっています。ユーザーが手動エージェントではなく Agentforce エージェントを操作するタイミングを明確に示します。開示は、目立つように継続的に行う必要があり、サービスの観点で埋もれたり、インタラクションの開始時に 1 回しか表示されなかったりしないでください。

永続的なビジュアルインジケーターを表示します。

  • 「AI アシスタント」と明記されたエージェントアバター
  • 「You’re chatting with an Agentforce service agent」 (Agentforce サービスエージェントとチャット中です) が表示されているヘッダー
  • 会話全体に表示される [人間のエージェントと連絡を取る] オプション

開示ではユーザーの自主性を尊重し、インタラクションモードに関する情報に基づいた選択を可能にします。人的なインタラクションを好むユーザーには、摩擦やサービス品質のペナルティのないオプションが必要です。

エージェント型 AI より前のイベント監視や項目監査履歴などの Salesforce Platform 機能では、個々のエージェントが行う意思決定にアルゴリズムの説明責任が拡張されます。

  • エージェントアクションのイベント監視: イベント監視は、Salesforce が制御する整合性でエージェントのデータアクセス、API コール、およびシステム変更を取得します。イベント監視ログを外部 SIEM にストリーミングして長期保存したり、結果的意思決定の規制要件に適合する証拠を改ざんしたりします。

イベント監視を設定して、次の点を追跡します。

  • エージェントシステムのインタラクションを示す API イベントログ
  • エージェントサービスアカウントのログインイベント
  • エージェントが一括データにアクセスするときのレポートのエクスポート
  • Field Audit Trail for AI-influenced data:標準項目履歴では、データの変更が18か月間(APIにより24か月間)保持されます。項目監査履歴では、項目履歴を無期限に保持できます。最長 18 か月後にアーカイブし、削除するまでアーカイブデータを保持できるため、長期的な公平性監査と規制調査をサポートします。項目監査履歴でサポートされる標準オブジェクトと、項目履歴管理が有効になっているカスタムオブジェクト (オブジェクトあたり最大 200 項目) から選択して、エージェントの決定を保存または影響を受けるオブジェクトで項目監査履歴を有効にします。

信用判断、雇用判断、その他の重要な使用事例では、複数年の保存が規制要件になることがあります。保持期間は体制によって異なります。使用事例に該当する要件を確認します。

  • Shield Event Monitoring for highest stakes: Shield Event Monitoring は、構造化されたイベント項目とコンプライアンスレポートツールとの統合により、強化された監査機能を提供します。イベントログファイルのデータは、イベント監視ユーザーと Shield ユーザーの両方でデフォルトで 1 年間保持されます。Shield は、監査履歴の整合性が重要なエージェントの意思決定に使用します。

エージェントの過去の決定を正確に再構築するための十分な情報を保存します。

  • モデルバージョン: 各決定を行ったモデルバージョン (基盤モデル、プロンプトバージョン、微調整されたモデル ID) を記録します。モデルバージョンは頻繁に変更され、異なる出力が生成されます。正確なバージョン管理により、バイアスが検出されたときに根本原因を分析できます。
  • 入力特徴値: 変更された現在の値ではなく、決定時に正確な入力値を保存します。入力スナップショットを使用すると、現在のデータで決定が異なるかどうかをテストしたり、その時点で入手可能な情報に基づいて元の決定が正しいことを確認したりできます。
  • 設定状態: 決定時に有効なレコードしきい値、ビジネスルール、およびパラメータ設定。設定変更は結果に影響します。設定履歴では、決定ドリフトにモデルの変更が反映されているか設定変更が反映されているかを判断できます。
  • 環境コンテキスト: 関連するコンテキスト (ユーザー ID、タイムスタンプ、会話履歴、セッションコンテキスト) を取得します。コンテキストはエージェントの動作に影響するため、正確な再構築のために保存する必要があります。

バイアス検出は、リリース前の 1 回限りの検証ではなく、継続的に行う必要があります。エージェントは、迅速な更新、基盤モデルバージョンの変更、データ配信の移行によって進化します。

  • **公正性評価指標ダッシュボード:**Einstein Trust Layerログから公正性評価指標を追跡するCRM Analyticsダッシュボードを作成します。人口統計学的同等性、機会均等性、異種影響率を継続的に監視します。総計値が定義済みのしきい値を超えた場合のアラートを設定します。

次の情報を表示するダッシュボードを作成します。

  • 顧客デモグラフィックセグメント別の決定の分布 (棒グラフ)
  • Fairness metrics over time (経時的な公平性評価指標) (アラートしきい値を含むトレンド線)
  • 5 分の 4 ルールインジケーターを使用した異種影響率の計算
  • 意思決定に寄与する上位の予測因子 (基礎となるモデルで明らかにされる)
  • Override rate by demographic group (デモグラフィックグループ別の上書き率)
  • 配分シフト検出: 潜在的な公平性の問題を示す変更がないかエージェントの入力配分を監視します。エージェントの決定を受けるユーザーのデモグラフィックの構成がトレーニングデータのデモグラフィックから大幅にシフトすると、モデルの公平性が低下する可能性があります。

入力分布が変更されたときにアラートを表示: 「Agentforce リードルーティングの顧客セグメントの分布は、過去 30 日間に 15% エンタープライズに移行しました。異なるサービスパターンを受信するようになった SMB ユーザーに対してルーティングロジックが公正であるかどうかを確認します。」

  • ユーザーフィードバック統合: ユーザーがアクセス可能なメカニズムを使用して、認識されたバイアスを報告できるようにします。ユーザーレポートでは、定量的評価指標で見逃される定性的な問題が表面化します。

Agentforce チャット インターフェイスに [Report Concern (懸念事項の報告)] オプションを追加します。完全な会話コンテキストを使用してレポートを倫理審査ボードに転送します。必要な調査ワークフローと文書化された解決策を使用して、カスタムオブジェクトのレポートを追跡します。

アルゴリズムによる説明責任の実証を必要とする規制当局、公民権団体、または顧客による外部監査を予期するエージェントアーキテクチャを設計します。

  • エクスポート機能: エクスポート機能を構築することで、コンプライアンスチームは、外部監査人のレビュー用に、人口統計学的階層化を含む完全な決定データセットを抽出できます。輸出業者は、公正性の検証に十分な透明性を提供しながら、データプライバシー規制を尊重する必要があります。
  • 監査ドキュメント: 現在のドキュメントを維持します。
  • エージェントの目的と使用目的
  • トレーニングデータのデモグラフィックと既知の制限
  • リリース前と本番で計算された公平性評価指標
  • 適用されるバイアス緩和戦略
  • 手動監視設定
  • 監視アプローチとアラートしきい値
  • 説明責任の割り当て (モデル所有者、意思決定所有者、不服審査機関)
  • アルゴリズム影響評価: 最終的な意思決定を行うエージェントを導入する前に、関係者グループ全体で潜在的な肯定的な影響と否定的な影響を評価する影響評価を実施します。影響評価では、規制当局が評価するデューデリジェンスとプロアクティブなリスク管理が示されます。

ユーザーは、Agentforce がユーザーエクスペリエンスに与える影響を有意義に制御できます。

  • 結果エージェントのオプトイン: ユーザーに大きな影響を与える意思決定を行うエージェントは、デフォルトで有効になるのではなく、明示的なオプトインが必要です。信用決定エージェント、雇用審査エージェント、サービス対象資格エージェントは、ユーザーが同意した後にのみ有効化され、エージェントがどのように影響するかを明確に理解します。
  • **詳細な同意:**包括的なAI同意ではなく、エージェントの使用事例ごとの同意を有効にします。顧客は Agentforce サービスエージェントに同意する一方で、Agentforce セールスエージェントを拒否する場合があります。使用事例レベルの同意追跡をサポートするアーキテクチャは 1 つの入力です。適用ロジックのテストと定期的な監査は、同意ゲートが実際に保持されていることを確認するのに役立ちます。
  • **新機能の動的同意:**既存のユーザーに影響する新しい Agentforce 機能を導入する場合、特定のアプリケーションを考慮しなかった元の同意に頼るのではなく、新しい使用事例の同意を積極的に求めます。ユーザーに影響する新しい各エージェント機能は、明確な説明と共に同意チェックをトリガーします。
  • 同意の取り消しと即時効果: エージェントの処理を即座に停止して、ユーザーがいつでも同意を取り消すことができるようにします。同意の取り消しは、サポート連絡先や官僚的なプロセスを必要とせず、同意を付与するのと同じくらい簡単に行う必要があります。
  • プリファレンス管理: ユーザーが定義済みの境界内でエージェントの動作を設定できるようにします。
    • コミュニケーションスタイル (簡潔な説明と詳細な説明)
    • プロアクティブ度 (質問されたときのみ回答し、積極的に提案する)
    • エスカレーション設定 (AI による解決を優先するか、人間による迅速な解決を優先するか)

ユーザーレコードのカスタム項目に設定を保存します。エージェントシステムプロンプトの参照設定: 「ユーザーは詳細な説明を好みます。裏付けとなる理由を含めて包括的な回答を提供する」

  • オンデマンドの手動操作:Agentforce 操作全体にわたって永続的な [手動エージェントと連絡] オプションを提供します。エージェント操作を完了したり、手動操作を希望する理由を説明したりする必要はありません。

即時ハンドオフルーティングの設定: ユーザーが [ヒューマンエージェント] を選択すると、完全な会話コンテキストとユーザー設定を示す優先度フラグを使用してオムニチャネルに転送されます。人的インタラクションの選択には、サービスの低下や待機時間のペナルティは適用されません。

  • 透明性インジケーター: 永続的なビジュアルインジケーターでエージェントのインタラクションを明確にマークし、ユーザーがインタラクションモードを認識できるようにします。エージェントとやりとりしていることを忘れたユーザーは、非現実的な期待を持っていたり、制限が表面化したときに嘘をついたりすることがあります。

意図的なアーキテクチャの選択により、保護されたデモグラフィックグループ全体で公平な結果を生成するエージェントを設計します。

結果的意思決定を行うエージェントは、障害の宿泊施設などの特定の目的で法的に正当化されない限り、保護された特性 (人種、性別、年齢、障害、宗教、出身国、性的指向など) に基づいて差別してはなりません。

  • 機能監査: 保護された特性コンテンツのエージェントの推論で使用されるすべてのデータソースを確認します。CRMデータ、Data 360セグメント、およびKnowledge Baseには、エージェントが特定の意思決定のために考慮すべきでないデモグラフィック情報が含まれている場合があります。

エージェントの入力から保護されている特性を削除するか、マスキングします。これらの特性が決定種別として法的に正当化されていない場合、これらの特性を削除します。信用度の判断では、障害状況は無関係であるため除外します。障害者宿泊要請の場合、障害者の状況は不可欠であり、含める必要があります。

  • Prompt engineering for non-discrimination: エージェントのシステムプロンプトに明示的な非差別命令を含めます。

“あなたはカスタマーサービスエージェントです。“名前、場所、コミュニケーションスタイル、その他の特性に関係なく、すべての顧客に同等のプロ意識を持って接します。すべての顧客に同じ品質と詳細のおすすめを提供します。人口統計学的特性に基づいて顧客を仮定しないでください。」

  • デモグラフィック 人格でテスト:本番リリースの前に、保護されたグループを表すさまざまな人格でエージェントをテストします。デモグラフィックシグナル (異なる民族を推奨する名前、異なる地域を推奨する場所、異なる教育レベルを推奨するコミュニケーションスタイルなど) のみが異なる同一の要求を生成します。

品質、長さ、プロフェッショナリズム、結果に関する人格間でエージェントの回答を比較します。違いは、軽減が必要なバイアスを示します。

Agentforce サービス品質を顧客人口統計全体で監視し、同等のエクスペリエンスを実現します。

  • Resolution rate by segment: 顧客セグメントで層化された初回連絡時の解決率を計算します。大企業のお客様が 75% の解像度を達成し、中小規模ビジネスのお客様が 55% の解像度を達成した場合、Knowledgeベース品質、エージェントトレーニング、または製品機能がセグメントごとに異なるかどうかを調査します。
  • セグメント別の回答品質: セグメント全体のエージェントの会話のサンプルを作成し、一貫したディメンション (正確性、完全性、プロフェッショナリズム、有用性) で回答品質を評価します。評価者間信頼性テストでは、レビュー担当者が一貫した標準を適用していることを確認します。
  • Escalation rate by segment: 顧客の人口統計で階層化された人間にエージェントがエスカレーションする頻度を追跡します。特定のセグメントのエスカレーション率が高くなると、エージェントはそれらのユーザーにとって効果が低くなり、サービス品質の格差が生じます。
  • Satisfaction by segment: すべてのデモグラフィックグループのユーザーにアンケートを実施し、満足度スコアを比較します。全体的に高い満足度は、過半数の満足度にかき消された少数グループの劣悪な経験を隠蔽する可能性があります。

Agentforce インターフェイスは、WCAG 2.2 AA 標準を満たす障害者がアクセスできる必要があります。再利用可能なアクセス可能な Agentforce コンポーネントとデザインパターンについては、Salesforce Lightning Design System コンポーネントとパターンライブラリを参照してください。これらのパターンにより、エージェントエクスペリエンスにアクセスしやすく、一貫性があり、学習しやすくなります。

  • **スクリーン リーダーの互換性:**Agentforce チャット インターフェイスを提供する Lightning メッセージング コンポーネントには、設計どおりに使用する場合のベースライン アクセシビリティが含まれます。カスタムチャットの実装では、手動でアクセシビリティを実装する必要があります。
  • 適切なランドマークを含むセマンティック HTML 構造
  • 新しいメッセージを発表する ARIA ライブリージョン
  • メッセージ履歴を介したキーボードナビゲーション
  • インタラクティブ要素のフォーカスインジケーターをクリア

自動スキャンだけでなく、開発全体で JAWS、NVDA、VoiceOver スクリーンリーダー支援技術を使用してテストします。

  • コグニティブ アクセシビリティ: エージェントの応答では、一般利用者向けの平易な表現が使用されます。専門用語は避け、避けられない専門用語の用語集を提供します。ヘッダーを使用して長い応答を構成し、必要に応じて箇条書きや番号付きリストを使用して理解を容易にします。
  • 言語エクイティ: Agentforce は、基盤モデルのマルチ言語機能によって複数の言語をサポートします。文化的ニュアンスを見落としている自動化された評価指標だけでなく、ネイティブスピーカーの評価を通じて言語間で比較可能な回答品質を検証します。

多様な言語母集団に対応するビジネス・クリティカルな使用事例では、言語固有の処理（言語変数、ローカライズされたプロンプト、言語によるKnowledge記事の絞り込み）を設定し、基盤モデルの言語間転送のみに依存するのではなく、言語ごとの品質を検証します。これにより、リソースの少ない言語の品質が低下する可能性があります。

Agentforce の公平性は、エージェントの導入の成熟度に合わせて段階的に実装します。

フェーズ 1: 基盤 (本番エージェントの前)

  • 執行権限を持つ倫理審査委員会の設置
  • 説明責任の割り当てを文書化する (モデル所有者、意思決定所有者、不服申し立て権限)
  • Einstein Trust Layer 監査キャプチャの有効化
  • エージェントアクションのイベント監視の設定
  • CRM Analytics でのベースライン公正性監視ダッシュボードの作成
  • 必須リリースゲートの定義: データ監査、公正性評価指標、影響評価

フェーズ 2: 最初の本番エージェント

  • 使用事例の包括的な影響評価の実施
  • デモグラフィック表現のためのトレーニング/RAGデータの監査
  • デモグラフィックグループ全体の公平性評価指標を計算する
  • 人間の監視パターンの実装 (ヒューマンインザループ、信頼性のエスカレーション、期限付き)
  • ユーザーのバイアスレポートメカニズムを設定する
  • ドキュメントモデルのバージョン、設定、決定の再構築アプローチ

フェーズ 3: 継続的な監視

  • 公平性ダッシュボードを毎週監視し、24 時間以内のしきい値違反 (または組織の合意された対応 SLA) を調査する
  • 月次上書きパターン分析を実行して体系的な問題を特定する
  • 文書化された調査結果を使用して、ユーザーバイアスレポートを毎週確認する
  • 高リスクのエージェントの包括的な公平性監査を四半期ごとに実行
  • エージェントが迅速な更新やモデルの変更を進めるにつれてドキュメントを更新する

フェーズ 4: 拡張とガバナンス

  • 一般的なエージェント種別の再利用可能な公平性ダッシュボードテンプレートの作成
  • コンプライアンスチームのセルフサービスを可能にするエージェント決定再構築ツールの作成
  • すべての新規エージェントの同意管理パターンを標準化する
  • CI/CD パイプラインでの自動公平性回帰テストの実装
  • サードパーティによる半年ごとの外部公平性監査をスケジュールする
  • 規制の監視を維持し、EU AI法(2025~2027年に段階的に適用)、州の法律、セクター規制などの有効な義務や新しい義務に適応する

公平性は、Salesforce Platform のエージェントシステムの主要なアーキテクチャ上の懸念事項です。公平性を第一級のアーキテクチャ上の懸念事項としてAgentforceを設計する組織は、規制要件よりも優先される立場にいながら、すべてのユーザーがTrustでき、効果的に使用できるソリューションを構築します。プラットフォーム機能が存在する。問題は建築家が使うかどうかです

適切に構築されたフレームワークに関するフィードバックを共有する。