에이전트 엔터프라이즈에 대한 공정성

자율 에이전트가 고객, 직원, 커뮤니티에 영향을 미치는 결정을 내릴 때 공정성이 책임 있는 자동화를 유해한 자동화와 구분하는 아키텍처 품질이 됩니다. 제한된 인적 감독을 통해 작동하는 Agentforce 에이전트는 전례 없는 규모로 편향을 영구화하고 증폭하여 개별 차별화 패턴을 시스템적 불평등으로 전환합니다. 에이전트 시스템의 공정성은 AI 공정성, 액세스 가능성, 인적 감독, 알고리즘 책임, 윤리적 거버넌스를 통합된 아키텍처 기둥에 결합하는 Salesforce Platform의 최우선 아키텍처 문제입니다.

이 페이지에서는 에이전트 아키텍처에 고유한 공정성 문제를 다룹니다. 핵심 공정성 원칙, 접근성 요구 사항 및 윤리적 거버넌스 프레임워크는 공정성 기둥에 포함되어 있습니다. 여기서 우리는 자율적인 에이전트 고려 사항에 초점을 맞추고 있습니다. 결과적 결정을 내리는 에이전트의 편향 감지 및 책임을 명목적이 아닌 실질적으로 지정하는 감독 패턴, 영향을 받는 사용자가 의사 결정을 제기할 수 있도록 하는 투명성, 데이터 제어 및 감사 로그를 통해 책임 있는 AI 관행을 지원하는 Einstein Trust Layer와 같은 플랫폼 기능.

Agentforce 에이전트는 교육 데이터, 검색 소스 및 실제 상호 작용에서 패턴을 학습합니다. 해당 소스에 내역 차별 또는 인구 통계 불균형을 반영하는 편향이 포함되어 있으면 에이전트가 해당 패턴을 감지하기 전에 수천 명의 사용자에게 영향을 미치는 알고리즘 효율성을 통해 해당 편향을 지속합니다.

기본 모델 편향: 대규모 언어 모델(LLM)은 인종, 성별, 나이, 장애, 기타 보호된 특성에 대한 사회 편향이 포함된 인터넷 규모 데이터에 대해 교육됩니다. 이러한 편향은 명시적 차별 지침이 없어도 에이전트 응답에 나타나며 프롬프트 엔지니어링 또는 테스트만을 통해 완전히 해결될 가능성이 없으며, 일부로 인터넷 확장 교육 데이터에 고유한 패턴을 반영합니다. 예를 들어 Agentforce 고용 에이전트는 남성어 패턴을 사용하여 리더십 역할을 설명할 수 있습니다. 또는 서비스 에이전트 이름이 다수의 민족 또는 성별이 아닌 고객에게 다르게 반응할 수 있습니다. 이는 결정 결과와 상관없이 고객의 경험에 영향을 미칠 수 있는 대표적인 품질 문제입니다.

보호된 그룹을 나타내는 다양한 페르소나를 사용하여 에이전트의 인구 통계 편향을 체계적으로 테스트합니다. 이름, 위치 또는 커뮤니케이션 스타일과 같은 인구 통계 신호만 다르게 동일한 요청을 생성합니다. 개인 정보 전반의 에이전트 응답을 비교하여 품질 차이, 어조 변동, 결과 차이를 확인합니다.

교육 데이터 표현 차이: 조직의 기존 고객 관계 관리(CRM) 데이터가 특정 고객 세그먼트를 적게 대표하는 경우 해당 데이터에 교육되거나 기반으로 하는 Agentforce 에이전트는 해당 세그먼트에 대해 성과가 좋지 않습니다. 10년간 기회 데이터를 교육한 리드 점수 매기기 에이전트는 세일즈 팀이 이전에 우선 순위를 박탈한 지역의 잠재 고객을 체계적으로 저평가하여 알고리즘 편차가 인간 편차를 결합하는 사용자 의견 루프를 만듭니다.

에이전트 교육 또는 검색 증가 생성(RAG) 기초 교육에 Salesforce 데이터를 사용하기 전에 인구 통계 표현을 감사하십시오. 대표가 부족한 그룹을 식별하고 대표 격차가 합법적인 비즈니스 차이 또는 과거 차별을 반영하는지 평가합니다. 에이전트를 배포하기 전에 데이터 증가 또는 명시적 편차 완화를 통해 불균형을 줄입니다. 일부 잔차 편차는 유지되는 경향이 있으며 일반적으로 다운스트림 모니터링 및 감독을 통해 관리되고 배포 전 해결되지 않습니다.

RAG 시스템의 검색 편차: Knowledge 자료, Data 360 세그먼트 및 Salesforce 레코드에서 RAG 기본 응답을 사용하는 Agentforce 에이전트 해당 검색 소스에 편향된 콘텐츠가 포함되어 있거나 인구 통계 그룹 전반에서 품질이 다를 경우 배포된 에이전트가 해당 편향을 영향을 받는 사용자의 환경에 적용할 수 있습니다. 이 위험을 줄이려면 프로덕션 전에 검색 소스를 감사하는 것이 가장 좋은 방법입니다. 엔터프라이즈 고객에 대한 자세한 문제 해결을 제공하는 Knowledge 기사를 검색하지만 소규모 비즈니스 고객에 대한 일반적인 응답만 제공하는 서비스 에이전트 서비스 품질 차이를 지속시킵니다. 고객 계층이 보호된 특성과 연관되어 있는 공정성 우려입니다.

인구 통계적 대표성 차이 및 품질 차이에 대한 Knowledge 자료 및 검색 소스를 감사합니다. 격차를 닫기 어려운 경우 해당 제한 사항을 에이전트가 적합한 위치의 가드 레일로 취급합니다. 문서 품질, 완전성, 정확도가 모든 고객 세그먼트에서 비교 가능한지 확인합니다. 대표가 부족한 사용자를 제외하는 대다수 문화 참조로 기본 설정하지 않고 콘텐츠 예에 다양한 표현을 포함합니다.

상호 작용 패턴 편차: 에이전트는 보호된 특성과 관련된 대화 기호를 기반으로 동작을 조정할 수 있습니다. 교육 데이터에 없는 사용자 동작으로 인해 일부 상호 작용 동적이 나타나므로 배포 후에도 이 패턴에 대한 모니터링은 일반적인 관행입니다. 커뮤니케이션 스타일, 언어 복잡성, 시기 패턴이 인구 통계 정보를 신호로 표시할 수 있습니다. 정식 커뮤니케이션 스타일을 캐주얼 스타일과 다르게 처리하는 에이전트는 문화적 배경, 교육 수준 또는 모국어 상태를 기반으로 실수로 차별을 야기할 수 있습니다.

인구 통계 그룹 전반의 에이전트 상호 작용을 모니터링하여 동작 일관성을 확인합니다. 응답 길이, 세부 사항 수준, 정중도 마커, 사용자 특성별로 계층화된 솔루션 품질을 분석합니다. 차이점은 조사를 보장하는 상호 작용 편향을 제안합니다.

피드백 루프 확대: 자신의 향후 교육 데이터에 영향을 미치는 에이전트는 자가 보강 편향을 만듭니다. 예를 들어, 특정 세일즈 영역에 더 적은 가치가 높은 기회를 할당하는 라우팅 에이전트는 해당 영역에 대한 성공 데이터를 더 적게 생성합니다. 그러면 예측된 성공 확률이 낮아지고 향후 기회 라우팅이 줄어듭니다. 개입하지 않으면 이 초기 편향은 시간이 지남에 따라 결합됩니다.

시간에 따른 결정 분포 변화를 모니터링하여 사용자 의견 루프를 감지합니다. 특정 인구 통계 그룹이 체계적으로 긍정적인 결과를 더 적게 받으면 에이전트의 결정이 향후 부정적인 결정을 정당화하는 차이를 유발하는지 여부를 조사합니다. 에지 사례 및 정기적인 재조정에 대한 인적 검토를 통해 루프를 구분합니다.

여러 Agentforce 에이전트가 오케스트레이션 체인에서 함께 작업하면 한 에이전트의 편향이 다운스트림 에이전트에 입력되므로 작은 초기 편향이 큰 차별화 결과로 증폭되는 복합 효과가 생성됩니다.

순차적 에이전트 체인: 에이전트 A의 출력이 에이전트 B의 입력이 되면 에이전트 A의 편향된 결정으로 인해 차별이 지속되거나 강화되는 방식으로 에이전트 B의 옵션이 제한될 위험이 있습니다.

리드 자격 확인 오케스트레이션:

Research Agent는 웹 소스 및 CRM 내역에서 고객 인텔리전스 수집합니다.
점수 매기기 에이전트는 Research Agent 결과를 기반으로 리드 점수를 할당합니다.
라우팅 에이전트가 점수를 기반으로 영역에 리드를 할당합니다.
참여 에이전트는 모든 이전 에이전트 출력을 기반으로 지원을 개인 설정합니다.

조사 에이전트가 교육 데이터 격차 또는 검색 편차로 인해 특정 고객 인구 통계에 대해 체계적으로 덜 포괄적인 데이터를 검색하면 점수 매기기 에이전트가 불완전한 정보를 음수 신호로 해석합니다. 그런 다음, 라우팅 에이전트가 우선 순위가 낮은 영역에 할당되며, 참여 에이전트는 개인 설정이 적은 지원을 제공합니다. 복합 효과는 개별 에이전트의 편향을 훨씬 뛰어넘는 서비스 품질 차이를 야기합니다.

** 병렬 에이전트 합의:** 여러 에이전트가 동일한 입력을 독립적으로 분석하고 결과가 집계되는 패턴은 에이전트가 교육 데이터 또는 파운데이션 모델을 공유할 때 편향 확대 기회를 제공합니다.

5명의 에이전트가 독립적으로 리드에 점수를 매긴 후 모두 편향된 교육 데이터 또는 기본 모델 편향을 공유하는 경우 합의는 편향을 수정하지 않고 단순히 유효성을 검사합니다. “에이전트 5명이 동의했음”은 모두 동일한 체계적인 편향을 공유하는 경우 차별적인 결과에 대한 잘못된 신뢰를 제공합니다.

오케스트레이션 편차를 위한 완화 전략:

각 단계에서 에이전트 출력 감사: 오케스트레이션 체인의 모든 에이전트에 대한 전체 입력 및 출력을 기록합니다. 최종 결과에서 편향이 감지되면 체인 전반을 추적하여 편향을 도입한 에이전트 및 발생한 증폭 단계를 식별합니다.

인구 통계별로 분석된 각 오케스트레이션 스테이지의 결정 분포를 표시하는 CRM Analytics 대시보드를 구축합니다. 체인에서 차이가 나타나거나 확장되는 위치를 식별합니다.

에이전트 교육 및 메시징의 다양성 - 다양성은 관련 오류를 줄여 편차 확대 가능성을 줄입니다. 다중 에이전트 합의 패턴을 사용할 경우 다양성을 극대화합니다.
BYOLLM(Bring Your Own LLM) 구성을 통해서와 같이 상업적으로 실현 가능하고 지원되는 다양한 파운데이션 모델
에이전트의 다양한 검색 소스
다양한 프롬프트 엔지니어링 접근 방식
다양한 신뢰 임계값 교정
변경점에서 인간 검토: 결정이 다운스트림 옵션을 크게 좁히는 오케스트레이션의 단계를 식별합니다. 개별 에이전트의 신뢰도가 높더라도 이러한 변경 지점에 인적 검토를 삽입합니다. 오케스트레이션은 개별 에이전트 신뢰도 점수가 수집하지 않는 비상 효과를 만듭니다.
오케스트레이션 스테이지별 공정도 메트릭: 최종 결과의 공정성을 측정하지 마십시오. 체인의 각 단계에서 인구 통계 패리티, 동등한 기회, 편파 효과를 계산합니다.

1단계의 인구 통계 패리티가 90%이고 2단계의 인구 통계 패리티가 85%, 3단계의 인구 통계 패리티가 78%, 4단계의 인구 통계 패리티가 70%인 경우 각 단계는 격리적으로 허용되는 것으로 보이지만 허용되지 않는 최종 차이로 결합됩니다. 단계별 메트릭은 차별적인 결과가 생성되기 전에 복합을 포착합니다.

오케스트레이션 실패를 위한 회로 차단기 - 다음과 같은 경우 오케스트레이션 논리를 구성하여 인간으로 중지하고 에스컬레이션합니다.
다운스트림 에이전트가 자신감 있는 경우에도 에이전트의 신뢰도가 임계값 미만으로 떨어집니다.
오케스트레이션 스테이지 간에 출력 분포가 크게 변경됨
결정 체인에 교육 또는 확인 집합에 표시되지 않는 데이터가 발생합니다.
사용자가 명시적으로 중간 결정에 질문하거나 이의

다중 에이전트 오케스트레이션은 정교한 추론을 지원하지만, 책임이 분산되고 편향이 복합되는 불투명한 의사 결정 체인을 만듭니다. 아키텍처에서 단계별 공정성 모니터링 및 전략적 인적 감독에 주의를 기울여 오케스트레이션이 편차 증폭 기계가 되지 않도록 방지합니다.

사용자에 대한 결과적 결정을 내리는 Agentforce 에이전트를 배포하기 전에 인구 통계 그룹 간의 공정성 메트릭을 계산합니다. 공정성 평가를 보안 검토에 대한 권한과 동일한 필수 배포 게이트로 지정합니다.

인구조율: 양성 결과 비율은 보호된 인구 통계 그룹 전체에서 대략 동일해야 합니다. 에이전트가 그룹 A에 대한 서비스 요청을 60% 비율로 승인하지만 그룹 B는 40% 비율로 승인하는 경우 인구 통계 패리티가 위반됩니다. 그룹 전체에서 결과율 차이에 대한 정당한 이유가 없는 경우 인구 통계 패리티가 적합합니다.

모집단을 인구 통계 세그먼트로 나누고, 세그먼트당 양의 결과율을 측정하고, 세그먼트 전반의 결과율을 비교하여 인구 통계 패리티를 계산합니다. 명명된 승인자 및 근거가 있는 패리티 공백을 문서화합니다.

기회 평등: 실제 양수율은 그룹 전체에서 비교할 수 있습니다. 에이전트는 인구 통계 특성에 관계없이 자격을 갖춘 개인을 동일하게 식별합니다. 예측 모델은 기본 신용성이 비슷한 경우 보호된 그룹 전체에서 유사한 비율로 신용 가능한 신청자를 인식합니다.

기본 비율이 합법적으로 다를 수 있는 개별 자격에 대한 결정에 대한 인구 통계 패리티보다 동등 기회가 더 적합한 메트릭이기도 합니다. 에이전트가 부재중인 그룹의 자격이 있는 후보를 체계적으로 놓친지 여부를 모니터링합니다. 완화 후 여전히 차이가 있을 경우 에이전트가 이 사용 사례에 적합하지 않을 수 있습니다.

조정된 확률: 진양성 비율과 거짓성 비율은 모두 그룹 전체에서 동일합니다. 이는 인구 통계 전체에서 진양성과 거짓 양성 비율을 모두 제한하는 엄격한 정의입니다. 균형을 맞춘 확률은 누락된 기회가 특정 그룹에 집중되는 것과 특정 그룹에 집중되는 거짓 비난을 모두 방지합니다.

균등한 확률을 달성하려면 인구 통계 그룹당 별도의 결정 임계값이 필요합니다. 미국에서는 고용 관련 결정의 경우 보호되는 클래스별로 점수를 조정하거나 다른 컷오프 점수를 설정하는 것이 VII( 1964년 시민권법)에 따라 금지되어 있으므로 고용 시 이 방법으로 동일한 확률을 추구할 수 없습니다. 다른 컨텍스트와 다른 관할 지역에서는 명시적 차별 처리에 대한 법적 질문을 제기하므로 그룹별 임계값을 구현하기 전에 법률 고문에게 문의하십시오.

다른 영향 비율: 4/5 규칙은 다음과 같은 검열 임계값을 제공합니다. 어떤 그룹이 성과가 가장 높은 그룹의 비율이 80% 미만인 긍정적인 결과를 수신하는 경우 편향을 조사합니다. 75% 비율(예: 45% 승인율 및 60% 승인율)은 4/5 임계값 미만이며, 근거 또는 완화가 필요한 잠재적인 차별을 나타냅니다.

편파 효과 분석은 고용법에서 표준이며 AI 시스템에 점점 더 적용됩니다. 식음료가 80% 미만인 경우 조사 및 수정 단계를 문서화합니다. 수정이 비율을 높이지 않는 경우 팀에서 사용 사례가 적합하지 않다고 결론 내릴 수 있습니다.

개인 공정성: 유사한 개인은 그룹 구성원 자격에 관계없이 유사한 예측을 받습니다. 신용성, 구매 내역, 참여가 동일한 두 고객은 인구 통계 차이에 관계없이 유사한 신용 한도 권장 사항을 받습니다.

개별 공정성은 철학적으로 중요하지만, “유사성”은 주관적이며 상황에 따라 달라지므로 운영적으로 어려운 것입니다. 개별 공정성을 엄격한 수학 제약이 아닌 기능 선택 및 테스트를 안내하는 설계 원칙으로 사용합니다.

두 가지 플랫폼 기능이 편향 감지를 위한 데이터를 수집합니다. Einstein Trust Layer는 각 Agentforce 상호 작용에 대한 생성형 AI 감사 추적을 기록합니다. 모델에 전송된 프롬프트, 반환된 응답, 사용된 기초 교육 소스, 독성 점수 등 Trust 신호. Agentforce 세션 추적은 각 결정에 따른 단계별 이유를 기록합니다. 함께 편차 감지 및 공정성 모니터링을 지원하는 데이터를 제공합니다. 해당 데이터는 인적 작업으로 해석되며 일반적으로 교육된 검토자와 전담 시간을 필요로 합니다.

응답 로깅: Trust Layer는 모든 생성 상호 작용에 대한 프롬프트, 모델 응답 및 Trust 신호를 기록합니다. 이 데이터를 사용하여 인구 통계 그룹 전반의 예측 분포를 분석합니다. 고객 세그먼트별로 승인율, 권장 사항 패턴, 위험 점수를 비교하는 CRM Analytics 대시보드를 구축합니다.

쿼리 Trust 레이어가 정기적으로 로그됩니다.: 다음 프롬프트를 사용합니다. “고객 산업, 지역, 계정 크기별로 그룹화된 지난 30일 동안의 모든 중요한 기회 예측을 표시합니다. 세그먼트 전반에 걸쳐 예측 분포가 일관되었습니까, 아니면 특정 세그먼트의 점수가 체계적으로 높거나 낮음입니까?”

추적 캡처 이유: Agentforce 에이전트의 경우 Agentforce 세션 추적은 에이전트가 결정에 도달한 방식을 기록하고 Trust 계층 감사 추적은 프롬프트, 응답 및 기초 교육 소스를 캡처합니다(참조: 검색된 Knowledge 기사 및 Salesforce 레코드). 사용자가 편향을 보고할 경우를 모두 검토하여 편향이 발생할 수 있는 데이터 소스, 검색 패턴 또는 추론 단계를 이해합니다.

사후 공정성 감사는 사후 추적을 통해 기존 시스템보다 세분화되고 쉽게 수행할 수 있습니다. 샘플 100 에이전트 결정은 인구 통계 그룹별로 계층화되며 검토자가 그룹 전체에서 추론 품질을 비교할 수 있는지 여부를 평가할 수 있습니다.

아노말 감지: 에이전트 결정 패턴이 기준선과 크게 다른 경우 경고를 구성합니다. 특정 고객 세그먼트의 승인율이 매주 20% 떨어지면 조사를 트리거합니다. 갑작스러운 배포 변동은 데이터 품질 문제, 모델 드리프트 또는 즉시 주의를 기울여야 하는 새로운 편향을 나타낼 수 있습니다.

공정성 신호에 대한 경고를 위한 맞춤형 모니터링 구축: “Agentforce 서비스 에이전트 고객 세그먼트에 대한 평균 대화 길이가 3일 연속에 전체 평균을 1.5배 초과하면 알립니다.” 길이 차이는 특정 그룹이 덜 효과적인 서비스를 받는다는 의미일 수 있습니다.

공정성 대시보드 템플릿: 일반 에이전트 사용 사례에 대한 공정성 메트릭을 추적하는 재사용 가능한 CRM Analytics 대시보드 템플릿을 구축합니다. 인구 통계 패리티 계산, 동일한 기회 메트릭, 편파 효과 비율, 시간에 따른 메트릭 진화를 보여주는 추세 차트를 포함합니다. 에이전트 개발 팀 전체에서 공정성 모니터링을 표준화하는 템플릿을 공유합니다.

편향이 감지되면 근본 원인을 기반으로 적절한 단계에서 경감 조치를 적용합니다.

예비 데이터 처리 개입: 에이전트 교육 또는 RAG 색인화 전에 데이터 수준에서 편향을 수정합니다. 균형 잡힌 표현을 보장하기 위해 교육 데이터에서 부재중인 인구 통계 그룹을 샘플링합니다. 실제 데이터가 부족할 경우 SMOTE(Synthetic Minority Oversampling Technique)와 같은 기법을 사용하여 대표도가 낮은 그룹에 대한 추가 데이터를 합성합니다. SMOTE는 숫자, 테이블 형식의 기능을 중첩하므로 RAG 기초 교육에 사용되는 비정형 텍스트가 아닌 구조화된 CRM 교육 데이터에 적용됩니다.

모델 교육에 사용하기 전에 Salesforce CRM 데이터의 인구 통계 격차를 감사하십시오. 내역 기회 데이터가 특정 고객 유형을 과대 표현하는 경우 교육 집합의 균형을 조정하거나 샘플링 가중치를 사용하여 에이전트가 결정 신호로 과대 표현을 학습하지 못하도록 합니다.

처리 중인 알고리즘 제약 사항: 모델 교육 중에 정확도와 공정성을 모두 최적화하는 공정 제약을 적용합니다. 이렇게 하면 원시 정확도가 2-3% 줄어들고 그룹 전체의 공정성이 크게 향상될 수 있습니다. 모델 교육을 제어하는 경우 공정성 제약 교육이 가장 효과적인 경감 접근 방식인 경우가 많습니다.

교육을 수정할 수 없는 기본 모델을 사용하는 Agentforce 에이전트의 경우 시스템 프롬프트를 통해 에이전트 동작을 제한합니다. “모든 고객 인구 통계를 동일한 전문성과 세부 사항으로 처리합니다. 고객 커뮤니케이션 스타일 또는 배경에 상관없이 비교할 수 있는 길이와 품질의 설명을 제공합니다.”

처리 후 임계값 조정: 합법적인 경우 인구 통계 그룹당 결정 임계값을 조정하면 모델 교육 후 결과율이 동일해질 수 있습니다. 예를 들어, 승인 에이전트는 한 그룹에 대해 80% 신뢰 임계값을 적용하고 다른 그룹에 대해 75% 임계값을 적용하여 기본 모델 편차를 오프셋할 수 있습니다. 차별 방지법은 이 기술을 크게 제한하며, 일부 관할 영역에서는 특정 결정에 대해 완전히 금지합니다(아래 참조).

임계값 조정은 명시적으로 그룹을 다르게 취급하므로 논란의 여지가 있으며, 많은 관할 지역의 차별 방지법이 이를 제한하거나 금지합니다. 미국에서는 고용 관련 결정의 경우 다음을 금지합니다. 제목 VII(1964년 시민권법)은 점수를 조정하거나 보호 클래스별로 다른 컷오프 점수를 사용하는 것을 금지하며, 문서화된 근거의 양이 없으므로 해당 관행이 합법적입니다. 다른 관할 영역에는 자체 제약이 적용되므로 사용자에게 적용되는 규칙을 확인하십시오. 허용되는 경우 그룹별 임계값을 구현할 때 법적 근거를 문서화하고 임계값이 다른 차별화 효과를 유발하지 않고 공정성을 개선하는지 확인합니다.

프록시 기능 감지 및 제거: 보호된 특성과 연관되어 있고 간접적 차별 메커니즘으로 작동하는 기능을 식별합니다. 일반 프록시는 다음과 같습니다.
인종, 민족, 소득 수준에 대한 우편 번호 프록시
성별 및 민족에 대한 프록시 이름 패턴
종교 및 간호 책임에 대한 통신 타이밍 프록시
소득 수준의 장치 유형 프록시
영역 할당은 인구 통계 구성에 대응할 수 있습니다.

모든 모델 기능 및 보호된 특성 간 상관 계수를 계산합니다. 상관 관계가 높은 기능의 경우 합법적인 예측 값이 포함을 정당화하는지 또는 대체 기능이 프록시 효과 없이 유사한 예측을 제공할 수 있는지 평가합니다.

Agentforce 에이전트는 검토가 명시적이 아닌 실질적이도록 설계된 인적 감독을 통해 작동할 수 있습니다. 적절한 감독 수준은 의사 결정, 되돌릴 수성, 규제 요구 사항에 따라 다릅니다.

실행 전에 결과적 결정을 사람의 검토를 통해 라우팅합니다. 결정을 충분히 심각하게 검토할 수 있는지 여부는 위험 기반 판단입니다. 잠재적인 피해의 심각도와 피해가 발생할 가능성을 가중합니다. 결과적 결정은 헬스케어, 금융 서비스, 공공 부문과 같은 규제된 도메인 내에서 발생하지만, 해당 도메인 외에도 발생합니다. 일반적인 중요 컨텍스트는 다음과 같습니다.

직용 결정 - 고용, 승진, 해지, 보상, 성과 점검
신용 및 금융 서비스 - 신용 승인, 한도 변경, 계좌 종결, 가격 책정
건강 관리 - 진단 제안, 치료 권장 사항, 보장 범위 결정
법적 권리 - 계약 해석, 분쟁 해결, 서비스 이용
주택 - 임차인 검사, 임대 승인, 추방 권장 사항

이러한 컨텍스트에서 Agentforce 에이전트를 설계하여 실행 전에 인적 승인을 받아 결정을 분석, 권장 및 준비합니다. 에이전트를 사람을 대체하는 자율 의사 결정자가 아닌 의사 결정 지원 도구로 배치합니다.

에이전트 불확실성을 기반으로 인적 검토를 트리거하는 신뢰 임계값을 구성합니다.

높은 신뢰도(>90%) - 에이전트가 전체 감사 로깅을 자동으로 진행
중간 신뢰도(70~90%) - 조치하기 전에 인적 검토 권장
낮은 신뢰도(<70%) - 에이전트가 컨텍스트 요약을 사용하여 완전히 인간에 의존합니다.

프로덕션 데이터를 사용하여 임계값을 교정합니다. “70% 신뢰도” 예측은 유효성을 검사할 때 약 70%의 시간에 성공합니다. 잘못 조정된 신뢰도 점수는 에스컬레이션 메커니즘에 대한 Trust 저하합니다.

각 신뢰 밴드에서 에이전트의 결정을 샘플링하고 실제 성공률을 계산하여 교정을 테스트합니다. “높은 신뢰도” 결정에 75%만 성공하는 경우 임계값을 재조정하거나 모델 신뢰도 예측을 개선합니다.

Agentforce 정의된 제한 내에서 요청을 해결할 수 없는 경우 사람에게 에스컬레이션합니다. 에스컬레이션 대상에 도움을 줄 수 있는 용량이 있는지 확인하여 과부하된 대기열로 라우팅해도 피해가 줄어들지 않습니다.

에스컬레이션 트리거 설정:

대화 회전 – 해상도 없이 5~7 회전 후 에스컬레이션
지연 시간 – 해상도 없이 10분 후에 에스컬레이션
사용자 분위기 – 사용자가 좌절감을 표현하면 에스컬레이션
반복 감지 – 에이전트가 동일한 응답을 반복하면 에스컬레이션

전체 대화 컨텍스트를 사용하여 에스컬레이션된 사례를 적절한 기술 기반 대기열로 라우팅하도록 옴니채널을 구성합니다. 에이전트에게 이미 제공된 정보를 반복할 필요 없이 에스컬레이션을 효율적으로 처리하도록 인적 에이전트를 교육합니다.

권한이 있는 사람이 문서화된 이유를 사용하여 언제든지 Agentforce 결정을 재정의할 수 있습니다. 재정의는 여러 가지 목적으로 수행됩니다.

오류 수정: 사람이 사용자에게 해를 주거나 정책을 위반하는 에이전트의 실수를 수정합니다. 재정의 기능은 가장자리 사례가 불가피한 복잡한 환경에서 작동하는 자율 시스템에 대한 안전 밸브를 제공합니다.
Bias 감지: 인간이 특정 인구 통계에 대해 Agentforce 거부를 더 자주 재정의하는 경우, 두 가지 가능성을 조사하십시오. 에이전트가 시스템적으로 그 그룹을 저해하고 인간이 이를 수정할 수 있습니다. 또는 재정의자가 새로운 편향을 도입할 수 있습니다. 첫 번째 패턴은 에이전트 검토를 가리키며 두 번째 패턴은 검토자 교육을 가리킵니다.
에이전트 개선: 이유가 있는 재정의는 에이전트 개선을 위한 교육 데이터가 됩니다. 샘플 재정의된 결정과 에이전트와 동의하지 않는 이유를 분석합니다. 재정의 패턴을 빠른 세분화 또는 모델 재교육에 통합합니다.
책임: 재정의는 책임을 할당합니다. 에이전트 결정에 대한 인간 재정의는 해당 결정의 결과에 대한 책임을 가집니다. 명확한 책임은 모든 사람이 AI에 대한 책임을 가정하고 아무도 소유권을 가져오지 않는 책임의 확산을 방지합니다.

사고가 발생한 후가 아니라 배포 전에 책임을 할당합니다.

모델 소유자: 모델의 공정성, 정확성, 동작에 대한 책임이 있는 데이터 과학 리드입니다. 배포를 승인하고, 공정성 경고에 응답하고, 업데이트를 승인합니다. 모델 소유자는 아키텍처 결정 레코드에 명명된 개인입니다.
결정 소유자: 특정 사용 사례에 대한 AI 배포를 선택하고 고객에게 실제 영향을 미치는 데 책임이 있는 제품 소유자입니다. 결정 소유자는 AI 시스템에 책임을 위임할 수 없습니다.
항의 기관: 윤리 검토 위원회 또는 지정된 팀은 에이전트의 결정이 불공평하다고 생각하는 사용자의 이의를 처리합니다. 이의 프로세스에 액세스할 수 있고 시기적절하며 에이전트의 결정을 취소할 수 있는 권한이 있어야 합니다.
** 감사 기관:** 정규 감사를 수행하는 규정 준수 팀은 에이전트의 유효성 검사를 공정성 매개 변수 내에서 수행하며, 수정 대기 중인 에이전트의 표준 실패를 정지할 수 있습니다.

이름뿐만 아니라 모든 역할을 문서화하여 조직 변경을 통해 책임이 유지되도록 합니다.

Agentforce 에이전트가 사용자에게 영향을 미치는 결정을 내릴 때 해당 사용자는 해당 결정을 미치는 영향에 비례한 이해 가능한 설명을 받아야 합니다.

다양한 대상 그룹을 제공하는 다중 설명 레이어를 구성합니다.

사용자 대면 설명: 기술적 전문 지식이 없으면 일반 언어를 이해할 수 있습니다. 요청 금액($12,000)이 인가 제한($10,000)을 초과하므로 서비스 요청에 관리자 승인이 필요합니다. 관리자 승인은 일반적으로 24시간 이내 또는 합의된 서비스 수준 계약(SLA) 내에서 완료됩니다.”
비즈니스 설명: 운영 사용자에게 비즈니스 컨텍스트와 함께 주요 결정 요소가 표시됩니다. “리드 점수: 73/100. 기본 긍정적인 요소: 회사 규모(직원 500명), 활성 웹 사이트 참여(30일 동안 방문 12건), 산업 일치(SaaS) 기본 부정적 요인: MQL 참여 없음, 대상 영역 외부.”
기술적 설명: 데이터 과학자는 기능 가중치, 신뢰도 교정, 모델 버전, 교육 날짜, 입력 분포와 같은 모델 세부 사항을 볼 수 있습니다. 기술 설명은 디버깅 및 편향 조사를 지원합니다.
검사 설명: 규정 준수 팀은 모델 버전, 결정 시점의 정확한 입력 값, 조회된 모든 데이터 소스, 추론 추적, 구성 상태와 같은 전체 의사 결정 추적을 볼 수 있습니다. 감사 설명은 정밀한 재구축이 필요한 규제 조사 및 공정성 감사를 지원합니다.

Agentforce 세션 추적은 에이전트의 결정에 따른 단계별 논리를 기록하고 Einstein Trust Layer는 프롬프트 앤 응답 감사 추적을 캡처합니다. 이를 함께 사용하면 적절한 세부 사항 수준에서 투명성을 제공할 수 있습니다.

실시간 투명성: Agentforce 결정을 내릴 때 사용자에게 다음과 같은 요약 이유를 표시합니다. “구매 내역(3개 유사 구매), 현재 프로모션(20% 할인), 재고 가용성(재고 있음, 내일 배송)을 기반으로 제품 A를 추천했습니다.”
요청 시 자세한 설명: 사용자가 검색된 모든 Knowledge 기사, 검색된 Salesforce 레코드, 결정 논리를 비롯한 전체 논리를 볼 수 있도록 “이것을 추천한 이유는 무엇입니까?” 링크를 제공합니다. 자세한 설명을 통해 Trust 구축하고 사용자가 오류 또는 편차를 식별할 수 있습니다.
역사적 재건: 사용자가 몇 주 또는 몇 달 후에 과거의 결정을 제기하면 세션 추론 추적 및 Trust 계층 감사 내역을 검색하여 과거의 결정을 정확하게 설명할 수 있습니다. 내역 복구는 이의 및 규제 조사를 지원합니다.
집계 패턴 분석: 샘플 이유는 결정 품질의 일관성을 분석하기 위해 인구 통계 그룹별로 계층화된 추적을 수행합니다. 각 고객 세그먼트의 100개의 추적을 검토하고 그룹 전체에서 추론 깊이, 소스 품질, 논리를 비교할 수 있는지 평가합니다.

사용자 적절한 용어에 대한 예측 신뢰도를 표시하여 사용자가 원시 확률 점수를 잘못 해석하지 않도록 합니다.

“73% 신뢰도” 대신 다음과 같이 신뢰도를 전달합니다.

높은 신뢰 – “이 권장 사항은 유사한 사례를 기반으로 적절하다고 확신합니다”
중간 신뢰 – “이 권장 사항은 적절할 수 있지만 관리자 검토는 권장”
낮은 자신감 – “이 상황은 비정상적입니다. 더 나은 지침을 제공할 수 있는 전문가에게 에스컬레이션 중입니다.”

신뢰도에 대한 신뢰 수준을 설명합니다. “높은 신뢰 권장 사항은 내역 유효성 검사를 기반으로 약 95%의 시간에 정확합니다.”

신뢰도가 낮거나 보통인 결정의 경우 추가 검토가 발생하는 방법을 설명합니다. “이 요청은 표준 매개 변수에 속하지 않으므로 일반적으로 24시간 이내에 완료되거나 합의된 서비스 수준 계약(SLA) 내에서 승인받은 선임 전문가가 검토합니다.”

적절한 경우 사용자에게 결과를 변경하는 내용을 표시합니다. 대응 팩터를 사용하면 사용자에게 이미 결정된 결정을 알리는 대신 특정 작업을 통해 결과를 개선할 수 있습니다.

예: “확인된 고용 정보(+8점) 및 추가 신용 참조(+5점)로 리드 점수가 증가합니다. 이 문서를 제공하면 응용 프로그램이 우선 순위 검토 대기열로 이동됩니다.”

카운트팩털은 강력한 투명 메커니즘이지만 주의를 기울여 설계해야 합니다. 시스템을 게임화하는 것을 장려하거나 의도치 않게 보호된 특성을 결정 요인으로 드러내는 대처 자료를 제공하지 마십시오. “응용자가 10세 미만인 경우 점수가 더 높을 것”은 불법적이고 투명하지 않습니다.

일부 관할 지역에서는 사용자가 Bot과 상호 작용하는지 명확하게 공개하는 것이 설계 모범 사례뿐만 아니라 법적 요구 사항입니다. 사용자가 인적 에이전트가 아닌 Agentforce 에이전트와 상호 작용하는 경우를 명확하게 표시합니다. 공개는 눈에 잘 띄고 지속적이어야 하며 서비스 측면에서 묻히거나 상호 작용 시작 시 한 번만 표시되지 않아야 합니다.

지속적인 시각적 표시기 표시:

“AI 도우미”로 명확하게 표시된 에이전트 아바타
“Agentforce 서비스 에이전트 채팅 중”이 표시된 머리글
대화 전반에 표시되는 “사람 에이전트와 연결” 옵션

공개는 상호 작용 모드에 대한 정보에 근거한 선택을 지원하는 사용자 자율성을 존중합니다. 사람 상호 작용을 선호하는 사용자는 마찰 또는 서비스 품질 페널스 없이 해당 옵션을 사용할 수 있어야 합니다.

에이전트 AI를 선구하는 이벤트 모니터링 및 필드 감사 내역과 같은 Salesforce Platform 기능은 알고리즘 책임을 개별 에이전트가 결정하는 사항으로 확장합니다.

에이전트 작업에 대한 이벤트 모니터링: 이벤트 모니터링은 Salesforce에서 제어하는 무결성을 통해 에이전트 데이터 액세스, API 호출, 시스템 변경 사항을 수집합니다. 외부 SIEM에 이벤트 모니터링 로그를 스트리밍하여 장기간 보존하고 결과적 결정에 대한 규제 요구 사항을 충족하는 변경 증거를 제공합니다.

이벤트 모니터링을 구성하여 다음을 추적합니다.

에이전트 시스템 상호 작용을 표시하는 API 이벤트 로그
에이전트 서비스 계정의 로그인 이벤트
에이전트가 대량 데이터에 액세스할 때 보고서 내보내기
AI 영향 데이터에 대한 현장 감사 내역: 표준 필드 내역은 API를 통해 18개월(24개월) 동안 데이터 변경 사항을 보존합니다. 필드 감사 내역을 사용하면 필드 내역을 최대 18개월 후에 보관한 후 보관된 데이터를 삭제할 때까지 무기한으로 보관하여 장기 공정성 감사 및 규제 조사를 지원할 수 있습니다. 필드 감사 내역이 지원하는 표준 개체와 필드 내역 추적이 활성화된 사용자 정의 개체(개체당 최대 200개의 필드)를 선택하여 에이전트 결정에 의해 저장되거나 영향을 받는 개체에 대해 필드 감사 내역을 활성화합니다.

신용 결정, 고용 결정, 기타 중요한 사용 사례의 경우 다년간 유지가 규제 요구 사항일 수 있습니다. 유지 기간은 시스템에 따라 다릅니다. 사용 사례에 해당하는 요구 사항을 확인합니다.

가장 높은 금액에 대한 Shield 이벤트 모니터링: Shield 이벤트 모니터링은 구조화된 이벤트 필드 및 규정 준수 보고 도구와의 통합을 통해 향상된 감사 기능을 제공합니다. 이벤트 로그 파일 데이터는 이벤트 모니터링 및 Shield 고객 모두에 대해 기본적으로 1년 동안 보관됩니다. 감사 내역 무결성이 매우 중요한 가장 중요한 에이전트 결정에 Shield를 사용합니다.

내역 에이전트 결정이 정확하게 재구성되도록 충분한 정보를 저장합니다.

모델 버전: 각 결정을 내린 모델 버전(기본 모델, 프롬프트 버전, 미세 조정된 모델 ID)을 기록합니다. 모델 버전은 자주 변경되고 다른 출력을 생성합니다. 정확한 버전 추적을 사용하면 편차가 발견될 경우 근본 원인 분석을 수행할 수 있습니다.
입력 기능 값: 변경될 수 있는 현재 값이 아닌 결정 시 정확한 입력 값을 저장합니다. 입력 스냅샷을 사용하면 현재 데이터와 결정이 다른지 테스트하거나 당시 사용 가능한 정보에 따라 원래 결정이 올바른지 확인할 수 있습니다.
구성 상태: 결정 시간에 활성 상태의 레코드 임계값, 비즈니스 규칙 및 매개 변수 설정 구성 변경 사항은 결과에 영향을 미칩니다. 구성 내역을 사용하면 결정 드리프트가 모델 변경 사항 또는 구성 변경 사항을 반영하는지 여부를 결정할 수 있습니다.
환경 컨텍스트: 사용자 ID, 타임스탬프, 대화 내역, 세션 컨텍스트와 같은 관련 컨텍스트를 수집합니다. 컨텍스트는 에이전트의 동작에 영향을 미치며 정확한 재구축을 위해 유지해야 합니다.

편향 감지는 배포 전 일회성 확인이 아닌 연속이어야 합니다. 에이전트는 프롬프트 업데이트, 기본 모델 버전 변경, 데이터 배포 이동을 통해 발전합니다.

공정성 메트릭 대시보드: Einstein Trust Layer 로그에서 공정성 메트릭을 추적하는 CRM Analytics 대시보드를 구축합니다. 인구 통계 패리티, 동등한 기회, 편파 효과 비율을 지속적으로 모니터링합니다. 메트릭이 정의된 임계값을 초과할 경우 경고를 구성합니다.

다음을 보여주는 대시보드 만들기:

고객 인구 통계 세그먼트별 결정 분포(바 차트)
시간 경과에 따른 공정성 메트릭(경고 임계값이 있는 추세선)
4단위 규칙 표시기로 편파 효과 비율 계산
기본 모델이 영향을 미치는 결정에 기여하는 상위 예측 변수
인구 통계 그룹별 비율 재정의
배포 변동 감지: 에이전트 입력 분포에서 잠재적인 공정성 문제를 나타내는 변경 사항을 모니터링합니다. 에이전트 결정을 수신하는 사용자의 인구 통계 구성이 교육 데이터 인구 통계에서 크게 변경되는 경우 모델 공정성이 저하될 수 있습니다.

입력 배포 변경 시 경고: “Agentforce 리드 라우팅의 고객 세그먼트 배포는 지난 30일 동안 엔터프라이즈로 15 % 이동했습니다. 이제 다른 서비스 패턴을 수신하는 중소기업 고객에게 라우팅 논리가 여전히 공정한지 검토합니다.”

사용자 피드백 통합: 사용자가 액세스 가능한 메커니즘을 통해 감지된 편향을 보고할 수 있습니다. 사용자 보고서가 정성 문제 정량 메트릭 누락을 표시합니다.

Agentforce 채팅 인터페이스에 “걱정 보고” 옵션을 추가합니다. 전체 대화 컨텍스트를 사용하여 보고서를 윤리 검토 보드에 라우팅합니다. 필수 조사 워크플로 및 문서화된 해결 방법으로 사용자 정의 개체에서 보고서를 추적합니다.

규제 기관, 시민권 조직 또는 알고리즘 책임 증명이 필요한 고객이 외부 감사를 예상하는 에이전트 아키텍처를 설계합니다.

내보내기 기능: 규정 준수 팀이 외부 감사자를 검토하기 위해 인구 통계 구조를 사용하여 전체 결정 데이터 집합을 추출할 수 있는 내보내기 기능을 구축합니다. 내보내기는 공정성 검증을 위해 충분한 투명성을 제공하면서 데이터 프라이버시 규정을 준수해야 합니다.
검사 문서: 현재 문서 유지:
에이전트 목적 및 의도한 사용 사례
교육 데이터 인구 통계 및 알려진 제한 사항
배포 전 및 프로덕션에서 계산된 공정성 메트릭
적용된 편차 완화 전략
인적 감독 구성
접근 방식 및 경고 임계값 모니터링
책임 할당(모델 소유자, 결정 소유자, 이의 기관)
알고리즘적 영향 평가: 결과적 결정을 내릴 에이전트를 배포하기 전에 이해당사자 그룹 전체에서 잠재적인 긍정적 및 부정적 영향을 평가하는 영향 평가를 수행합니다. 영향 평가는 규제 기관이 중요하게 여기는 due diligence 및 사전 예방적 위험 관리를 보여줍니다.

사용자는 Agentforce 경험에 미치는 영향을 의미 있게 제어할 수 있습니다.

계속 대리인에 대한 옵트인: 사용자에게 크게 영향을 미치는 결정을 내리는 에이전트는 기본적으로 활성 상태가 아닌 명시적 수신 동의가 필요합니다. 신용 결정 에이전트, 고용 선별 에이전트, 서비스 자격 에이전트는 사용자 동의 후에만 활성화되며 에이전트가 미치는 영향을 명확하게 이해합니다.
전체 동의: 일반 AI 동의가 아닌 에이전트 사용 사례당 동의를 활성화합니다. 고객은 Agentforce 서비스 에이전트에 동의하고 Agentforce 판매 에이전트를 거부할 수 있습니다. 사용 사례 수준 동의 추적을 지원하는 아키텍처는 단일 입력이며, 적용 논리의 테스트 및 정기 감사를 통해 동의 구간이 실제로 유지되는지 확인할 수 있습니다.
새 기능에 대한 동적 동의: 기존 사용자에게 영향을 미치는 새로운 Agentforce 기능을 배포할 때 특정 응용 프로그램을 고려하지 않은 원래 동의에 의존하지 않고 새로운 사용 사례에 대한 동의를 사전에 요청합니다. 사용자에게 영향을 미치는 각각의 새로운 에이전트 기능은 명확한 설명과 함께 동의 검사를 트리거합니다.
동의 철회 즉시 적용: 사용자가 에이전트 처리를 즉시 중단하여 언제든지 동의를 철회할 수 있습니다. 지원 담당자 또는 관료적인 프로세스가 필요하지 않아도 동의를 철회하는 것은 동의 부여와 똑같이 쉬워야 합니다.

권장 사항 관리: 사용자가 정의된 경계 내에서 에이전트 동작을 구성할 수 있습니다.
- 커뮤니케이션 스타일(간결한 설명 및 자세한 설명 비교)
- 사전 예방적 수준(요청 시에만 응답 및 사전 예방적으로 제안)
- 에스컬레이션 기본 설정(AI 확인을 선호하고 사람을 빠르게 선호)

사용자 레코드 사용자 정의 필드에 기본 설정을 저장합니다. 에이전트 시스템 프롬프트의 참조 기본 설정: “사용자는 자세한 설명을 선호합니다. 지원 사유로 포괄적인 답변을 제공합니다.”

요청에 따라 인간 핸드오프: 사용자가 에이전트 상호 작용을 완료하거나 사용자가 인간을 선호하는 이유를 설명하지 않고 Agentforce 상호 작용 전반에 걸쳐 지속적으로 “인간 에이전트와 연결” 옵션을 제공합니다.

즉시 핸드오프 라우팅 구성: 사용자가 “사용자 에이전트”를 선택하면 사용자 기본 설정을 나타내는 전체 대화 컨텍스트 및 우선 순위 플래그가 포함된 옴니채널로 라우팅됩니다. 사람 상호 작용을 선택하는 경우 저하된 서비스 또는 대기 시간 페널이 적용되지 않습니다.

투명성 지표: 사용자가 상호 작용 모드에 대한 인식을 유지할 수 있도록 지속적인 시각적 지표로 에이전트 상호 작용을 명확하게 표시합니다. 에이전트와 상호 작용하는 것을 잊어버린 사용자는 비현실적인 기대를 가지고 있거나 제한이 나타나면 속임수를 느낄 수 있습니다.

의도적인 아키텍처 선택을 통해 보호된 인구 통계 그룹 전반에서 공정한 결과를 얻는 에이전트를 설계합니다.

결과적 결정을 내리는 에이전트는 특정 목적(예: 장애 조정)에 대해 법적으로 근거하지 않는 한 보호된 특성(인종, 성별, 연령, 장애, 종교, 국가 출신 또는 성적 지향)을 기반으로 차별을 하지 않아야 합니다.

기능 감사: 보호된 특성 콘텐츠에 대한 에이전트 추론에 사용된 모든 데이터 소스를 검토합니다. CRM 데이터, Data 360 세그먼트 및 Knowledge 자료에는 에이전트가 특정 결정에 고려해서는 안 되는 인구 통계 정보가 포함될 수 있습니다.

해당 특성이 결정 유형에 대해 법적으로 근거하지 않은 경우 에이전트 입력에서 보호된 특성을 제거하거나 마스킹합니다. 신용 결정의 경우 관련이 없으므로 장애 상태를 제외합니다. 장애인 수용 요청의 경우 장애인 상태는 필수이며 포함되어야 합니다.

차별 방지를 위한 신속한 엔지니어링: 에이전트 시스템 프롬프트에 명시적이지 않은 차별 지침을 포함합니다.

“고객 서비스 에이전트. 이름, 위치, 커뮤니케이션 스타일 또는 기타 특성에 상관없이 모든 고객에게 동등한 전문성을 제공합니다. 모든 고객에게 품질과 세부 사항이 동일한 권장 사항을 제공합니다. 인구 통계 특성을 기반으로 고객에 대해 가정하지 마십시오.”

데모그래픽 페르소나 테스트: 프로덕션 배포 전에 보호된 그룹을 나타내는 다양한 페르소나를 사용하여 에이전트를 테스트합니다. 인구 통계 신호(다른 민족을 제안하는 이름, 다른 지역을 제안하는 위치, 다른 교육 수준을 제안하는 커뮤니케이션 스타일 포함)만 변하는 동일한 요청을 생성합니다.

품질, 길이, 전문성, 결과에 대한 개인 정보 전반의 에이전트 응답을 비교합니다. 차이점은 편향을 완화해야 함을 나타냅니다.

고객 인구 통계 전반에서 Agentforce 서비스 품질을 모니터링하여 비교 가능한 환경을 보장합니다.

세그먼트별 해상도: 고객 세그먼트별로 계층화된 첫 번째 연락 해결 비율을 계산합니다. Enterprise 고객이 75% 해상도를 달성하고 SMB 고객이 55% 해상도를 달성한 경우 Knowledge 기반 품질, 에이전트 교육 또는 제품 기능이 세그먼트별로 다를지 여부를 조사합니다.
세그먼트별 응답 품질: 세그먼트 전반의 에이전트 대화를 샘플링하고 검토자가 정확도, 완전성, 전문성, 유용성과 같은 일관된 차원에서 응답 품질을 평가하도록 합니다. 등급 간 신뢰도 테스트를 통해 검토자가 일관된 표준을 적용할 수 있습니다.
세그먼트별 에스컬레이션 속도: 에이전트가 고객 인구 통계별로 계층화된 사람에게 에스컬레이션되는 빈도를 추적합니다. 특정 세그먼트의 에스컬레이션 비율이 높으면 에이전트가 해당 사용자에 대해 효율적이지 않으므로 서비스 품질 차이가 발생합니다.
세그먼트별 만족도: 모든 인구 통계 그룹의 사용자를 설문 조사하고 만족도 점수를 비교합니다. 전체적으로 높은 만족도는 다수의 만족에 의해 익사된 소수 그룹의 불만족 환경을 마스킹할 수 있습니다.

Agentforce 인터페이스는 WCAG 2.2 AA 표준을 충족하는 장애가 있는 사용자가 액세스할 수 있어야 합니다. 재사용 가능한 액세스 가능한 Agentforce 구성 요소 및 디자인 패턴은 Salesforce Lightning Design System 구성 요소 및 패턴 라이브러리를 참조하십시오. 이러한 패턴을 통해 에이전트 환경에 액세스할 수 있고 일관되며 학습할 수 있습니다.

스크린 판독기 호환성: Agentforce 채팅 인터페이스를 제공하는 Lightning 메시징 구성 요소에는 설계된 대로 사용될 때 기본 접근성이 포함됩니다. 사용자 정의 채팅 구현에는 수동 액세스 가능성 구현이 필요합니다.
적절한 랜드마크가 있는 시맨틱 HTML 구조
새 메시지를 알리는 ARIA 라이브 지역
메시지 내역을 통한 키보드 탐색
대화형 요소에 대한 포커스 표시기 명확화

자동 스캔뿐만 아니라 개발 전반에 JAWS, NVDA, VoiceOver 화면 판독기 보조 기술을 사용하여 테스트합니다.

지각적 접근성: 에이전트 응답은 일반 대상 그룹에 일반적인 언어를 사용합니다. 간구를 피하고 필수 기술 용어에 대한 용어집을 제공합니다. 머리글을 사용하여 긴 응답을 구조화하고 글머리 기호 또는 번호가 매겨진 목록을 사용하여 적절한 경우 이해를 돕습니다.
언어 평등: Agentforce 기본 모델 다국어 기능을 통해 다중 언어를 지원합니다. 응답 품질 유효성 검사는 문화적 차이점이 없는 자동 메트릭뿐만 아니라 네이티브 화자를 통해 언어 전체에서 비교할 수 있습니다.

다양한 언어 인구를 지원하는 비즈니스 크리티컬 사용 사례의 경우 언어별 처리(언어 변수, 현지화된 프롬프트 및 언어별 Knowledge 기사 필터링)를 구성하고 기본 모델의 교차 언어 전송에만 의존하지 않고 언어별로 품질을 검증합니다.

에이전트 배포 기한에 부합하는 단계에서 Agentforce 대한 공정성을 구현합니다.

단계 1: 재단(생산 에이전트 앞)

집행 기관이 있는 윤리 검토 위원회 설정
책임 할당 문서화(모델 소유자, 결정 소유자, 이의 기관)
Einstein Trust 계층 감사 캡처 활성화
에이전트 작업에 대한 이벤트 모니터링 구성
CRM Analytics에서 기준선 공정성 모니터링 대시보드 만들기
필수 배포 게이트 정의: 데이터 감사, 공정성 메트릭, 영향 평가

단계 2: 첫 번째 프로덕션 에이전트

사용 사례에 대한 포괄적인 영향 평가 수행
인구 통계 표현을 위한 교육/RAG 데이터 감사
인구 통계 그룹 전반의 공정성 메트릭 계산
인적 감독 패턴 구현(가로채기, 신뢰 에스컬레이션 또는 시간 제한)
사용자에 대한 편향 보고 메커니즘 구성
문서 모델 버전, 구성, 결정 재구축 접근 방식

단계 3: 지속적인 모니터링

주간 공정성 대시보드를 모니터링하고 24시간 이내에 임계값 위반을 조사합니다(또는 조직의 합의된 응답 SLA).
체계적인 문제를 식별하는 월간 재정의 패턴 분석 수행
문서화된 조사 결과와 함께 매주 사용자 편향 보고서 검토
중요한 에이전트에 대해 분기별 포괄적인 공정성 감사 수행
에이전트가 프롬프트 업데이트 또는 모델 변경을 통해 발전함에 따라 문서 업데이트

단계 4: 확장 및 거버넌스

일반 에이전트 유형에 대해 재사용 가능한 공정성 대시보드 템플릿 만들기
규정 준수 팀 셀프 서비스를 지원하는 에이전트 의사 결정 재구축 도구 구축
모든 새 에이전트에서 동의 관리 패턴 표준화
CI/CD 파이프라인에서 자동화된 공정성 회귀 테스트 구현
타사별 6개월간 외부 공정성 감사 예약
규제 모니터링을 유지하고 EU AI Act(2025~2027년까지 단계적으로 도입), 주 법률 및 부문 규정 등 활발하고 새롭게 도입되는 의무에 적응

공정성은 Salesforce Platform의 에이전트 시스템에 대한 핵심 아키텍처 우려 사항입니다. 공정성을 최상위 아키텍처 문제로 Agentforce 설계하는 조직은 모든 사용자가 Trust 수 있고 효율적으로 사용할 수 있는 솔루션을 구축하면서 규제 요구 사항을 앞서 배치합니다. 플랫폼 기능이 있습니다. 설계자가 이를 사용할지 여부는 질문입니다.

좋게 설계된 프레임워크에 대한 사용자 의견을 공유하십시오.