운영 우수성 - 에이전트 패턴 | 패턴 |

운영 우수성 - 에이전트 패턴

잘 설계된 운영 우수성에 대해 자세히 알아보기 → 에이전트 엔터프라이즈 운영 우수성

패턴

찾을 위치	유사성
Agentforce \| 세션 추적	✅ 기본 세션 추적 데이터 모델(STDM)을 사용하여 병렬 텔레메트리 시스템을 구축하는 대신 Data 360의 통합 데이터 모델에서 에이전트 상호 작용을 캡처합니다. 각 대화를 세션, 상호 작용(턴) 및 단계의 추적 계층으로 기록합니다(UserInputStep, LLMExecutionStep, FunctionStep).
Agentforce \| 세션 추적	✅ 별도의 작업 로그가 필요하지 않고 기본적으로 작업을 상호 작용 단계로 캡처하는 표준 STDM 개체(AIAgentSession, AIAgentSessionParticipant, AIAgentInteraction, AIAgentInteractionStep, AIAgentInteractionMessage)에 의존
Agentforce \| 세션 추적	✅ 토큰 사용, 모델, 프롬프트 세부 사항을 저장하는 대신 LLM 호출 레코드에 상호 작용 단계를 조인하여(GenerationId 및 GenAiGatewayRequest/Response 참조를 통해) 토큰 사용, 모델, 프롬프트 세부 사항을 검색합니다.
Agentforce \| 세션 추적	✅ Atlas Reasoning Engine에서 추론 추적 - 세션 추적은 각 상호 작용의 일부로 플래너의 단계를 기록하여 에이전트 결정 프로세스를 드러내고 디버그 기능을 개선합니다.
Agentforce \| 에이전트 구성	✅ 사용자 입력, 에이전트 응답, 추론 설명, 신뢰도 점수, 검색된 컨텍스트, 시도한 작업, 발생한 오류 등 전환 수준 세부 사항 기록
Einstein \| Trust 계층	✅ Data 360에 스트리밍되는 Einstein Trust Layer 생성형 AI 감사 추적(프롬프트 및 응답 텍스트, PII 마스킹 버전, 기초 데이터, 안전 및 독성 점수, 모델 세부 사항)과 Einstein 생성형 AI 및 피드백 데이터 수집 및 저장 기능을 활성화하여 장기 보존
플랫폼 \| 사용자 정의 개체	✅ 사용자 정의 로깅 개체를 기본 로깅 기반이 아닌 의도한 예외(예: 에이전트 동작과 비즈니스 결과를 연관시키는 경량 개체)로 예약
플랫폼 \| 대시보드	✅ 에이전트 동작과 비즈니스 결과를 연결하고 패턴 분석을 통해 개선 기회를 식별하고 품질 레이블이 지정된 예를 통해 연속 학습 파이프라인을 제공합니다.

안티 패턴

찾을 위치	불만 사항
플랫폼 \| 사용자 정의 개체	⚡️ 기본 세션 추적 데이터 모델 대신 기본 대화 로깅 기반으로 사용자 정의 트랜잭션 개체를 수동으로 구축하여 다중 전환 대화 저장, 대규모 JSON 페이로드, 빠른 데이터 증가 문제를 해결합니다.
Agentforce \| 세션 추적	⚡️ Agentforce 세션 추적이 Data 360의 통합 데이터 모델에서 상호 작용을 이미 캡처하는 경우 병렬 텔레메트리 시스템 구축
Agentforce \| 에이전트 구성	⚡️ 입력 수집, 추적 추적, 검색된 컨텍스트, 수행된 작업 없이 에이전트의 응답만 기록
Einstein \| Trust 계층	⚡️ 프로덕션에서 Einstein Trust Layer 감사 추적을 비활성화하거나 Data 360에서 장기간 보존하기 위해 피드백 데이터 수집 및 저장을 켜지지 않음
플랫폼 \| 모니터링	⚡️ STDM LLM 호출 조인을 통해 토큰 사용, 모델, 프롬프트 세부 사항을 수집하지 않고 대화 성공/실패에만 의존

패턴

찾을 위치	유사성
플랫폼 \| 모니터링	✅ 일반적인 성능 및 최악의 상황을 보여주는 백분위수(p50, p95, p99)에서 응답 대기 시간 측정
플랫폼 \| 모니터링	✅ 대상 최적화를 활성화하는 각 대기 시간 단계를 별도로 계측(모델 유추, 컨텍스트 검색, 작업 실행, 네트워크)
플랫폼 \| 모니터링	✅ 성능 저하를 나타내는 임계값을 초과하는 경우 p95 대기 시간 경고
플랫폼 \| 모니터링	✅ 대화당, 에이전트당, 사용 사례당 토큰 분포(프롬프트 토큰, 완료 토큰, 총 토큰) 추적
플랫폼 \| 모니터링	✅ 프롬프트 문제 또는 오용을 제안하는 과도하게 토큰을 사용하는 이상값 대화 감지
플랫폼 \| 모니터링	✅ 임계값에 도달할 때 알려진 속도 제한 또는 수용력 기준선 경고와 현재 처리량 비교
플랫폼 \| 모니터링	✅ 에이전트 및 기간 전반에서 비교할 수 있도록 전체 요청의 백분율로 오류 비율을 계산합니다.
플랫폼 \| 모니터링	✅ 다른 응답이 필요한 오류 범주(모델 오류, 권한 오류, 통합 오류) 간에 구분
플랫폼 \| 모니터링	✅ 에이전트가 요청에 성공적으로 응답하고 SLO를 추적하는 시간 비율로 가용성 계산
플랫폼 \| Proactive Monitoring	✅ 기본값을 수락하는 대신 기본 에이전트 동작 패턴을 기반으로 Proactive Monitoring 임계값을 구성합니다.
플랫폼 \| 스케일 센터	✅ 새 에이전트를 배포하거나 리소스 소비가 기대치와 일치하는지 확인하는 중요 프롬프트 변경 후 스케일 센터 데이터 검토

안티 패턴

찾을 위치	불만 사항
플랫폼 \| 모니터링	⚡️ 백분율 대신 평균 대기 시간만 측정하고 최악의 사용자 환경을 마스킹합니다.
플랫폼 \| 모니터링	⚡️ 개별 단계(추정, 검색, 작업 실행)를 계측하지 않고 총 대기 시간 추적
플랫폼 \| 모니터링	적절한 응답을 위해 유형(모델, 권한, 통합)별로 분류하는 대신 모든 오류를 동일하게 처리합니다.
플랫폼 \| Proactive Monitoring	⚡️ 기본 Proactive Monitoring 임계값을 수락하고 기본 에이전트 동작 패턴을 조정하지 않고
플랫폼 \| 스케일 센터	⚡️ 새 에이전트를 배포하거나 스케일 센터 데이터를 검토하여 자원 소비를 확인하지 않고 신속하게 변경
플랫폼 \| 모니터링	⚡️ 토큰 소비 패턴을 무시하고 일반 토큰 10배를 사용하는 이상 대화를 감지하지 못함

패턴

찾을 위치	유사성
Agentforce \| 테스트 센터	✅ 네이티브 테스트 및 평가 도구로 시작: Agentforce 테스트 센터 재사용 가능한 테스트 사례 집합을 유지하고 에이전트가 예상 주제 및 작업을 선택하고 허용되는 응답을 생성했는지 확인하여 에이전트를 배치로 실행합니다.
Agentforce \| 테스트 센터	✅ 네이티브 평가자를 사용합니다(기본 품질 차원 및 대화 품질 점수 매기기를 위한 LLM-as-judge 접근 방식) 및 조직별 기준에 대한 사용자 정의 평가자를 작성하여 평가에 실제 사용량이 반영되도록 대표적인 대화를 사용합니다.
Agentforce \| 테스트 센터	✅ 알려진 답변이 있는 실제 질문의 경우 테스트 센터에서 반복 가능한 테스트 사례로 알려진 답변 어설션을 유지합니다. 진행 중인 질문의 경우 샘플링된 대화에 대한 인적 검토를 추가합니다.
Data 360 \| 검색 품질	✅ Knowledge 기반의 에이전트의 경우 네이티브 검색 품질 분석을 사용하여 응답의 컨텍스트 관련성, 응답 관련성 및 신뢰도(기본성)을 평가합니다.
Einstein \| Trust 계층	✅ Einstein Trust Layer 런타임 독성 감지 기능을 사용하여 가드레일 방어의 첫 번째 라인으로 사용하고 콘텐츠 필터링, 수동 검토 샘플링, 사용자 보고, 인구 통합 그룹 간의 공정성 감사를 통해 안전 모니터링을 개선합니다.
Data 360 \| GenAIFeedback	✅ Data 360에서 게이트웨이 요청 및 생성 데이터와 함께 GenAIFeedback/GenAIFeedbackDetail DMO에 Agentforce 피드백을 유입하여 사용자 만족도를 캡처합니다(가로-위/아래, 수락/거부, 편집, 구두 코멘트).
플랫폼 \| Analytics	✅ 명시적 사용자 의견(에스컬레이션 전, 대화 후, 팔로우업 설문 조사)과 암시적 신호(완료율, 에스컬레이션, 중단, 재시도), 대화 특성과 연관되어 개선 우선 순위를 안내

안티 패턴

찾을 위치	불만 사항
Agentforce \| 테스트 센터	⚡️ Agentforce 테스트 센터 재사용 가능한 테스트 집합 및 네이티브 평가 프로그램으로 시작하는 대신 사용자 정의 테스트 하네스를 구축하고 실행합니다.
Agentforce \| 테스트 센터	⚡️ 개방형 응답의 품질 평가를 위해 사람이 검토하지 않는 자동 평가만 사용
플랫폼 \| 모니터링	⚡️ 관련성, 안전, 사용자 만족도 차원을 추적하지 않고 정확성만 모니터링
Data 360 \| GenAIFeedback	Agentforce 피드백이 이미 GenAIFeedback DMO로 흐르는 경우 에이전트 응답 품질에 대한 사용자 피드백(명시적 또는 암시적)을 수집하지 못함
Agentforce \| 에이전트 구성	⚡️ 인구 통계 그룹 전반에서 결과 분포를 평가하는 공정성 감사 건너뛰기

패턴

찾을 위치	유사성
Agentforce \| 에이전트 구성	✅ 에이전트 배포 후 즉시 기준선 성과를 설정하여 대표적인 테스트 사례 전반의 정확성, 관련성, 안전, 만족도를 측정합니다.
Agentforce \| 에이전트 구성	✅ 사용 패턴 교대 근무와 관계없이 성능 변경을 드러내는 동일한 테스트 사례에 대해 정기적으로 재평가
플랫폼 \| 모니터링	✅ 품질 메트릭이 비즈니스 영향 허용량으로 정의된 허용되는 임계값을 초과하는 경우 경고
플랫폼 \| Analytics	✅ 중요 배포 교대 근무를 감지하는 입력 특성(질문 길이, 주제 분포, 언어 복잡성, 도메인 용어) 모니터링
플랫폼 \| 모니터링	✅ 응답 특성(평균 응답 길이, 작업 호출 비율, 에스컬레이션 주기, 오류 패턴) 모니터링 동작 기준선 설정
플랫폼 \| 모니터링	✅ 드리프트 메트릭이 임계값을 초과할 경우 자동화된 경고 실행을 구성하여 조사 및 조치를 트리거합니다.

안티 패턴

찾을 위치	불만 사항
Agentforce \| 에이전트 구성	⚡️ 초기 에이전트 배포 후 기준선 성능을 설정하지 못함으로써 드리프트를 감지할 수 없음
플랫폼 \| 모니터링	⚡️ 사용자 입력 패턴이 처리하도록 설계된 에이전트와 상당히 다른 경우 배포 드리프트 무시
플랫폼 \| 모니터링	⚡️ 설정된 기준선에 대한 동작 변경 사항(응답 길이, 작업 비율, 에스컬레이션 주기)을 모니터링하지 않음
플랫폼 \| 모니터링	⚡️ 드리프트 메트릭에 대한 자동 경고 없음, 성능 저하를 감지하기 위해 수동 관찰만 사용

패턴

찾을 위치	유사성
플랫폼 \| 모니터링	✅ 이상값 대화를 감지하는 토큰 소비 분포 모니터링 및 일반 토큰 10배 소비 토큰 조사
플랫폼 \| 모니터링	✅ 실패율의 갑작스러운 증가, 기준선에 없는 새로운 오류 유형 또는 특정 사용자 또는 에이전트에 영향을 미치는 현지화된 오류 집약 감지
플랫폼 \| Analytics	✅ 초기 상호 작용 중, 대화 중 또는 과업 완료 후 사용자의 중단 여부를 식별하는 대화 스테이지별로 대화 중단 추적
플랫폼 \| 모니터링	✅ 중요 에이전트 실패를 즉시 온콜 엔지니어에게 라우팅하고 업무 시간 동안 제품 팀에 품질 저하 및 일일 요약에 사소한 변칙

안티 패턴

찾을 위치	불만 사항
플랫폼 \| 모니터링	⚡️ 모든 경고를 동일한 긴급성으로 처리하여 경고 피로 및 누락된 중요 실패를 야기합니다.
플랫폼 \| 모니터링	⚡️ 프롬프트 문제, 오용 또는 인프라스트럭처 문제를 나타낼 수 있는 토큰 소비 증가와 같은 비용 변칙 무시
플랫폼 \| Analytics	⚡️ 대화 중단률 추적 안 함 또는 단계별 중단 분석 실패
플랫폼 \| 모니터링	⚡️ 자동 모니터링을 통해 오류 비율 급증을 사전에 감지하는 대신 사용자 보고서 대기

패턴

찾을 위치	유사성
플랫폼 \| 소스 제어	✅ Git에 프롬프트 템플릿을 저장하고 응용 프로그램 코드가 프롬프트를 코드 검토, 테스트, 제어 배포를 받아야 하는 중요 응용 프로그램 논리로 처리합니다.
Einstein \| 프롬프트 빌더	✅ 버전 내역 및 테스트 기능이 포함된 반복 프롬프트 개발에 프롬프트 빌더 사용한 후 배포 파이프라인의 버전 관리로 내보내기
플랫폼 \| 소스 제어	✅ 구성(모델 선택, 온도, 토큰 제한, 검색 구성, 작업 권한, 기능 플래그)을 코드로 저장하여 환경별 값 및 드리프트 감지를 지원합니다.
플랫폼 \| 소스 제어	✅ 에이전트 구성 요소에 시맨틱 버전 관리를 적용합니다. 주(변경 중), 부(기능), 버전 번호가 로그에 표시된 패치(버그 수정)
플랫폼 \| 문서	✅ 변경 사항, 변경 이유, 변경을 확인한 테스트, 모든 프롬프트 및 구성 변경에 대해 존재하는 롤백 절차를 문서화합니다.

안티 패턴

찾을 위치	불만 사항
Einstein \| 프롬프트 빌더	⚡️ 코드 검토, 테스트 또는 제어 배포 프로세스 없이 프롬프트 변경
플랫폼 \| 구성	⚡️ 드리프트를 감지할 수 없고 배포를 자동화할 수 없는 소스 제어 외에 에이전트 구성을 저장합니다.
플랫폼 \| 문서	⚡️ 근거, 테스트 결과 또는 롤백 절차를 문서화하지 않고 프롬프트 변경
플랫폼 \| 소스 제어	⚡️ 시맨틱 버전 관리 적용 실패로 사고를 특정 배포와 연관시킬 수 없음

패턴

찾을 위치	유사성
플랫폼 \| 문서	✅ 모델 패밀리, 특정 버전, 미세 조정 상태, 환경, 배포 날짜, 책임 팀을 포함하여 배포되는 모델 버전의 모델 레지스트리 기록을 유지합니다.
플랫폼 \| 문서	✅ 버전, 환경, 타임스탬프, 배포 사용자, 확보된 승인, 배포 결과를 포함한 모든 에이전트 배포 기록
플랫폼 \| 문서	✅ 에이전트, 프롬프트, Knowledge 자료, 작업 및 통합 간의 상관 관계를 명시적으로 매핑하고 사고 중에 이를 발견하지 않습니다.
비즈니스 \| 프로세스	✅ 증권 지원 최소 알림 기간이 충분히 사전에 전달된 사용 중지 일정을 설정하여 강제 사용 중지에 대한 긴급 대응 대신 계획된 마이그레이션을 활성화합니다.
플랫폼 \| 문서	✅ 대상 버전, 실행 단계, 확인 테스트, 알림 요구 사항을 포함하여 각 에이전트에 대한 문서 롤백 절차
플랫폼 \| 스테이징	✅ 비프로덕션 환경에서 롤백 절차를 테스트하여 작업을 확인한 후 프로덕션 사고 중에 해당 절차에 의존

안티 패턴

찾을 위치	불만 사항
플랫폼 \| 문서	에이전트, 프롬프트 및 Knowledge 데이터베이스 간의 종속성을 발견하는 것은 명시적 종속성 맵을 유지하는 대신 사고 중에만
비즈니스 \| 프로세스	⚡️ 계획된 전환이 아닌 비상 마이그레이션을 강제 적용하는 부족한 폐기 공지 제공
플랫폼 \| 문서	⚡️ 프로덕션 사고 중 가장 필요한 시점에 실패하는 테스트되지 않은 롤백 절차가 있습니다.
플랫폼 \| 배포	⚡️ 버전, 환경, 승인 또는 결과를 기록하지 않고 에이전트를 배포하고 사고를 배포와 연관시킬 수 있는 기능이 손실됨

패턴

찾을 위치	유사성
플랫폼 \| UI	✅ 명시적 사용자 의견(향상/내림, 품질 점수, 댓글) 및 암시적 사용자 의견(완료율, 에스컬레이션 주기, 재시도 패턴)을 체계적으로 수집합니다.
Data 360 \| 데이터 큐레이션	✅ 품질을 필터링하고, 문제 있는 예제를 제거하고, 대표성을 보장하고, 중복 제거를 통해 교육 데이터 집합에 대화 로그를 큐레이션합니다.
Data 360 \| 기초 교육	✅ Data 360에 기반한 RAG 및 Salesforce 네이티브 어댑션 경로인 프롬프트 튜닝을 통해 주로 에이전트를 도메인 용어, 비즈니스 프로세스, 조직별 Knowledge 맞게 조정
Einstein \| BYOLLM	✅ 기초 교육 및 프롬프트 튜닝이 부족할 경우 플랫폼 내 생성 미세 조정을 기대하지 않고 모델을 외부에서 미세 조정하고 BYOLLM을 통해 연결합니다.
Einstein \| 프롬프트 빌더	✅ 최근 대화, 품질 메트릭, 개선 기회를 식별하는 사용자 피드백을 검사하는 정기적인 프롬프트 검토 케이던스를 설정합니다.
Einstein \| 프롬프트 빌더	✅ 전체 롤아웃 전에 개선 사항을 확인하는 A/B 테스트를 사용하여 프롬프트 변경 사항을 증분적으로 구현
Agentforce \| 에이전트 구성	✅ 행복한 경로, 가장자리 사례, 상대 입력, 내역 문제 시나리오를 다루는 테스트 집합을 유지하며 새로운 가장자리 사례가 발견될 때 지속적으로 확장

안티 패턴

찾을 위치	불만 사항
플랫폼 \| 데이터	⚡️ 체계적인 사용자 의견 수집 없이 개선을 시도하고 데이터 중심이 아닌 개선 예측 작업을 수행합니다.
Data 360 \| 데이터 큐레이션	⚡️ 안전 위반, 오류 및 대표적이지 않은 예를 포함하여 교육에 대해 확인되지 않은 대화 로그 사용
Data 360 \| 기초 교육	⚡️ 사용자 정의 모델 없이 대부분의 도메인 조정 요구 사항을 해결하는 기본 경로인 RAG 기초 교육 및 프롬프트 튜닝을 소모하기 전에 외부 미세 조정을 위해 다가갑니다.
Einstein \| 프롬프트 빌더	⚡️ 사용 패턴이 발전함에 따라 조정되는 연속적인 연습이 아닌 일회성 실습으로 프롬프트 엔지니어링 처리
Agentforce \| 에이전트 구성	⚡️ 프로덕션에서 발견된 새로운 최첨단 사례를 덮지 않도록 확장하지 않는 정적 테스트 집합 보유

패턴

찾을 위치	유사성
플랫폼 \| 사용자 정의 메타데이터 유형	✅ 사용자 정의 메타데이터 유형 또는 사용자 정의 설정을 사용하여 기능 플래그를 구현하여 고위험 에이전트 변경 사항에 대한 릴리스에서 배포를 분리합니다.
플랫폼 \| 권한 집합	✅ 에이전트 액세스를 제어하는 권한 집합을 사용하여 먼저 소규모 사용자 하위 집합에 에이전트 변경 사항을 릴리스하는 Canary 배포 구현
Agentforce \| 에이전트 구성	✅ 캐나리아 코호트를 집중적으로 모니터링하여 성공률, 품질, 오류 비율, 대기 시간, 토큰 소비, 만족도를 측정하고, 캐나리아가 이전 에이전트 버전을 실행하는 제어 그룹과 일치하거나 개선되는 경우에만 롤아웃을 확장합니다.
플랫폼 \| Analytics	✅ 비즈니스 목표에 맞춰 모호한 결과를 방지하는 A/B 테스트를 시작하기 전에 성공 기준 정의
Agentforce \| 에이전트 구성	✅ 고급 챔피언-챌린저 버전과 비교하면서 검증된 버전을 대체로 유지하는 챔피언-챌린저 테스트 배포
비즈니스 \| 프로세스	✅ 프로모션 결정 전 최소 샘플 크기, 품질 임계값, 평가 기간 등 목표 프로모션 기준 설정

안티 패턴

찾을 위치	불만 사항
Agentforce \| 에이전트 구성	⚡️ Canary 테스트를 사용하지 않고 모든 사용자에게 동시에 에이전트 변경 사항을 롤아웃하여 문제의 폭발 반경을 극대화합니다.
플랫폼 \| 배포	⚡️ 기능 플래그 없이 고위험 에이전트 변경 사항을 배포하여 재배포 없이 즉시 롤백 가능
플랫폼 \| Analytics	⚡️ 사전 정의된 성공 기준 없이 A/B 테스트 실행으로 인해 결과가 모호하고 결정을 내리지 않음
플랫폼 \| Analytics	⚡️ 샘플 크기가 부족하여 실험을 실행하여 잘못된 결론을 내릴 수 없는 결과를 얻습니다.
Agentforce \| 에이전트 구성	⚡️ 비즈니스에 중요한 에이전트에게 고위험 변경 사항을 예약하는 대신 모든 사소한 프롬프트 변경 사항에 대해 기능 플래그 사용

패턴

찾을 위치	유사성
플랫폼 \| 모니터링	✅ 오류 비율, 품질 메트릭 저하, 비용 변칙, 대기 시간 증가, 사용자 에스컬레이션에 대한 자동 모니터링 경고를 통해 에이전트 실패 감지
플랫폼 \| 모니터링	✅ 자동 감지를 사용자 보고 메커니즘으로 보완하여 자동 모니터링 누락 문제를 에스컬레이션할 수 있습니다.
비즈니스 \| 프로세스	✅ 사용자 영향, 폭발 반경, 데이터 무결성 위험, 복구 긴급성을 기반으로 심각도 기준을 객관적으로 정의합니다.
플랫폼 \| 문서	✅ 초기 응답 절차를 긴밀한 에이전트 전문 지식이 없는 온콜 엔지니어가 실행할 수 있는 실행북으로 문서화
Agentforce \| 에이전트 구성	✅ 초기 응답에 포함: 실패한 에이전트(차단기), 대체로 라우팅, 진단 수집, 이해당사자에게 알림, 사고 통신 시작

안티 패턴

찾을 위치	불만 사항
플랫폼 \| 모니터링	⚡️ 에이전트 실패에 대한 자동 모니터링 대신 사용자 보고서를 기본 감지 메커니즘으로 사용
비즈니스 \| 프로세스	⚡️ 주관적인 심각도 분류를 사용하여 실질적인 문제를 에스컬레이션하지 않거나 사소한 문제를 과도하게 에스컬레이션
플랫폼 \| 문서	⚡️ 모든 사고 중 에이전트 전문 지식을 갖춘 엔지니어가 사고별 조사를 수행해야 하는 런북이 없음
비즈니스 \| 프로세스	⚡️ 환각, 주제 외 응답 또는 안전 위반을 고려하지 않고 기존 응용 프로그램 실패와 동일하게 에이전트 실패를 처리합니다.

패턴

찾을 위치	유사성
플랫폼 \| Apex	✅ 구성 가능한 오류 임계값(예: 50% 오류 비율), 기간 기간(예: 5분 롤링 기간), 복구 테스트(정기 평가 요청)를 사용하여 회로 차단기를 구현합니다.
Agentforce \| 에이전트 구성	✅ 대체 계층 설계: 기본 정교한 에이전트 → 간단한 백업 에이전트 → 정적 FAQ 응답 → 인적 핸드오프
플랫폼 \| 오케스트레이션	✅ 개별 에이전트가 아닌 오케스트레이션 계층에서 대체 논리를 구현하여 에이전트 에코시스템 전체에서 일관된 동작을 수행합니다.
Agentforce \| 에이전트 구성	✅ 대화 컨텍스트를 유지하고 핸드오프 이유를 커뮤니케이션하고 관련 전문 지식을 보유한 적절한 에이전트에게 라우팅하는 인적 핸드오프 워크플로를 설계합니다.
플랫폼 \| 모니터링	✅ 주제, 에이전트, 실패 이유별로 핸드오프 비율을 모니터링하여 에이전트 역량 차이 식별
Agentforce \| 에이전트 구성	✅ 정교한 추론이 실패할 경우 간단한 논리로 돌아가기, 실시간 데이터를 사용할 수 없는 경우 캐시된 데이터에서 작업하고 통합이 실패할 경우 읽기 전용 모드로 작업
플랫폼 \| 오케스트레이션	✅ 대체 경로를 정기적으로 테스트하여 필요한 경우 작동하는지 확인

안티 패턴

찾을 위치	불만 사항
Agentforce \| 에이전트 구성	⚡️ 회로 차단기를 사용하지 않아 문제를 해결하는 동안 실패한 에이전트가 사용자에게 반복적으로 영향을 미칠 수 있습니다.
플랫폼 \| 오케스트레이션	⚡️ 오케스트레이션 계층이 아닌 개별 에이전트 내에서 대체 논리를 구현하여 일관되지 않는 동작 생성
Agentforce \| 에이전트 구성	⚡️ 정상적인 성능 저하 옵션 없이 완벽하게 작동하거나 완전히 실패하는 이진 통과/실패 에이전트 설계
플랫폼 \| 오케스트레이션	⚡️ 대체 경로를 테스트하지 말고 실제 사고 중에만 작동하지 않는다는 사실 발견
Agentforce \| 에이전트 구성	⚡️ 대화 컨텍스트를 잃어 사용자가 정보를 반복하도록 강제 적용하는 사람의 핸드오프

패턴

찾을 위치	유사성
비즈니스 \| 프로세스	✅ 개별 오류로 인한 심리적 안전이 아닌 시스템 개선에 중점을 둔 사고 후 검토 수행
비즈니스 \| 프로세스	✅ 타임스탬프를 사용하여 감지, 조사, 응답, 복구, 확인을 통해 초기 조건에서 자세한 타임라인을 만듭니다.
비즈니스 \| 프로세스	✅ “5 이유” 기술을 사용하여 단순한 결론이 아닌 증상에서 근본 원인에 대해 상세 검색
비즈니스 \| 프로세스	✅ 모니터링 간격, 테스트 간격, 문서 간격, 자동화 간격, 아키텍처 간격을 비롯한 기여 요소 분석
비즈니스 \| 프로세스	✅ 감지 평가: 이전에 문제를 감지해야 하는 신호, 신속한 감지를 위한 모니터링
비즈니스 \| 프로세스	✅ 반복을 방지하는 구체적인 할당된 타임바운드 작업 항목을 지정합니다(예: “10분 동안 5%를 초과하는 오류 비율에 대한 경고 추가 - 할당됨: Alex - 기한: 2주”)
비즈니스 \| 프로세스	✅ 후속 검토에서 작업 항목 완료를 추적하여 지속적인 개선이 실제로 이루어지도록 합니다.
플랫폼 \| 문서	✅ 공유 Knowledge 자료에서 사고 후 검토를 문서화하고 태그를 지정하여 여러 사고에 걸쳐 패턴 분석을 수행할 수 있습니다.
비즈니스 \| 프로세스	✅ 팀 회의 또는 점심 및 학습 세션을 통해 사고 후 검토를 즉각적인 사고 응답자 외에 광범위하게 공유

안티 패턴

찾을 위치	불만 사항
비즈니스 \| 프로세스	⚡️ 심리적 안전을 줄이고 실패에 대한 정직한 평가를 방지하는 비난 중심 사후 과제
비즈니스 \| 프로세스	⚡️ 효과적인 해결을 위한 특정 결과가 아닌 단순한 근본 원인 결론(“에이전트에게 버그가 있음”)
비즈니스 \| 프로세스	⚡️ 특정한 할당된 시간 바운드 과업 대신 “모니터링 개선”과 같은 모호한 작업 항목
비즈니스 \| 프로세스	⚡️ 지속적인 개선 프로세스 실패를 나타내는 낮은 작업 항목 완료율
비즈니스 \| 프로세스	⚡️ 조직 학습을 위해 광범위하게 공유하는 대신 사고 후 학습을 즉각적인 응답자에게 전달

패턴

찾을 위치	유사성
비즈니스 \| 프로세스	✅ 테스트, 보안 검토, 규정 준수 확인, 문서, 모니터링 구성, 이해당사자 승인을 포함한 배포 전 점검 목록 유효성 검사
비즈니스 \| 프로세스	✅ 폭발 반경, 데이터 민감도, 작업 권한, 통합 종속성, 복구 복잡성, 규정 준수 영향을 기반으로 위험을 평가합니다.
비즈니스 \| 프로세스	✅ 위험을 기반으로 승인 규모 조정 요구 사항: 높은 위험은 경영진의 승인, 보안 검토, 점진적 롤아웃, 낮은 위험은 동료 검토 및 표준 테스트 필요
플랫폼 \| 승인 프로세스	✅ Salesforce 승인 프로세스 또는 외부 배포 도구를 사용하여 자동화, 추적, 감사 가능 승인 워크플로 구현
비즈니스 \| 프로세스	✅ 경영진 승인, 근거 문서, 신속한 배포 후 검토가 필요한 비상 우회 절차 정의
플랫폼 \| 모니터링	✅ 긴급 배포를 별도로 추적합니다. 긴급 배포 빈도가 높은 것은 조사가 필요한 프로세스 문제를 나타냅니다.

안티 패턴

찾을 위치	불만 사항
비즈니스 \| 프로세스	⚡️ 에이전트 위험 프로필에 관계없이 균일한 승인 깊이 적용, 낮은 위험 에이전트에 대한 노력을 낭비하거나 높은 위험 에이전트를 검토하지 않음
비즈니스 \| 프로세스	⚡️ 테스트, 보안, 규정 준수, 모니터링에 대한 배포 전 체크리스트 검증 없이 프로덕션 에이전트를 배포합니다.
플랫폼 \| 배포	⚡️ 비상 우회 절차가 없으므로 프로덕션 사고 중 중요한 수정 지연이 발생합니다.
비즈니스 \| 프로세스	⚡️ 예외 상황이 아닌 중단된 표준 프로세스를 나타내는 자주 긴급 배포 필요

패턴

찾을 위치	유사성
Agentforce \| 에이전트 구성	✅ 결정적이지 않은 에이전트 출력에 대한 정확한 텍스트가 아닌 출력 특성(필수 정보 포함, 적절한 어조 유지, 따옴표 포함) 테스트
Agentforce \| 에이전트 구성	✅ 최소 품질 임계값을 설정합니다(예: “제외 테스트 세트의 정확도 95%, 안전 위반 없음, 공정성 감사에 인구 통계 차이가 5%를 초과하지 않음”)
Agentforce \| 에이전트 구성	✅ 프롬프트 주입, 실결 시도, 요청 에스컬레이션, 범위를 벗어난 요청 등 대응 입력으로 안전 테스트 수행
Agentforce \| 에이전트 구성	✅ 에이전트 개발에 관여하지 않은 팀 구성원이 안전 테스트를 수행하여 취약성에 대한 새로운 관점을 제공합니다.
플랫폼 \| 성능 테스트	✅ 동시 대화, 일반 대화 길이, 예상 사용량을 포함한 실질적인 부하에서 테스트
플랫폼 \| 보안	✅ 에이전트가 무단 데이터에 액세스할 수 없고, 무단 작업을 수행할 수 없으며, 프롬프트 삽입이 권한을 에스컬레이션할 수 없음을 확인합니다.
플랫폼 \| CI/CD	✅ Salesforce 코드 분석기 및 특수 AI 보안 도구를 사용하여 배포 파이프라인에 보안 스캔 통합

안티 패턴

찾을 위치	불만 사항
Agentforce \| 에이전트 구성	⚡️ 출력 특성 테스트 대신 결정적이지 않은 출력에서 정확한 텍스트 일치에 대한 에이전트 테스트
플랫폼 \| 성능 테스트	⚡️ 단일 사용자 시나리오, 누락된 총괄자 제한 문제, 리소스 제약, 확장성 지체 지점과 함께만 테스트
Agentforce \| 에이전트 구성	⚡️ 안전 테스트 건너뛰기 또는 개발자가 취약성에 대한 새로운 관점 없이 자체 에이전트를 테스트하도록 합니다.
플랫폼 \| 보안	⚡️ 프롬프트 삽입이 에이전트 권한을 에스컬레이션하거나 무단 데이터에 액세스할 수 있는지 테스트하지 않음
Agentforce \| 에이전트 구성	⚡️ 다른 사용자 유형 및 대화 복잡성을 포함하여 실제 사용량 다양성을 나타내지 않는 정적 테스트 집합

패턴

찾을 위치	유사성
플랫폼 \| 문서	✅ 모든 변경 사항을 문서화합니다. 변경 사항, 이유, 확인된 테스트, 롤백 절차
비즈니스 \| 커뮤니케이션	✅ 모든 이해당사자(사용자, 운영 팀, 지원, 비즈니스)에게 변경 사항, 시기, 혜택, 위험, 연락할 사람을 설명하여 알립니다.
비즈니스 \| 커뮤니케이션	✅ 메시지를 표준화하고 준비 오버헤드를 줄이는 다양한 변경 유형에 대한 커뮤니케이션 템플릿 설정
플랫폼 \| 이벤트 모니터링	✅ 실제 사용 패턴을 보여주는 이벤트 모니터링 데이터로 알려진 사용량이 적은 기간 동안의 시간 에이전트 배포
비즈니스 \| 프로세스	✅ 주말을 피하고 사고 대응 기능이 저하된 주말을 피하기 위해 주말 초순에 주요 에이전트 변경 사항을 배포합니다.
비즈니스 \| 프로세스	✅ 주요 비즈니스 이벤트(회계 연도 종료, 제품 출시, 주요 마케팅 캠페인) 이전에 변경 동결 기간 설정
비즈니스 \| 프로세스	✅ 제한된 기간을 충분히 사전에 전달하는 문서 변경 동결 캘린더

안티 패턴

찾을 위치	불만 사항
플랫폼 \| 배포	⚡️ 최대 사용량, 월말 마감, 분기말 마감 또는 주요 비즈니스 이벤트 동안 배포
플랫폼 \| 배포	⚡️ 사고 대응 기능이 제한된 경우 월요일(확대) 또는 금요일(직원 배치 감소)에 배포
비즈니스 \| 프로세스	⚡️ 과도한 변경으로 인해 위험을 적절하게 줄이지 않고 개선 속도가 느려집니다.
비즈니스 \| 커뮤니케이션	⚡️ 영향받는 사용자, 운영 팀, 지원 팀 또는 비즈니스 이해당사자에게 알리지 않고 에이전트 변경 사항 배포
플랫폼 \| 문서	⚡️ 논리를 문서화하지 않고 변경하고 경험을 기반으로 하는 대신 교훈을 다시 찾는 조직을 만듭니다.

패턴

찾을 위치	유사성
플랫폼 \| UI	✅ 대화 UI 내에서 사용자 의견 수집을 구현하여 상호 작용이 늦게 수집되지 않은 상태에서 즉시 응답
플랫폼 \| Analytics	✅ 질문 유형, 대화 길이, 주제별 성공률, 대화 특성별 사용자 만족도를 분석하는 쿼리 대화 로그
플랫폼 \| Analytics	✅ 오류 유형, 영향받는 사용자, 대화 패턴, 시간 분포별로 오류 로그 그룹화를 분석하여 체계적인 문제를 파악합니다.
플랫폼 \| Analytics	✅ 빈도 및 영향별로 오류 수정 우선 순위 지정: 많은 사용자에게 영향을 미치는 자주 발생하는 오류는 즉시 주의를 기울여야 합니다.
플랫폼 \| 모니터링	✅ 초기 배포 후 품질 기준선을 설정하고 추세가 하락할 때 기준선 경고 대비 지속적인 품질 모니터링

안티 패턴

찾을 위치	불만 사항
플랫폼 \| UI	⚡️ 사용자 의견 수집 지연(예: 며칠 후 팔로우업 이메일) 응답률 절감 및 리콜 편향 도입
플랫폼 \| Analytics	⚡️ 사용 패턴을 분석하지 않고 에이전트가 운영 복잡성을 정당화하는지 또는 기능이 부족한지 여부를 판단합니다.
플랫폼 \| Analytics	⚡️ 빈도 및 비즈니스 영향별로 우선 순위를 지정하지 않고 모든 오류를 동일하게 처리
플랫폼 \| 모니터링	⚡️ 데이터 없이 개선 사항 결정, 품질 기준선 및 추세 모니터링 부족

패턴

찾을 위치	유사성
비즈니스 \| 프로세스	✅ 가설, 실험 설계, 메트릭, 샘플 크기, 성공 기준과 같은 일관된 실험 구조 제공
비즈니스 \| 프로세스	✅ 실행 전에 실험을 문서화하여 결과가 모호하게 해석되지 않도록 방지
플랫폼 \| Analytics	✅ 대화 메타데이터에서 변형 할당을 추적하여 변형별 결과 상관 관계 활성화
플랫폼 \| Analytics	✅ 예상 효과 크기, 통계 능력, 허용 가능한 오류 비율을 기반으로 실험 전에 필수 샘플 크기를 계산합니다.
플랫폼 \| Analytics	✅ 다중 암호 범죄자 최적화를 사용하여 기회 비용을 절감하는 성능이 뛰어난 변형에 더 많은 트래픽을 동적으로 할당합니다.
플랫폼 \| 문서	✅ 테스트된 변형, 측정된 결과, 달성된 결과, 실패한 접근 방식을 재테스트하지 않도록 결정된 결정이 포함된 실험 카탈로그 유지

안티 패턴

찾을 위치	불만 사항
비즈니스 \| 프로세스	⚡️ 미리 정의된 가정 및 성공 기준이 없는 실험 실행 - 불확실한 결과 발생
플랫폼 \| Analytics	⚡️ 샘플 크기가 부족해 개선 결정을 내릴 수 없는 시끄러운 결과를 생성하는 경우
플랫폼 \| 문서	⚡️ 실험 카탈로그가 없으므로 팀이 이전에 실패한 접근 방식을 다시 테스트하고 조직의 Knowledge를 잃게 됩니다.
플랫폼 \| Analytics	⚡️ 어떤 사용자가 어떤 변형을 수신했는지 추적하지 않아 결과 상관 관계를 불가능하게 만듭니다.