에이전트 엔터프라이즈의 운영 우수성

Agenttic Enterprise를 위한 운영 우수성

에이전트 시스템의 운영 우수성은 기존 DevOps 관행을 확장하여 AI 에이전트의 고유한 특성인 결정적이지 않은 동작, 컨텍스트에 종속된 추론 및 메모리, 목표 복잡성, 변수 유추 비용 등과 같은 특성을 해결합니다. 일반적인 응용 프로그램은 예측 가능한 코드 경로를 따르지만 에이전트는 컨텍스트를 기반으로 새 응답을 생성합니다. 기존 모니터링은 알려진 메트릭을 추적하고, 에이전트 관찰성을 위해서는 언어 모델 추론 및 결정 패턴을 이해해야 합니다. 표준 테스트는 결정적 출력을 확인하지만, 에이전트 확인은 정확도, 관련성, 안전, 공정성을 비롯한 여러 차원에서 응답 품질을 평가합니다.

제품 및 시스템은 시간에 따라 변경되므로 5가지 설계 원칙을 적용하여 관찰 가능성을 기반으로 발전하고 운영 절차를 표준화하고 DevOps 문화를 채택하고 효율성을 위해 자동화하며 모든 운영 이벤트에서 학습하는 방식에 운영 우수성을 포함합니다. 에이전트 동작은 결정적 코드 실행이 아닌 프롬프트, 검색된 컨텍스트, 모델 동작, 대화 내역 간의 복잡한 상호 작용에서 나타나므로 핵심 운영 우수성 원칙인 “관찰 가능성을 사용하여 진화”가 에이전트 시스템에 중요해집니다. 설계자는 모델, 프롬프트, 실시간 컨텍스트에 따라 응답이 형성되므로 설계 시 모든 에이전트의 응답을 예측할 수 없으므로 관찰 가능성 및 가드 레일을 위해 설계할 수 있습니다. 포괄적인 관찰 기능은 에이전트가 실제 조건에서 실제로 어떻게 행동하는지 보여줍니다. 이 가시성을 통해 에이전트가 예기치 않은 출력을 생산할 때 데이터 중심 개선 사항 및 신속한 문제 진단을 수행할 수 있습니다.

“코드로 작업”은 에이전트를 위한 새로운 차원을 채택합니다. 기존 인프라 - as-code는 프롬프트 버전 관리, 모델 구성 관리, 에이전트 배포 자동화로 확장됩니다. 에이전트 운영 절차는 모델 버전 변경, 즉각적인 진화, Knowledge 자료 업데이트, 기존 배포 및 롤백 작업을 다룹니다.

“모든 운영 이벤트에서 학습”은 에이전트 시스템에서 훨씬 더 가치가 높아집니다. 에이전트 사고는 종종 미세한 프롬프트 엔지니어링 문제, 스크립팅 및 오케스트레이션 오류, Knowledge 기반 차이 또는 예기치 않은 사용자 상호 작용 패턴을 드러냅니다. 에이전트 텔레메트리 분석의 체계적인 분석과 결합된 사후 작업은 운영 환경을 시간에 따라 구성되는 조직 기능으로 전환합니다.

전체 대화 로깅은 에이전트 관찰 가능성의 기반입니다. 사용자 입력, 에이전트 응답, 추론 단계, 호출된 작업, 검색된 데이터, 최종 결과를 포함한 모든 대화를 수집합니다. 이 Telemetry는 특정 사고 디버깅, 여러 상호 작용 전반의 품질 분석, 규정 준수 감사, 모델 개선, 사용 패턴 분석과 같은 여러 가지 목적을 수행합니다.

사용자 정의 빌드 로깅보다 기본 세션 추적 모델을 사용합니다. Agentforce 세션 추적은 병렬 텔레메트리 시스템을 구축하지 않고 Data 360의 통합 데이터 모델에서 에이전트 상호 작용 데이터를 수집합니다. 세션 추적 데이터 모델(STDM)은 대화를 추적 계층으로 기록합니다. 각 세션에는 상호 작용(전환), 각 상호 작용에는 단계(UserInputStep, LLMExecutionStep, FunctionStep) 및 단계에는 메시지(사용자 및 에이전트 통신)가 포함됩니다. STDM은 AIAgentSession, AIAgentSessionParticipant, AIAgentInteraction, AIAgentInteractionStep, AIAgentInteractionMessage와 같은 표준 Data 360 개체를 사용합니다. 상호 작용에는 분산 추적 식별자(TelemetryTraceId 및 TelemetryTraceSpanId), 단계에는 OpenTelemetry 스타일의 스탠 모델을 반영하는 스탠드 식별자(TelemetryTraceSpanId)가 있습니다.

에이전트 대화를 추적 및 범위로 모델링하는 것은 에이전트 관찰 가능성에 대한 업계 표준 접근 방식이며, 네이티브 모델을 재사용하면 수동 구축 개체가 다중 전환 대화 저장, 대규모 JSON 페이로드, 빠른 데이터 증가와 같은 규모 문제를 피할 수 있습니다. 대화를 기록하는 사용자 정의 트랜잭션 개체를 구축하는 것은 의도적인 예외입니다(예: 기본 로깅 기반이 아닌 에이전트 동작과 비즈니스 결과를 연관시키는 경량 사용자 정의 개체).

세션 및 대화 메타데이터는 세션 및 상호 작용 식별자, 사용자 ID, 에이전트 ID, 시작 시간, 종료 시간을 비롯한 중요한 컨텍스트를 수집합니다. STDMalso는 대규모 언어 모델(LLM) 호출 레코드에 각 상호 작용 단계를 연결합니다(GenerationId 및 GenAiGatewayRequest/Response 참조를 통해). 토큰 사용, 모델, 프롬프트 세부 사항은 세션 필드로 저장되지 않고 해당 조인을 통해 사용할 수 있습니다. 메타데이터를 사용하면 패턴 분석을 위해 대화를 필터링하고 집계할 수 있습니다.

상호 작용 및 단계 수준 세부 사항은 사용자 입력, 에이전트 응답, 추론 설명(사용 가능한 경우), 신뢰도 점수, 검색된 컨텍스트, 시도한 작업, 발생한 오류를 포함하여 각 순서를 수집합니다. 단계 수준 추적을 사용하면 자세한 사고 조사에서 추론 체인의 각 지점에서 발생한 일을 정확하게 재구성할 수 있습니다.

작업 단계는 API 호출, 데이터 수정, 외부 시스템 상호 작용, 호출된 통합 등 에이전트가 수행하는 모든 작업을 기록합니다. 작업 레코드는 “이 에이전트가 변경한 사항은 무엇입니까?” 및 “이 에이전트가 액세스한 시스템은 무엇입니까?”와 같은 질문에 답변합니다. 다음 답변은 보안 조사 및 규정 준수 요구 사항을 지원합니다. STDM은 작업을 상호 작용 단계로 기본적으로 수집합니다.

Atlas Reasoning Engine의 사유 추적은 에이전트의 결정 프로세스를 보여주며, 에이전트가 특정 작업을 선택했거나 특정 응답을 생성한 이유를 진단하는 데 도움이 됩니다. 세션 추적은 각 상호 작용의 일부로 플래너의 단계를 기록합니다. 노출된 추론의 깊이는 모델 및 플래너에 따라 다르지만, 이러한 추적을 사용할 수 있는 경우 디버그 기능이 크게 향상됩니다.

Einstein Trust Layer 생성형 AI 감사 추적은 생성형 AI 상호 작용, 개인 식별 정보(PII) 마스킹 버전을 비롯한 프롬프트 및 응답 텍스트, 검색된 기초 데이터, 응답 안전성 및 독성도 점수, Data 360에 스트리밍되고 저장된 LLM 모델 세부 사항을 모두 캡처합니다. Einstein 생성형 AI 및 피드백 데이터 수집 및 저장 기능을 활성화하여 Data 360에서 감사 및 피드백 데이터를 캡처할 수 있습니다.

예:

좋은 점: 사용자 입력, 에이전트 응답, 수행된 작업, 토큰 소비, 대화 결과에 대한 필드가 있는 사용자 정의 Salesforce 개체에 저장된 대화 로그입니다. 대시보드에 에이전트 및 사용 사례별 대화 성공률이 표시됩니다. 향상: 포괄적인 로깅에는 에이전트 결정 프로세스를 보여주는 추론 추적, 기초 교육 응답에 대한 정보를 보여주는 검색된 컨텍스트, 불확실성을 나타내는 신뢰도 점수가 포함됩니다. 최대: 대화 분석은 에이전트의 동작과 비즈니스 결과를 연결하고, 패턴 분석을 통해 개선 기회를 식별하고, 품질 레이블이 지정된 예를 통해 연속 학습 파이프라인을 제공합니다.

에이전트가 서비스 수준을 충족하고 예상 매개 변수 내에서 작업할 수 있도록 운영 성과를 모니터링합니다.

응답 대기 시간은 사용자 입력에서 에이전트 응답으로의 종단 간 시간을 추적합니다. 대기 시간은 사용자 환경에 직접적으로 영향을 미칩니다. 일반적인 성능 및 최악의 상황을 보여주는 백분위수(p50, p95, p99)에서 대기 시간을 측정합니다. p95 대기 시간이 성능 저하를 나타내는 임계값을 초과하면 경고합니다.

에이전트의 대기 시간 요소에는 모델 추론 시간, 데이터 및 컨텍스트 검색 기간, 외부 도구 및 작업 실행, 네트워크 대기 시간이 포함됩니다. 전체 대기 시간이 목표를 초과할 경우 대상 최적화를 활성화하는 각 단계를 별도로 계측합니다.

토큰 소비량은 대화, 에이전트, 사용 사례별로 사용되는 토큰을 측정합니다. 토큰 사용은 추론 비용을 높이고 응답 시간에 영향을 미칩니다(더 많은 토큰에는 더 많은 추론 계산이 필요합니다). 실제 사용이 프로젝션과 일치하는지 여부를 보여주는 토큰 분포를 추적합니다. 초과 토큰을 사용하는 이상값 대화를 감지하여 프롬프트 문제 또는 오용을 제안합니다.

토큰 메트릭에는 프롬프트 토큰(모델 입력), 완료 토큰(모델 출력), 총 토큰(프롬프트 및 완료 합계)이 포함됩니다. 프롬프트 토큰은 완료 토큰보다 더 제어할 수 있습니다. 프롬프트 및 검색된 컨텍스트를 최적화하여 품질을 유지하면서 프롬프트 토큰 소비를 줄입니다.

수량 모니터링은 동시 대화, 초당 요청, 대화 볼륨 추세를 추적하며 프로젝트 용량 및 확장 요구 사항을 지원할 수 있습니다. 임계값에 도달할 때 알려진 속도 제한 또는 수용력 기준선 경고와 현재 처리량을 비교합니다.

오류 비율 추적은 모델별 오류, 시간 초과 오류, 권한 거부 오류, 외부 통합 오류를 비롯한 유형별 오류를 모니터링합니다. 오류 패턴은 수정해야 하는 체계적인 문제를 보여줍니다. 에이전트 및 기간 전반에서 비교할 수 있도록 전체 요청의 백분율로 오류율을 계산합니다.

다른 응답이 필요한 오류 범주를 구분합니다. 모델별 오류는 신속하게 조정하거나 더 나은 모델로 전환해야 할 수 있습니다. 권한 오류로 인해 보안 구성이 변경되어야 합니다. 통합 오류는 외부 시스템 조사 또는 회로 차단기 활성화가 필요합니다.

가용성 모니터링은 에이전트 가동 시간 및 성공적인 운영 기간을 측정합니다. 에이전트가 요청에 성공적으로 응답한 시간 비율로 가용성을 계산합니다. 서비스 수준 목표(SLO)에 대한 가용성을 추적하여 가용성이 목표보다 낮아지면 사전에 대처할 수 있습니다.

Proactive Monitoring은 에이전트 인프라의 상태에 영향을 미칠 수 있는 플랫폼 변칙 및 자원 활용 문제에 대해 조직을 평가합니다. 사용자에게 표시되는 문제로 에스컬레이션하기 전에 신호가 표시됩니다. 일반적이지 않은 API 활동 또는 플랫폼 제한에 대한 리소스 소비 추세 등 에이전트 성능이 저하될 수 있는 인프라 수준 조건을 앞서 봅니다. 에이전트의 정상 작업 기준선에 대한 신호를 검토하여 실행 가능한 변칙을 예상 변형과 구분할 수 있습니다.

지속적으로 응답 품질을 모니터링하여 성과에 영향을 미치기 전에 저하를 감지합니다. 플랫폼에서 내장 평가 도구를 제공하는 경우 사용자 정의 또는 수동 프로세스 대신 사용하십시오. 기본 테스트 및 평가 도구로 시작합니다. Agentforce 테스트 센터 사용하면 재사용 가능한 테스트 사례 집합을 유지하고 에이전트가 자체 테스트 핸들을 구축하고 실행하는 대신 예상 주제 및 작업을 선택하고 허용되는 응답을 생성했는지 여부를 확인하여 에이전트를 배치로 실행할 수 있습니다. 또한 기본 품질 차원 및 대화 품질 점수 매기기를 위한 LLM 판사로 접근 방식을 포함하여 기본 평가자를 지원하고 조직별 기준에 대한 사용자 정의 평가자를 작성할 수 있습니다. 평가에 실제 사용량이 반영되도록 테스트 집합에서 대표적인 대화를 사용합니다.

응답 정확도는 에이전트 응답에 올바른 정보가 포함되어 있는지 여부를 측정합니다. 정확한 평가를 위해서는 알려진 답변 어설션 또는 사람이 검토해야 합니다. 알려진 답변이 있는 실제 질문의 경우 자동 평가가 에이전트의 응답과 올바른 답변을 비교하고 반복 가능한 평가를 위해 테스트 센터에서 테스트 사례로 유지합니다. 진행 중인 질문의 경우 평가자가 샘플링된 대화의 정확성을 평가합니다. 시간 경과에 따른 정확도 추세를 추적하여 즉시 변경, 모델 업데이트 또는 Knowledge 자료 수정이 성능을 향상시키거나 저하하는지 여부를 파악합니다.

응답 관련성은 에이전트의 응답이 정확하지 않은 경우에도 사용자 질문을 적절하게 해결하는지 여부를 측정합니다. 관련 응답은 사용자의 의도를 이해하고 완전한 답변이 불가능한 경우에도 유용한 정보를 제공합니다. 사용 가능한 경우 네이티브 평가 프로그램, 샘플링된 대화에 대한 인적 검토, 사용자 신호를 통해 관련성을 평가합니다. Knowledge 기반의 에이전트의 경우 네이티브 검색 품질 분석을 통해 응답의 컨텍스트 관련성, 응답 관련성, 응답의 신뢰도(참고성)을 평가할 수 있습니다.

가드레일은 편향, 불쾌한 콘텐츠, 위험한 조언, 범위를 벗어난 응답 등 안전하지 않거나 부적절하거나 유해한 응답을 감지합니다. Einstein Trust Layer는 런타임 시 LLM 상호 작용에 독성 감지를 적용합니다. 이는 첫 번째 방어선입니다. 콘텐츠 필터링, 수동 검토 샘플링, 사용자 보고 메커니즘, 인구 통계 그룹 전반의 결과 분포를 평가하는 공정성 감사를 통해 안전 모니터링을 개선합니다.

사용자 만족도 메트릭은 주관적인 경험 품질을 캡처합니다. Agentforce 사용자 의견은 Einstein 생성형 AI 감사 및 사용자 의견 데이터 모델(Data 360의 GenAIFeedback/GenAIFeedbackDetail)으로 플로됩니다. 이러한 모델은 게이트웨이 요청 및 생성 데이터와 함께 사용자 소스 또는 시스템에서 명시적 사용자 신호(손가락/손가락, 수락/거부, 편집, 구두 코멘트)를 수집합니다.필요한 경우 명시적 사용자 의견(에스컬레이션 전, 대화 종료 후, 후속 설문 조사)을 수집하고 명시적 및 암시적 신호를 결합하여 포괄적인 품질 관점을 제공합니다.

Salesforce는 다양한 모델 표면을 제공합니다. 생성 계층은 다음에 대해 실행되는 대화 논리 에이전트를 제공합니다. Agentforce 호스팅 모델은 Salesforce Trust 범위 내에서 즉각적인 추론을 제공하고 외부 LLM 또는 공급자에 대한 자체 LLM(BYOLLM) 링크를 가져옵니다. 예측 계층은 에이전트가 의사 결정을 기반으로 하는 구조화된 점수를 제공합니다. BYOM은 외부 호스팅 플랫폼에서 제로 카피 예측 점수를 가져오며, 네이티브 Einstein 모델은 CRM 객체에서 자동화된 점수 매기기 및 분류를 수행합니다. 이러한 영역을 함께 사용하면 자율 에이전트가 구조화된 통계 데이터로 워크플로를 기반으로 자연어로 이유를 설명할 수 있습니다.

시간에 따른 성능 저하 또는 조정이 필요한 변화하는 조건을 나타내는 모델 드리프트 모니터링 각 주 릴리스가 프로덕션으로 전달되기 전에 Sandbox에서 릴리스 노트를 검토하고 중요한 사용 사례를 테스트합니다. 릴리스 매트릭스 및 Sandbox 미리 보기 창을 사용하여 조기에 호환성 문제를 파악합니다.

에이전트의 정확성, 관련성 또는 안전성이 시간이 지남에 따라 저하될 때 발생하는 성능 드리프트입니다. 시간 경과에 따른 품질 메트릭을 추적하여 통계적으로 유의미한 하락을 감지합니다. 성능 드리프트는 모델 저하, Knowledge 기반의 오래된 상태, 변화하는 사용 패턴에 대한 즉각적인 잘못 조정 또는 입력과 원하는 출력 간의 관계가 발전하는 개념 드리프트로 인해 발생할 수 있습니다.

대표적인 테스트 사례 전반에서 정확성, 관련성, 안전, 만족도를 측정하는 초기 에이전트 배포 직후 기준 성과를 설정합니다. 사용 패턴 교대 근무와 관계없이 성능 변경을 드러내는 동일한 테스트 사례에 대해 정기적으로 재평가합니다.

품질 메트릭이 허용되는 임계값을 넘을 때 경고합니다. 비즈니스 영향 허용을 기반으로 임계값을 정의합니다. 일부 사용 사례는 품질 저하를 허용하며, 다른 경우에는 모든 저하에 즉시 대처해야 합니다.

사용자 입력 패턴이 교육 또는 튜닝 데이터 분포에서 현저하게 변경될 때 발생하는 분포 드리프트입니다. 에이전트가 처리하도록 설계되지 않은 입력 유형에 직면하면 배포 드리프트가 성능을 저하합니다. 질문 길이, 주제 분포, 언어 복잡성, 중요한 교대 근무를 감지하는 도메인 용어 등 입력 특성을 모니터링합니다.

과거 기준선 대비 현재 입력 분포를 비교합니다. 대규모 배포 교대 근무는 새로운 사용 사례, 사용자 동작 변경 또는 발전하는 비즈니스 프로세스를 나타낼 수 있습니다. 배포 교대 근무에는 즉시 업데이트, Knowledge 자료 확장 또는 에이전트 기능 향상이 필요할 수 있습니다.

에이전트 응답 패턴이 예기치 않게 변경될 때 발생하는 행동 드리프트입니다. 평균 응답 길이, 작업 호출 비율, 에스컬레이션 주기, 오류 패턴 등 응답 특성을 모니터링합니다. 중요한 동작 변경 사항은 프롬프트 문제, 모델 문제 또는 기본 시스템 변경을 나타낼 수 있습니다.

프로덕션 초기에 행동 기준을 설정하여 정기적인 성능 패턴, 도구 사용, 결정 경로와 같은 정상적인 운영 특성을 수집합니다. 이러한 기준선은 나중에 변칙 감지가 측정하는 벤치마크가 됩니다. 기준선에 대한 진행 중인 동작을 비교하여 편차가 예상 변화를 초과할 경우 경고합니다.

자동 경고는 사전 예방적 드리프트 응답을 지원합니다. 드리프트 메트릭이 임계값을 초과할 때 경고를 실행하도록 구성하여 신속한 세분화, Knowledge 자료 업데이트, 테스트 집합 확장 또는 BYOM 모델 재교육을 비롯한 조사 및 잠재적인 해결 방법을 트리거합니다.

조사가 필요한 일반적이지 않은 에이전트 동작을 자동으로 감지합니다.

토큰 소비 증가, 추론률 증가 또는 총 비용 가속을 포함하는 비용 변칙 비용이 급증하면 과도한 토큰 생성을 야기하는 즉각적인 문제, 예기치 않은 사용을 야기하는 오용 또는 오용 또는 중복 호출을 야기하는 인프라 문제를 나타낼 수 있습니다.

이상값 대화를 감지하는 토큰 소비 분포를 모니터링합니다. 일반적인 토큰 수의 10배를 사용하는 대화를 조사하여 합법적인 가장자리 사례 또는 수정이 필요한 문제를 나타내는지 파악합니다.

실패 비율이 갑자기 증가하고, 기준에 없는 새로운 오류 유형이 나타나거나 특정 사용자, 에이전트 또는 사용 사례에 영향을 미치는 현지화된 오류 농도 등 오류 비율 상승 오류가 급증하기 전에 고객에게 표시되는 품질 저하 문제가 발생하는 경우가 많습니다. 사전 예방적 감지는 광범위한 영향을 미치기 전에 수정할 수 있습니다.

응답 길이, 작업 호출 주기 또는 에스컬레이션 속도 변경을 포함하여 응답 패턴 변경 패턴 변경은 프롬프트 문제, 모델 동작 변경 또는 발전하는 사용 패턴을 나타낼 수 있습니다.

사용자가 더 높은 비율로 대화를 중단하는 경우 대화 중단이 증가하면 품질이 저하되거나 지연 시간이 증가하거나 기능 차이가 발생합니다. 초기 상호 작용 중, 대화 중 또는 과업 완료 시도 후 사용자가 중단했는지 여부를 식별하는 대화 스테이지별로 중단을 추적합니다. 중단 패턴은 특정 개선 기회를 보여줍니다.

알림 피로와 신속한 알림의 균형을 맞추는 알림 아키텍처를 설계합니다. 중요 에이전트 실패를 온콜 엔지니어에게 즉시 라우팅합니다. 업무 시간 동안 조사를 위해 품질 저하 경고를 제품 팀에 라우팅합니다. 추세 분석을 위해 사소한 변칙을 일일 요약에 집계합니다.

롤백, A/B 테스트, 감사 내역 유지 관리를 지원하는 버전 관리 프롬프트, 구성, 모델 메타데이터

프롬프트 템플릿은 프롬프트 빌더에서 생성된 재사용 가능한 프롬프트 템플릿으로 에이전트의 목표, 제약 사항 및 브랜드 지침을 정의하고 동적 기초화 데이터의 자리 표시자(예: 고객 또는 제품 세부 사항)를 추가합니다. 프롬프트 템플릿을 응용 프로그램 코드와 함께 Git에 저장하여 프롬프트를 코드와 같은 엄격성을 갖는 중요 응용 프로그램 논리로 처리합니다. 프롬프트 변경은 코드 검토, 테스트, 제어 배포를 거칩니다.

버전 내역 및 테스트 기능이 포함된 반복 프롬프트 개발에 프롬프트 빌더 사용합니다. 프롬프트 템플릿을 에이전트 작업으로 사용할 경우 프롬프트 빌더 템플릿을 미리 보고 병합 필드가 올바르게 확인되었는지 확인합니다. 테스트 센터를 사용하여 에이전트가 작업을 선택하고 올바른 출력을 생성하는지 확인하는 종단간 테스트를 실행합니다.

프로덕션 준비 메시지를 버전 제어로 내보내 프롬프트 빌더 개발과 소스 제어 배포 파이프라인 간의 동기화를 생성합니다.

구성 관리는 모델 선택, 온도 설정, 검색 구성 및 기능 플래그를 추적합니다. 구성을 코드로 저장하여 환경별 값을 사용하고 배포를 자동화하거나 구성 드리프트를 감지할 수 있습니다.

에이전트 릴리스에는 세맨틱 버전 지정이 적용됩니다. 주요 버전은 수정된 입력/출력 계약 또는 크게 변경된 동작과 같은 중단된 변경 사항을 나타냅니다. 부 버전은 호환성을 유지하는 기능 추가 또는 개선 사항을 나타냅니다. 패치 버전은 버그 수정을 나타냅니다. 버전 번호 지정은 운영 팀 및 사용자에게 변경 사항이 미치는 영향을 전달합니다.

프롬프트 템플릿, 에이전트 구성 및 Knowledge 자료를 비롯한 에이전트 구성 요소에 대한 시맨틱 버전 관리를 구현합니다. 로그의 버전 번호를 사용하면 사고와 특정 배포의 상관 관계가 활성화됩니다.

변경 문서에서는 즉시 변경, 구성 수정 및 모델 업데이트에 대한 이유를 파악합니다. 변경 사항, 변경 이유, 변경을 확인한 테스트, 기존 롤백 절차를 문서화합니다. 변경 문서는 사고 조사 및 Knowledge 전송을 가속화합니다.

모델 버전, 프롬프트, 구성, 배포 내역의 포괄적인 레지스트리를 유지합니다.

모델 패밀리, 특정 버전, 미세 조정 상태, 배포 환경(프로덕션, 스테이징, 개발), 배포 날짜, 책임 팀을 비롯한 어떤 모델 버전이 배포되는지 모델 레지스트리에 기록합니다. 레지스트리는 에이전트 인프라 상태에 대한 신뢰할 수 있는 단일 소스를 제공합니다.

배포 추적은 배포된 버전, 환경, 배포 타임스탬프, 배포하는 사용자, 얻은 승인, 배포 결과를 포함하여 모든 에이전트 배포를 기록합니다. 배포 내역을 사용하여 문제가 발생할 때 미치는 영향을 평가하고(예: “이 사고가 시작되기 전에 어떤 에이전트가 배포되었습니까?”) 규정 준수 보고를 지원합니다.

종속성 추적은 에이전트, 프롬프트, Knowledge 자료, 작업 및 통합 간 관계를 매핑합니다. 공유 Knowledge 자료를 업데이트하면 종속성 추적이 영향을 받는 에이전트를 표시합니다. 외부 통합이 변경되면 종속성 추적이 영향을 받는 에이전트를 식별합니다.

사고 도중 종속성을 발견하는 대신 명시적으로 문서화합니다. 개발 및 배포 프로세스를 통해 유지 관리되는 종속성 맵을 만듭니다.

지원 기간, 사용 중지 시간 표시 막대 및 마이그레이션 요구 사항을 포함하여 모델 버전의 수명 주기를 정의하는 사용 중지 정책입니다. 명확한 폐기 정책은 기술 부채를 관리하여 이전 모델 버전의 무기한 지원을 방지합니다. 사전에 타임라인을 전달하는 폐기 일정을 설정하여 강제 폐기에 대한 긴급 대응 대신 계획된 마이그레이션을 활성화합니다. 잘 전달되고 정책 지원 최소 고지 기간은 중요 변경 사항에 적절한 마이그레이션 시간을 제공합니다.

롤백 절차를 사용하면 팀이 문제 발생 시 신속하게 복구할 수 있습니다. 각 에이전트에 대한 롤백 절차를 문서화하고 다음을 포함합니다.

  • 롤백을 트리거하는 조건
  • 되돌릴 버전
  • 롤백 실행 방법
  • 롤백을 승인하고 수행하는 사람
  • 롤백에 성공했음을 확인하는 테스트 및 알릴 팀

비프로덕션 환경에서 롤백 절차를 정기적으로 테스트하여 프로덕션 사고 시 해당 절차에 의존하기 전에 작동하는지 확인합니다. 팀이 수행할 작업을 정확하게 파악할 수 있도록 모의 배포로 실습합니다. 테스트되지 않은 롤백 절차는 필요한 경우에 실패하는 경우가 많습니다.

지속적인 교육, 미세 조정, 세분화 워크플로를 통해 에이전트 품질을 유지합니다.

피드백 수집은 사용자 피드백, 인적 검토 수정, 품질 평가 및 결과 측정을 체계적으로 수집합니다. 사용자 의견은 개선을 위한 원료를 제공합니다. 체계적인 수집이 없으면 개선이 추측이 됩니다. 에스컬레이션 전, 대화 종료 후 또는 후속 설문 조사를 통해 질문을 통해 명시적인 사용자 의견을 수집합니다. 완료율, 에스컬레이션 주기, 재시도 패턴을 통해 암시적 사용자 의견을 수집합니다. 명시적 및 암시적 신호를 결합하여 포괄적인 품질 관점을 제공합니다.

데이터 큐레이션은 큐레이션, 품질 검토 및 편차 검사를 통해 고품질의 교육 데이터 집합을 유지합니다. 교육 데이터 품질에 따라 모델 품질이 직접적으로 결정됩니다. 데이터가 부족하면 신뢰할 수 없는 모델이 생성되며, 우수한 데이터는 뛰어난 성능을 제공합니다.

다음을 기준으로 교육 데이터 집합에 대화 로그를 큐레이팅합니다.

  • 품질에 대한 필터링 - 등급이 높은 대화 및 성공적인 결과 포함
  • 안전 위반 및 오류 등 문제가 있는 예제 제거
  • 다양한 시나리오 및 극단 사례를 포함하여 대표성 보장
  • 중복 제거 - 거의 동일한 예제 제거

특화된 용어, 고유한 비즈니스 프로세스, 조직별 Knowledge와 같은 도메인에 에이전트를 맞추십시오. 주로 Data 360에 기반한 검색 증가 생성(RAG) 및 Salesforce 네이티브 경로인 즉시 조정을 통해

Salesforce 내에서 생성 모델은 미세 조정되지 않으며 AI 모델 및 프롬프트 빌더 통해 모델을 선택하고 구성할 수 있습니다. 기초 교육이 부족할 경우 외부에서 미세 조정한 다음 BYOLLM을 통해 연결합니다.

프롬프트 빌더를 사용하여 성능 데이터를 기반으로 프롬프트를 반복적으로 개선하는 프롬프트 세분화 프롬프트 엔지니어링은 일회성 실습이 아닌 연속적인 연습입니다. 사용 패턴이 발전하고 비즈니스 프로세스가 변화하며 사용자 기대가 변화함에 따라 프롬프트를 조정하여 최적의 성능을 유지해야 합니다.

최근 대화, 품질 메트릭, 개선 기회를 식별하는 사용자 피드백을 검사하는 정기적인 프롬프트 검토 케이던스를 설정합니다. 전체 롤아웃 전에 개선 사항을 확인하는 A/B 테스트를 통해 점진적으로 프롬프트 변경 사항을 구현합니다.

평가 자동화는 시간 제한 테스트 세트에서 품질 평가를 실행하여 개선 후보를 신속하게 평가할 수 있습니다. 자동 평가는 주관적 인 평가를 보완하는 목표 측정을 제공합니다.

행복한 경로, 가장자리 사례, 반대 입력, 내역 문제 시나리오를 다루는 테스트 집합을 유지합니다. 테스트 자동화를 설정하여 정기 케이던스에서 테스트 시나리오를 실행합니다. 관리자에게 변칙을 알리는 자동 결과 모니터링, 임계값, 알림을 포함합니다. 이 자동 테스트는 모델 드리프트와 같은 외부 요인의 부정적인 영향을 감지하는 데 매우 중요합니다.

프로덕션에 새로운 최첨단 사례가 표시되면 테스트 집합을 지속적으로 확장합니다. 테스트 자동화는 중요하지만, 에이전트 배포가 최첨단 사례에 대응할 수 있도록 정기적인 수동 스팟 점검, 일회성 테스트, 고릴라 테스트도 실행할 수 있습니다.

에이전트 변경 사항을 점진적으로 배포하고 전체 롤아웃 전에 품질을 모니터링하여 문제의 폭발 반경을 제한합니다. 변경 사항이 프롬프트, 모델 구성, 작업, 기초 교육, 통합과 같은 여러 영역에 걸쳐 있으면 테스트가 포착하지 못한 방식으로 동작이 저하될 수 있습니다. 이러한 경우 결과 품질 회귀는 분명한 단일 근본 원인을 가리키지 않는 경우가 거의 없습니다. 회귀를 소스로 추적할 수 있도록 작은 변경 사항을 한 번에 하나씩 배송하고 먼저 각각을 제한된 트래픽 조각으로 해제하여 진단하는 동안 영향을 포함합니다.

구성 뒤에 기능이 비활성화된 에이전트를 배포하여 배포와 릴리스를 분리하는 기능 플래그입니다. 논리 또는 사용자 정의 메타데이터 유형 또는 사용자 정의 설정을 사용하여 기능 플래그를 구현합니다. 기능 플래그는 사용자에게 기능을 노출하지 않고 프로덕션 환경에서 테스트, 특정 사용자 세그먼트에 점진적인 롤아웃, 구현 비교 A/B 테스트, 재배포 없이 플래그를 비활성화하여 즉각적인 롤백을 지원합니다.

비즈니스 크리티컬 에이전트에 영향을 미치는 변경 사항, 불확실한 프로덕션 동작이 있는 새로운 추론 패턴 상호 작용 패턴이 테스트와 다를 수 있는 외부 시스템과의 통합 등 실패의 폭발 반경이 심각할 수 있는 중요한 에이전트 변경 사항에 기능 플래그를 사용합니다.

Canary 배포는 소규모 사용자 하위 집합에 대한 에이전트 변경 사항을 릴리스하여 더 광범위한 롤아웃 전에 먼저 오류 비율, 품질 메트릭 및 성능을 모니터링합니다. 권한 집합을 사용하여 Canary 배포를 제어합니다. 사용자의 하위 집합에 대한 에이전트 액세스를 제한하거나 사용자 특성을 기반으로 오케스트레이션 논리 내에서 필터링합니다.

성공률, 응답 품질, 사용자 피드백을 모니터링 및 측정합니다. 이전 에이전트 버전을 사용하여 제어 그룹에 대한 캐나리아 메트릭을 비교합니다. Canary가 동등하거나 향상된 성능을 보여주는 경우에만 롤아웃을 확장합니다.

A/B 테스트는 에이전트 변형을 비교하여 품질, 비용 및 사용자 만족도를 측정합니다. A/B 테스트는 개선 결정을 위한 경험적 증거를 제공합니다. 임의로 선택한 사용자 하위 집합에 변형을 배포하여 통계적 유효성을 보장합니다. 포괄적인 비교를 제공하는 여러 차원(정확성, 만족도, 비용, 대기 시간)에서 결과를 측정합니다.

A/B 테스트를 시작하기 전에 성공 기준 및 가설을 정의합니다. 명확한 기준은 일부 메트릭이 향상되고 다른 메트릭이 저하되는 모호한 결과를 방지합니다. 성공 기준은 비즈니스 목표와 일치해야 합니다(예: “변형 B는 비용을 15% 절감하면서 변형 A 정확도와 2% 이내여야 함”).

현재 챔피언 버전에 비해 트래픽 하위 집합에 향상된 에이전트 버전을 배포하는 Champion-Challenger 테스트 챔피언 챌린저 패턴은 검증된 버전을 대체로 유지하여 개선 위험을 관리합니다. 도전자가 성과를 낮추면 사용자에게 영향을 미치지 않고 챔피언으로 되돌아갑니다. 도전자가 성과가 뛰어난 경우 새 챔피언에게 승격합니다.

통계 유효성에 대한 최소 샘플 크기, 평가자가 초과해야 하는 품질 임계값, 프로모션 결정 전 평가 기간 등 목표 프로모션 기준을 설정합니다. 에이전트 버전이 변경된 이유에 대한 감사 추적을 생성하는 프로모션 결정을 문서화합니다.

포괄적인 모니터링을 통해 에이전트 운영 문제를 신속하게 식별하는 사고 감지를 설정합니다.

에이전트 장애 모드는 기존 애플리케이션 장애와 다릅니다. 일반적인 실패 모드는 다음과 같습니다.

  • 환각 - 가능하지만 부정확한 정보 생성
  • 주제 외 응답 - 사용자 의도 오해
  • 과도한 비용 소비 - 런어웨이 토큰 생성
  • 시간 초과 실패 - 추론이 너무 오래 걸립니다.
  • 권한 오류 - 무단 작업 시도
  • 통합 실패 - 외부 시스템을 사용할 수 없음
  • 안전 위반 - 부적절한 콘텐츠 생성

오류 비율, 품질 메트릭 저하, 비용 변칙, 대기 시간 증가, 사용자 에스컬레이션에 대한 자동 모니터링 경고를 통해 실패를 감지합니다. 사용자 의견 요청 및 사용자 의견을 제공하는 방법 및 위치에 대한 명확한 지침을 포함한 사용자 자체 보고 메커니즘을 보완하여 자동화에서 보고된 격차를 해결할 수 있습니다.

심각도 분류은 적절한 긴급성을 갖춘 적절한 응답자에게 사고를 라우팅합니다. 중요한 사고는 많은 사용자에게 영향을 미치는 프로덕션 가용성, 에이전트 작업으로 인한 데이터 손상 위험, 보안 위반 또는 즉각적인 대응이 필요한 안전 위반을 나타냅니다. 심각도는 비즈니스에 중요한 에이전트에 영향을 미치는 품질 저하 또는 상당한 비용 초과를 나타냅니다. 중간 심각도는 고립된 문제 또는 업무 시간 동안 조사해야 하는 임계값에 근접함을 나타냅니다. 낮은 심각도는 사고 관리 프로세스 외부에서 추적된 사소한 문제를 나타냅니다.

사용자 영향, 폭발 반경, 데이터 무결성 위험, 복구 긴급성을 기반으로 심각도 기준을 객관적으로 정의합니다. 목표 기준을 통해 실제 문제의 에스컬레이션이 부족하거나 사소한 문제의 에스컬레이션이 과도하게 발생하지 않도록 방지할 수 있습니다. 사고 해결 결과에 대한 문서를 유지하여 프로세스를 지속적으로 개선합니다.

초기 대응 절차은 상황을 안정화하는 즉각적인 조치를 안내합니다. 절차에는 다음이 포함됩니다.

  • 실패 에이전트 - 회로 차단기 활성화 비활성화
  • 사용자를 대체 옵션으로 라우팅 - 인적 처리, 간단한 에이전트, 정적 응답
  • 진단 정보 수집 - 최근 대화, 오류 로그, 리소스 메트릭
  • 이해당사자(대기 중 엔지니어, 제품 소유자, 영향받는 사용자)에게 알림
  • 사고 통신 시작 - 상태 페이지 업데이트, 내부 조정 채널
  • 초기 응답 절차를 실행북으로 문서화하여 사고별 조사가 필요하지 않고도 빠르게 실행할 수 있습니다.
  • 실행북은 긴밀한 에이전트 전문 지식이 없는 온콜 엔지니어가 실행할 수 있어야 합니다.

에이전트 사고 중에 계단식으로 실패를 방지하고 부분적인 기능을 유지합니다.

교환기 패턴은 오류가 발생하는 에이전트를 자동으로 비활성화하여 문제를 해결하는 동안 반복 오류 및 사용자 충돌을 방지합니다. 오류 비율이 지속 기간 동안 임계값을 초과할 경우 오류 비율을 모니터링하고(에이전트 비활성화) 열기를 구현합니다.

오류 임계값, 기간, 복구 테스트를 사용하여 회로 차단기를 구성합니다. 예를 들어, 롤링 기간이 5분인 50% 오류율 및 에이전트 복구 여부를 테스트하라는 정기 평가판이 있습니다. 회로가 열리면 요청을 대체 옵션으로 라우팅합니다. 시간이 초과되면 회로가 반 열림 상태로 전환되어 평가 요청을 진행할 수 있습니다. 평가판 요청이 일관되게 성공하면 회로를 닫아 정상 작업을 재개합니다.

폴백 계층은 기본 에이전트가 실패할 때 훌륭한 저하를 제공합니다. 허용되는 응답이 달성될 때까지 점점 더 간단한 옵션을 시도하는 대체 시퀀스를 설계합니다. 대체 계층 예: 기본 정교한 에이전트 → 단순한 백업 에이전트 → 정적 FAQ 응답 → 인적 핸드오프.

에이전트 내에서 아닌 오케스트레이션 계층에서 대체 논리를 구현하여 에이전트 에코시스템 전반에서 일관된 동작을 할 수 있습니다. 대체 경로를 정기적으로 테스트하여 필요한 경우 작동하는지 확인합니다.

AI 에이전트가 요청을 처리할 수 없을 때 인간 처리이 인적 에이전트로 증가합니다. 대화 컨텍스트를 유지하는 핸드오프 워크플로를 설계하고, 핸드오프 이유를 커뮤니케이션하고, 관련 전문 지식이 있는 적절한 인적 에이전트에게 라우팅하고, 개선 기회를 드러내는 핸드오프 빈도를 추적합니다.

주제, 에이전트, 실패 이유별로 에스컬레이션 비율을 모니터링합니다. 높은 비율은 즉각적인 개선, Knowledge 자료 확장 또는 사용 사례 세분화가 필요한 에이전트 역량 차이를 나타냅니다.

저하된 작동 시 부분 기능을 유지하는 그림질 저하. 정교한 추론이 실패하면 더 간단한 논리로 돌아갑니다. 실시간 데이터를 사용할 수 없는 경우 캐시된 데이터에 대해 작업합니다. 외부 통합이 실패하면 읽기 전용 모드로 작동합니다. 유연한 성능 저하를 통해 시스템이 완전히 실패하지 않고 줄어진 용량에서 계속 작동할 수 있습니다.

정직한 평가를 위해 개별 오류로 인한 심리적 안전이 아닌 시스템 개선에 초점을 맞춘 사고 후 검토를 수행합니다.

타임라인 재구성은 첫 번째 신호, 감지, 확인, 조사, 응답 작업, 복구 및 검증을 통해 초기 조건에서 자세한 순서를 만듭니다. 각 이벤트에 타임스탬프를 지정하여 각 단계의 기간 분석을 통해 사고 응답이 지연된 위치를 파악할 수 있습니다.

타임라인에 다음을 포함합니다.

  • 최근에 배포된 항목(프롬프트, 구성, 모델, 통합)은 무엇입니까?
  • 사용 패턴의 변경 사항(정상적인 트래픽 증가, 새로운 대화 유형)은 무엇입니까?
  • 외부 요인은 무엇입니까(타사 서비스 저하, 플랫폼 업데이트)?
  • 탐지 속도가 이상적인 이유는 무엇입니까?

** 근본 원인 식별**은 직접적인 기술적 원인을 결정합니다. 즉각적인 원인(모델 시간 초과)과 기여 요소(특정 대화 패턴에서 토큰 제한을 초과하는 프롬프트 설계)를 구분합니다. 근본 원인 분석은 단순한 결론(“에이전트에게 버그가 있음”)을 방지하여 효과적인 해결 방법을 제공하는 특정 결과를 제시합니다.

“5 이유” 기법을 사용하여 증상에서 근본 원인에 대해 자세히 살펴봅니다.

면 예: “에이전트가 잘못된 정보를 생성했습니다” → “왜? 검색된 컨텍스트에 기한이 경과한 데이터 포함” → “왜? Knowledge 자료가 최근 제품 변경 사항으로 업데이트되지 않았습니다” → “왜? 제품 팀이 Knowledge 자료 업데이트를 트리거하는 프로세스가 없습니다.” → 근본 원인: Knowledge 기반 유지 관리에 제품 릴리스를 연결하는 워크플로가 누락되었습니다.

기여 요소는 사고의 영향을 가능하게 하거나 강화하는 조직, 프로세스 또는 아키텍처 조건을 보여줍니다. 일반적인 요소는 문제가 감지된 것보다 오래 지속되도록 하는 모니터링 간격, 실패 시나리오를 발견하지 못하게 하는 테스트 간격, 빠른 진단 속도를 저하하는 문서 간격, 수동 복구 단계를 강제로 수행하는 자동화 간격, 단일 장애 지점 또는 누락 중복과 같은 아키텍처 간격 등이 있습니다.

기여 요소 분석은 즉각적인 근본 원인 수정 이상의 개선 기회를 보여줍니다. 대부분의 사고에는 각각 영향을 강화하는 여러 기여 요인이 있습니다.

검출 분석은 사고가 어떻게 감지되었는지 및 감지가 더 빨라질 수 있는지 여부를 검사합니다. 많은 에이전트 사고는 자동 모니터링이 아닌 사용자가 먼저 보고하므로 모니터링 공백이 있음을 나타냅니다. 결정: 이전에 문제를 감지해야 하는 신호는 무엇입니까? 더 빠른 감지를 위한 모니터링은 무엇입니까? 적절하게 실행된 경고 기준은 무엇입니까?

감지 분석 개선 사항에는 다음이 포함됩니다. 누락된 모니터링 범위 추가, 거짓 음수를 제거하는 경고 임계값 조정, 신속한 정렬을 위한 경고 컨텍스트 보강, 사전 예방적 문제 식별을 위한 대시보드 개선

응답 평가은 무엇이 잘 진행되었는지, 무엇이 필요한 것보다 느리거나 어려웠는지 평가합니다. 응답 평가 질문: 실행북이 유용하고 정확했습니까? 에스컬레이션 경로가 명확하고 효과적입니까? 롤백 절차가 테스트되고 준비되었습니까? 도구가 필요한 진단 정보를 제공했습니까? 커뮤니케이션이 시기적절하고 효과적이었습니까?

응답 평가 개선 사항에는 다음이 포함됩니다. 학습된 내용으로 실행북 업데이트, 에스컬레이션 기준 명확화, 롤백 절차를 정기적으로 테스트, 진단 도구 추가, 사고 통신 템플릿 개선.

작업 항목은 반복을 방지하거나 향후 응답을 개선하는 구체적이고 할당된 시간 제한 개선 사항을 지정합니다. “모니터링 향상”과 같은 모호한 작업 항목을 피하고 “10분 동안 에이전트 오류 비율이 5%를 초과하는 경우 경고 추가”와 같은 특정 과업을 지원합니다. Alex, 기한: 2주.”.

후속 검토에서 작업 항목 완료를 추적하여 지속적인 개선이 실제로 발생하는지 확인합니다. 각 사고 후 검토 동안 이전 사고의 진행 중인 작업 항목을 검토합니다. 완료율이 낮으면 주의를 기울여야 하는 지속적인 개선 프로세스 실패를 나타냅니다.

공유 위키, Knowledge 자료 또는 공동 작업 공간에서 Knowledge 공유를 문서화하여 여러 사고에 걸쳐 패턴 분석을 수행할 수 있습니다. 사고 소급은 실패 모드, 영향을 받는 구성 요소, 기간별로 검색할 수 있어 향후 응답자가 과거 사고에서 배울 수 있습니다.

사고 후 검토를 즉각적인 사고 대응자 외에 광범위하게 공유합니다. 조직 학습에는 정보 전파가 필요합니다. 팀 회의 또는 점심 식사 및 학습 세션에서 Knowledge 전파하고 공동 역량을 구축하는 주요 사고 학습을 제시하는 것이 좋습니다.

검토, 위험 평가, 이해당사자 정렬을 보장하는 프로덕션 에이전트를 배포하기 전에 승인이 필요합니다.

배포 전 점검 목록은 다음을 포함하여 준비 상태를 검증합니다.

  • 포괄적인 테스트 완료 - 기능, 품질, 안전, 성능
  • 보안 검토 승인 - 권한 경계, 데이터 액세스, 작업 권한 부여
  • 규정 준수 확인 - 규제 요구 사항, 정책 준수
  • 문서 완료 - 실행북, 롤백 절차, 에스컬레이션 경로
  • 모니터링 구성 - 품질 메트릭, 오류 비율, 비용 추적
  • 이해당사자 승인 획득 - 제품 소유자, 보안, 규정 준수

체크리스트는 에이전트 전체에서 일관된 평가 기준을 제공합니다. 에이전트 중요도, 데이터 민감도, 자율성 수준에 따라 에이전트 위험 프로필에 대한 체크리스트를 적용합니다.

위험 평가는 에이전트 실패의 잠재적인 영향을 평가합니다.

  • 폭발 반경 - 실패로 인한 영향을 받은 사용자 수
  • 데이터 민감도 - 에이전트가 액세스하는 데이터
  • 작업 권한 - 에이전트가 수정할 수 있는 사항
  • 통합 종속성 - 에이전트가 영향을 미치는 시스템
  • 복구 복잡성 - 롤백의 어려움
  • 규정 준수 영향 - 적용되는 규정

위험 평가에 따라 승인 요구 사항이 결정됩니다. 고위험 에이전트는 경영진 승인, 보안 검토, 점진적 롤아웃이 필요하며, 저위험 에이전트는 동료 검토 및 표준 테스트가 필요할 수 있습니다.

승인 워크플로는 적절한 검토자를 통해 배포 요청을 라우팅합니다. Salesforce 승인 프로세스 또는 외부 배포 도구를 사용하여 승인 워크플로를 구현합니다. 승인 워크플로를 자동화, 추적, 감사하여 규정 준수 보고 및 사고 조사를 활성화합니다.

승인 결정을 문서화하고 배포를 승인한 사람, 승인에 정보를 제공한 정보, 적용된 조건 또는 제한, 수여된 모니터링 서약에 대한 감사 추적을 만듭니다.

비상 우회 절차는 정상적인 승인 프로세스가 중요한 수정 작업을 지연시킬 때 생산 사고 시 신속하게 구축할 수 있습니다. 긴급 절차는 경영진의 승인을 받아야 하며, 근거 문서를 포함하고, 긴급 변경 사항을 확인하는 신속한 배포 후 검토를 트리거해야 합니다.

비상 배포를 표준 릴리스와 별도로 추적합니다. 긴급 배포 주기는 조사해야 하는 프로세스 문제를 나타냅니다.

에이전트가 프로덕션 배포 전에 전달해야 하는 품질 게이트를 정의하여 문제가 있는 에이전트가 사용자에게 다가오지 않도록 합니다.

기능 테스트를 통해 에이전트가 대표적인 시나리오에서 의도한 작업을 올바르게 수행할 수 있습니다. 일반적인 상호 작용을 포함하는 행복한 경로, 드물지만 유효하지 않은 시나리오를 포함하는 가장자리 사례, 에이전트가 잘못된 입력을 정상적으로 처리하는지 테스트하는 오류 경로, 에이전트가 총괄자 제한, 토큰 제한, 데이터 용량 제한 이내인지 확인하는 경계 조건을 테스트합니다.

결정적이지 않은 출력이 정확히 일치하지 않으므로 에이전트에 대한 기능 테스트는 기존 테스트와 다릅니다. 정확한 텍스트가 아닌 출력 특성(필수 정보 포함, 적절한 어조 유지, 필수 따옴표 포함)을 테스트합니다.

응답 품질 테스트는 테스트 시나리오 전체에서 응답 정확성과 관련성을 평가합니다. 품질 테스트는 예상 출력이 포함된 기본 진리 데이터 집합 또는 인적 평가가 필요합니다. 에이전트가 충족해야 하는 최소 품질 임계값을 설정합니다(예: “제외 테스트 집합의 정확도 95%, 안전 위반 없음, 공정성 감사에 인구 통계 차이가 5%를 초과하지 않음”). 새로운 가장자리 사례가 발견되면 테스트 집합을 지속적으로 유지하고 확장합니다.

안전 테스트는 에이전트가 위험하거나 비 윤리적이거나 범위를 벗어난 요청을 거부하는지 확인합니다. 안전 테스트는 다음을 포함한 반대 입력을 시도합니다.

  • 프롬프트 주입 시도 - 명령을 재정의하려는 경우
  • 실수 시도 - 안전 제약을 우회하려는 경우
  • 에스컬레이션 요청 - 점점 더 민감한 작업 요청
  • 범위 외 요청 - 무단 과업 시도

에이전트 구축에 관여하지 않은 독립 팀 구성원에게 안전 테스트를 할당합니다. 고위험 에이전트의 경우 빨간색 팀 전문가를 가져옵니다.

성능 테스트는 대기 시간, 처리량, 비용 충족 기대치를 검증합니다. 동시 대화, 일반 대화 길이, 예상 사용량을 포함한 실질적인 부하에서 테스트합니다. 성능 테스트는 단일 사용자 테스트에서 볼 수 없는 총괄자 제한 문제, 자원 제약, 확장성 지체 지점을 보여줍니다.

성능 테스트 동안 테스트 환경 소비를 측정하고 이를 사용하여 프로덕션 수용력 요구를 예상합니다.

보안 테스트는 권한 경계, 데이터 액세스 제어, 작업 인증을 확인합니다. 보안 테스트는 에이전트가 무단 데이터에 액세스할 수 없고, 에이전트가 무단 작업을 수행할 수 없으며, 프롬프트 삽입을 통해 권한을 에스컬레이션할 수 없으며, 감사 로깅은 모든 에이전트 활동을 캡처합니다.

Apex, 플로, Lightning, Visualforce 보안 취약성을 검색하고 명령줄 인터페이스(CLI) 또는 GitHub 작업을 통해 연속 통합/배포(CI/CD)에서 실행할 수 있는 Salesforce Code Analyzer를 사용하여 정적 코드 보안 스캔을 배포 파이프라인에 통합합니다. 정적 코드 분석 범위를 벗어나는 런타임 LLM 입력 위협이므로 전문적인 AI/에이전트 보안 테스트를 사용하여 프롬프트 인젝션 취약성 및 민감한 데이터 노출 위험을 감지합니다.

변경 사항이 문서화, 검토, 통신되도록 에이전트 배포에 변경 관리 규칙을 적용합니다.

변경 문서에는 다음이 포함됩니다.

  • 변경 사항 - 프롬프트 수정, 구성 업데이트, 모델 변경
  • 변경된 이유 - 품질 향상, 비용 최적화, 버그 수정
  • 변경 사항을 확인한 테스트 - 테스트 결과, 품질 점수, 보안 스캔
  • 기존 롤백 절차

변경 문서는 사고 조사, 규정 준수 보고, Knowledge 전송을 지원합니다. 문서화된 변경 사항은 교훈을 다시 찾는 대신 이전 경험을 기반으로 하는 학습 조직을 만듭니다.

통신 계획은 영향을 받는 사용자, 운영 팀, 지원 팀 및 비즈니스 이해당사자를 비롯한 이해당사자에게 에이전트 변경 사항을 알립니다. 커뮤니케이션은 변경 사항, 변경 사항이 배포되는 시기, 사용자에게 표시되는 혜택, 존재하는 위험, 문제가 있는 경우 연락할 대상을 설명해야 합니다.

메시지를 표준화하고 배포 준비 오버헤드를 줄이는 다양한 변경 유형에 대한 커뮤니케이션 템플릿을 설정합니다.

사용량이 적은 기간 동안 에이전트 배포의 배포 예약 시간은 이벤트 모니터링 데이터를 통해 실제 사용 패턴을 보여줍니다. 최대 사용량, 월말 마감, 분기말 마감 또는 주요 비즈니스 이벤트 중에 배포하지 마십시오. 예상 기간 및 롤백 결정 타임라인을 포함한 배포 기간을 커뮤니케이션합니다.

주부터 중간까지의 주요 변경 사항을 예약하고 주말에 배포하지 마십시오. 따라서 적절한 자원으로 문제를 해결할 수 있습니다. 고정 캘린더 규칙보다 빠른 롤백 및 강력한 배포 후 모니터링의 우선 순위를 지정합니다.

교체창과 냉동창은 중요한 업무 기간을 보호합니다. 중요 비즈니스 이벤트(회계 연도 종료, 제품 출시, 주요 마케팅 캠페인) 이전에 변경 동결 기간을 설정하여 관심이 많은 기간 동안 배포로 인한 문제를 방지합니다.

팀이 적절하게 계획할 수 있도록 제한된 기간을 충분히 미리 알리는 문서 변경 동결 캘린더를 매년 제공합니다. 과도하게 동결하면 속도가 느려지며 동결이 부족하면 비즈니스 위험이 발생합니다.

운영 Telemetry를 에이전트 개선과 연결하는 사용자 의견 루프를 설정합니다.

사용자 피드백 수집은 질문이나 후속 설문 조사를 통해 명시적인 피드백을 수집합니다. 완료율, 에이전트에 대한 에스컬레이션, 재시도 패턴, 불만을 나타내는 후속 질문을 통해 암시적 사용자 의견을 수집합니다. 명시적 및 암시적 신호를 결합하여 포괄적인 품질 관점을 제공합니다.

사용자 의견을 인라인으로 수집합니다. 즉시 수행되며 나중에 수행되지 않습니다. 사용자 의견 수집이 지연되면 응답률이 줄어들고 리콜 편향이 발생합니다.

사용량 분석은 반복되는 주제, 질문 및 추세와 같은 실제 대화 패턴을 노출합니다. 에이전트의 복잡성으로 인해 유지되는지 여부, 검색 가능성이 낮아 기능이 사용되지 않는지 여부, 실제 사용이 원래 설계 가정을 확인하는지 여부를 테스트합니다.

질문 유형, 대화 길이, 주제별 성공률, 대화 특성별 사용자 만족도를 분석하는 대화 로그를 쿼리합니다. 사용 패턴 분석은 신속한 세분화, Knowledge 자료 확장 및 기능 우선 순위 지정을 안내합니다.

오류 패턴 분석은 해결해야 하는 체계적인 품질 문제를 파악합니다. 오류 유형, 영향받은 사용자, 대화 패턴, 시간 분포별로 오류 로그 그룹화를 분석합니다. 오류 패턴은 즉각적인 문제, Knowledge 기반 공백, 통합 문제 또는 처리해야 하는 가장자리 사례를 보여줍니다.

빈도 및 영향에 따라 오류 해결의 우선 순위를 지정합니다. 많은 사용자에게 영향을 미치는 빈도가 높은 오류는 즉시 주의를 기울여야 합니다. 빈도가 낮은 오류는 비즈니스 영향 및 수정 비용에 따라 허용되는 최첨단 사례를 나타낼 수 있습니다.

품질 추세 모니터링은 시간 경과에 따라 정확성, 관련성, 안전성 및 만족도를 추적하여 저하가 심각해지기 전에 감지합니다. 초기 에이전트 배포 후 품질 기준선을 설정합니다. 추세가 허용 가능한 임계값을 넘을 경우 기준선 경고에 대한 지속적인 품질을 모니터링합니다.

품질 모니터링은 신속한 변경, 모델 업데이트 또는 Knowledge 자료 수정이 성능을 향상시키거나 저하하는지 여부를 밝힙니다.

경험적 증거를 사용하여 개선 결정을 체계적으로 알리는 실험을 추적합니다.

실험 프레임워크는 다음과 같은 테스트 개선 사항을 위한 일관된 구조를 제공합니다.

  • 가정 - 예상되는 개선 사항
  • 실험 설계 - 변형이 배포되는 방법
  • 메트릭 - 측정되는 결과
  • 샘플 크기 - 통계 유효성에 필요한 상호 작용 수
  • 성공 기준 - 승격을 정당화하는 결과

실행 전에 실험을 문서화하여 결과를 모호하게 해석하지 않도록 합니다. 미리 정의된 성공 기준을 사용하면 결과가 “충분히 좋다”는지에 대한 긴 논쟁을 피하는 명확한 프로모션 결정을 내릴 수 있습니다.

변형 추적 로그는 어떤 사용자가 어떤 변수를 수신했는지 결과 상관 관계를 활성화합니다. 대화 메타데이터에서 변형 할당을 추적하여 변형별로 품질, 비용, 만족도를 분석할 수 있습니다.

통계적 유효성은 실험을 충분한 샘플 크기로 충분히 오래 실행하여 신뢰할 수 있는 결론을 내릴 수 있도록 보장합니다. 예상 효과 크기, 통계 출력 요구 사항, 허용 가능한 오류 비율을 기반으로 실험 전에 필수 샘플 크기를 계산합니다. 샘플이 부족하면 잘못된 결정을 내릴 수 없는 결과가 나옵니다.

다중 무기 탐정 최적화는 실험 중에 성능이 뛰어난 변형에 더 많은 트래픽을 동적으로 할당합니다. 다중 무장 범죄자 접근 방식을 사용하면 통계 분석을 위해 충분한 데이터를 수집하면서 하위 변형에 대한 노출을 줄여 기회 실험 비용을 줄일 수 있습니다.

실험 카탈로그는 모든 실험의 변형, 결과 및 결정을 기록합니다. 팀이 실패한 접근 방식을 다시 테스트하지 못하고 조직 전체에 학습을 전파하며 실제로 작동하는 항목에 대한 공유 레코드를 구축할 수 있습니다.

에이전트 시스템의 운영 우수성은 고유한 AI 특성을 해결하기 위해 기존 DevOps 관행을 확장해야 합니다. 포괄적인 관찰성을 통해 비상 에이전트 동작을 이해할 수 있습니다. 체계적인 수명 주기 관리를 통해 품질, 안전, 비용을 관리할 수 있습니다. 사고 대응 절차는 에이전트별 실패 모드를 해결합니다. 지속적인 개선은 운영 환경을 조직 기능으로 전환합니다.

에이전트 시스템의 운영 우수성을 위한 핵심 사례:

  • 입력, 출력, 추론 추적, 작업, 결과를 포함한 전체 대화를 기록합니다.
  • 정확도, 관련성, 안전, 만족도 메트릭을 통해 응답 품질을 지속적으로 모니터링합니다.
  • 기준선 비교 및 변칙 감지를 통해 모델 드리프트 및 동작 변경 사항을 감지합니다.
  • 롤백 및 A/B 테스트를 활성화하는 버전 관리 프롬프트, 구성, 모델
  • 폭발 반경을 제한하는 기능 플래그 및 캐나리아 배포로 점진적인 롤아웃을 구현합니다.
  • 에이전트 계단식 실패를 방지하는 회로 차단기 및 대체 계층을 설계합니다.
  • 체계적인 개선에 초점을 맞춘 사고 후 검토를 실행합니다.
  • 문제 에이전트가 프로덕션에 도달하지 못하도록 품질 게이트 및 승인 프로세스를 수립합니다.
  • 운영 Telemetry를 에이전트 개선과 연결하는 사용자 의견 루프를 구축합니다.
  • 경험적 증거를 사용하여 체계적으로 실험을 추적하여 개선 결정을 안내합니다.

에이전트의 운영 우수성에 투자하는 조직은 비즈니스 요구에 따라 지속적으로 발전하는 신뢰할 수 있는 고품질 AI 기능을 통해 지속적인 경쟁 우위를 얻습니다.

좋게 설계된 프레임워크에 대한 사용자 의견을 공유하십시오.