В традиционной разработке программного обеспечения жизненный цикл разработки программного обеспечения (SDLC) предоставляет структурированный поэтапный подход к созданию приложений. Он устанавливает качество, уменьшает риск и предоставляет четкую дорожную карту от идеи до выпуска. Жизненный цикл разработки агентов (ADLC) — это аналогичная методология, разработанная для решения уникальных проблем создания автономных агентов.

Агенты — это не пассивные приложения; это системы, которые рассуждают, действуют и обучаются в среде динамического выполнения. Их недетерминистское поведение делает традиционные ОК недостаточными. Жизненный цикл разработки агентов (ADLC), отстаиваемый такими платформами, как Agentforce, решает эту проблему на пяти этапах: «Идея и дизайн», «Разработка» («внутренний цикл»), «Тестирование и проверка», «Развертывание» и «Непрерывный мониторинг и настройка» («внешний цикл»).

Этот документ служит универсальным руководством для разработчиков и корпоративных архитекторов, которые уже знакомы с тонкостями жизненного цикла разработки программного обеспечения (SDLC) и хотят расширить свой опыт до систем на основе агентов. Наша главная цель - облегчить быстрое понимание жизненного цикла разработки агентов (ADLC), выделив его ключевые отличия от традиционных методологий SDLC и предоставив структурированную основу для концептуализации всего процесса создания, развертывания и управления интеллектуальными агентами.

Документ состоит из трех отдельных глав, каждая из которых предназначена для прогрессивного создания ваших Knowledge и практических навыков:

• Глава 1: Инфраструктура ADLC. Данная глава представляет жизненный цикл разработки агентов (ADLC), подробно описывая его отличие от SDLC из-за уникальных проблем разработки автономных агентов. Он создает основу для создания, разработки, тестирования и развертывания агентов.
• Глава 2: The Agentforce Platform. В этой главе рассматривается Agentforce, объединенная платформа, которая упрощает и ускоряет весь жизненный цикл разработки агентов. Agentforce предлагает инструменты для проектирования агентов, обработки данных, обучения модели, развертывания и постоянного мониторинга, упрощающие сложные задачи и повышающие эффективность.
• Глава 3 Внедрение Pro-Code. Данное руководство использует инструменты прокодирования Agentforce для предоставления практических, пошаговых инструкций и реальных примеров для разработки агентов. Она охватывает весь жизненный цикл разработки агентов, от прототипирования и создания функций до развертывания модели, настройки производительности и обслуживания, предоставляя разработчикам навыки создания готовых к производству агентов.

Цель этого документа - предоставить вам теоретические и практические Knowledge инструментов прокодирования Agentforce. Вы научитесь создавать, развертывать и отслеживать агентов эффективно, безопасно и надежно, получив универсальное понимание ADLC и максимально используя потенциал Agentforce в разработке интеллектуальных агентов.

Недетерминистский характер агентов на основе искусственного интеллекта требует специализированной системы разработки. Данная глава описывает эту структуру, представляя жизненный цикл разработки агентов (ADLC). В настоящей главе дается всеобъемлющий обзор пяти основных этапов ЦОД, от первоначальных идей и проектирования до постоянного мониторинга и настройки. Данная глава устанавливает фундаментальные Knowledge, необходимые для создания надежных и надежных агентов.

Данный раздел соотносит концепции SDLC с пятью этапами ADLC.

Это базовый этап, на котором определяются стратегическая цель и операционные границы агента. Хорошо структурированный этап проектирования является самым важным шагом для успеха, поскольку он преобразует бизнес-потребность в технический образец. Процесс проектирования обеспечивает не только функциональность, но и ответственность агента и его соответствие ожиданиям пользователя. Это место, где «что» и «почему» устанавливаются перед написанием любого кода.

1. Определение агентских целей и возможностей: Сперва необходимо четко определить основную цель агента и конкретные измеримые задачи, которые он будет выполнять. Это предполагает определение его роли (например, «помощник по обслуживанию клиентов»), его основных функций (например, «резервирование встреч», «ответы на вопросы о продукте») и показателей успеха для каждого.
2. Установка персон и этических поручней: Этот этап включает создание личности агента и определение ее этических границ, чтобы обеспечить ее надежность и безопасность. Он устанавливает тон агента (например, «формальный», «дружественный») и применяет строгие правила для предотвращения вредных, предвзятых или недопустимых ответов.
3. Контекст карты и понимание: Необходимо определить сведения, которые должны быть понятны агенту, и не забывать об их эффективности. Это включает определение объема его базы Knowledge и разговорной памяти, что позволяет ему вести согласованные многооборотные разговоры.
4. Идентификация инструментов и системных интеграций: Это включает инвентаризацию внешних систем, API и источников данных, с которыми агент должен подключиться для выполнения задач. Каждый инструмент (например, API бронирования, база данных клиентов) определяется, а его функция соотносится с определенной возможностью агента.
5. Планирование расширения «человек в цикле»: Крайне важно определить условия, при которых агент переходит на человека. Это включает просмотр потенциальных точек сбоя и диалоговых тупиков, чтобы определить, когда агент должен перейти к оператору-человеку. В дизайне должно быть описано, как эта передача будет выполняться для обеспечения передачи достаточного контекста, чтобы ее можно было быстро использовать для обеспечения безупречного взаимодействия с клиентом.

Это этап практического создания, когда проектный образец превращается в функциональный агент. Разработчики создают агента, подключают его к инструментам и предоставляют ему необходимые данные для выполнения своих обязанностей. Этот повторяющийся "внутренний контур" построения и доработки - место, где агент по-настоящему оживает.

1. Настройка логики агента и принятие решений: Этот этап включает формирование аргументации агента посредством подключения его инфраструктуры принятия решений к контексту, инструментам и источникам данных. Роль разработчика заключается в определении поведения агента посредством создания API или повторного использования существующих API, настройки операционных ограждений и определения способа выбора и использования доступных инструментов для выполнения сложных многоэтапных задач.
2. Напоминания инженера и точные настройки моделей: Персона агента, инструкции и ограничения кодируются посредством тщательной оперативной инженерии. Этот процесс включает создание основного напоминания, направляющего модель большого языка (LLM), и, для более расширенных способов использования, точную настройку модели на основе данных домена для повышения ее производительности.
3. Интеграция и безопасность инструментов искусственного интеллекта: Функции и API, определенные на этапе проектирования, подключены к агенту. Используя SDK, разработчики завершают существующие функции или создают новые, обеспечивая их безопасный вызов агентом и наличие надлежащей проверки подлинности и обработки ошибок.
4. Создание данных и ожидаемых продаж RAG: Чтобы расширить возможности агента внешними Knowledge, разработчики создают конвейеры данных для Retrieval-Augmented Generation (RAG). Это предполагает подключение и индексацию данных из таких источников, как векторные хранилища, связанные базы данных, графические базы данных или внутренние документы, что делает эти сведения доступными агенту для предоставления точных контекстуальных ответов.

Тестирование агентов искусственного интеллекта вносит изменение парадигмы от детерминистской проверки традиционного программного обеспечения. Хотя обычное приложение проверяется на корректность - конкретный ввод должен привести к одному ожидаемому результату - недетерминистская природа агента требует более сложного подхода. Целью является не проверка одного правильного ответа, а обеспечение соответствия поведения агента намеченной цели, надежности от непредвиденных вводных данных и надежности в диапазоне приемлемых результатов.

1. Единичное тестирование: Этот уровень фокусируется на детерминистских компонентах агента, не связанных с искусственным интеллектом. Она включает традиционное тестирование единицы измерения для проверки корректной работы каждого отдельного инструмента и функции изолированно, обеспечивая надежный фундамент перед применением сложных рассуждений агента.
2. Сквозное тестирование (E2E): На этом этапе оценивается способность агента достигать целей в реалистичных сценариях, что является критически важным, учитывая его недетерминистский характер. Вместо проверки точного вывода эти комплексные тесты проверяют успешность выполнения задач агентом и отсутствие ухудшения производительности при внесении изменений.
3. Проверка состязательности и надежности: Это практика намеренной попытки сломать агента, чтобы заранее обнаружить его слабые места. Тестировщики используют двусмысленные запросы, вредоносные напоминания и другие краевые обращения, чтобы выявить уязвимости и обеспечить устойчивость и безопасность агента под давлением.
4. Оценка состояния человека в цикле (HITL): Поскольку автоматические тесты не могут измерить нюансы, например, тон или поток разговора, этот этап зависит от отзывов людей. Тестировщики взаимодействуют с агентом, чтобы оценить его ответы на полезность и общее взаимодействие пользователя, предоставляя важные данные для точной настройки его поведения.
5. Тестирование производительности и масштаба: Это важный шаг для предотвращения преград производительности до их влияния на пользователей. Этот процесс имитирует реалистичные сценарии пикового использования, чтобы обеспечить беспрепятственную и предсказуемую обработку больших объемов агентами и приложениями. Она проверяет правильность, масштабируемость и масштабируемость решения.

Развертывание агента на основе искусственного интеллекта является управляемым процессом, направленным на обеспечение надежного и повторяемого взаимодействия пользователей с проверенным агентом. Это требует структурированного подхода, который перемещает агента из актива, управляемого версией, в оперативную отслеживаемую службу.

1. Упаковка и управление версиями: Все определение агента, включая его напоминания и инструменты, записывается в качестве метаданных в файл и сохраняется в системе контроля источников, например, Git. Таким образом создается единый источник истины и проверяемый журнал всех изменений.
2. CI/CD-конвейеры: Путь к производству автоматизирован, чтобы исключить человеческую ошибку и обеспечить последовательность. Эти ожидаемые продажи автоматически продвигают агента в средах разработки, тестирования и производства, выполняя конечные тесты на каждом этапе, чтобы действовать как ворота качества.
3. Поэтапные стратегии развертывания: Чтобы минимизировать риск, новые версии агентов выпускаются для небольшого набора пользователей, использующих сначала стратегии, например, выпуски Canary. Это позволяет отслеживать производительность в реальном мире перед полным развертыванием с возможностью быстрого восстановления при обнаружении проблем.
4. Активация и управление: Важнейшим этапом развертывания агента является безопасная активация агента с соответствующими полномочиями и обеспечение его подключения к инструментам мониторинга. Это обеспечивает немедленный доступ к состоянию здоровья и производительности вновь развернутого агента с момента его активации.

Развертывание - это не конец жизненного цикла разработки агента, это начало его непрерывного "внешнего цикла". Агенты — это динамические системы, работающие в непредсказуемых реальных условиях. Этот этап предназначен для наблюдения за оперативной производительностью агента, сбора важных данных из его взаимодействий и использования этих данных для систематического уточнения и повышения эффективности, безопасности и действенности в динамике.

1. Мониторинг производительности в реальном времени: Это практика отслеживания ключевых операционных показателей агента во время его взаимодействия с пользователями. Панели мониторинга используются для мониторинга задержек, расхода маркеров (стоимости) и уровня ошибок API, предоставляя немедленное высокоуровневое представление о здоровье и эффективности агента.
2. Analytics поведения и успеха: Это предполагает анализ журналов разговоров, чтобы понять, как агент фактически выполняет свои обязанности. Он фокусируется на отслеживании уровня выполнения задач, определении распространенных точек сбоя или разговорных «тупиков» и измерении качества обслуживания пользователей, чтобы определить успешность достижения целей агентом. В качестве примера для агентов службы он может предоставить показатели по частоте и причине перехода агента к человеку.
3. Интеллектуальная настройка и настройка: Это активный процесс использования важных данных из мониторинга для улучшения агента. Это может быть от оперативной разработки до оптимизации инструмента.
4. Расширение RAG под управлением данных: Качество базы Knowledge агента постоянно улучшается на основе реальных запросов. Мониторинг может показать, что агент испытывает трудности с определенными темами, что приводит к настройке источников данных или процесса поиска (RAG Refinition) для повышения точности ответов.
5. Непрерывное обучение и адаптация: Это предполагает создание цикла обратной связи, где производственные данные используются для повышения интеллектуальности агента. Посредством маркировки журналов взаимодействия — либо с помощью человеческого надзора, либо на основе меток на основе LLM — создается рекомендованный набор данных, который можно использовать для точной настройки базовой модели и рекомендации дальнейших усовершенствований

Agentforce поддерживает каждый этап ADLC посредством интегрированного инструментария для проектирования, разработки, тестирования, развертывания, мониторинга и аналитики — и всё это в рамках единой объединенной платформы для быстрого создания и тестирования надежных агентов.

Agentforce ADLC основана на следующих руководящих принципах:

• Создано для низкокодового и прокодированного: Поддержка развертывания на основе конфигурации (низкий код) и программной расширяемости (прокод).
• Постоянные циклы помощи и обратной связи на основе искусственного интеллекта: Собирает и анализирует диалоговые данные для информирования агента о настройке для постоянного улучшения на основе искусственного интеллекта.
• Тестовая разработка на всех уровнях: Тщательное тестирование на всех этапах, проверка детерминистских компонентов посредством традиционного тестирования единиц и предоставление новых подходов к тестированию рассуждений агентов и недетерминистского поведения.
• Обозримость для руководителей и ЛОБ: Предоставление показателей стоимости, использования и производительности для оперативных и исполнительных заинтересованных лиц.

В этой главе показано, как Agentforce поддерживает каждый этап ADLC в рамках одной объединенной платформы.

Идея

Этап идеи является базовым этапом ADLC, на котором формулируются начальное видение и требования к агентам. Это предполагает глубокое изучение проблемы, определение потенциальных решений и определение основных функций агента.

Начните процесс идей агента, определив его ключевые атрибуты:

1. Цель/цель: Определите основную цель агента. Какая конкретная проблема должна быть решена или какая задача должна быть решена? Кому должен служить агент? Это должно быть краткое и поддающееся количественной оценке заявление, которое будет направлять весь процесс развития.
2. Персона: Разработайте подробную персону для агента. Это включает определение его подлинности, стиля общения и роли, которую он будет играть во взаимодействии с пользователями или другими системами. Учитывайте его тон, уровень формальности и любые конкретные характеристики, которые сделают его эффективным в заданном контексте.
3. Схема: Определите соответствующие агентские схемы и стратегии внедрения и свяжите их с ними. Это касается архитектурных проектов или рекомендаций, которые могут использоваться в структуре и поведении агента. "Агентские схемы и внедрение в Salesforce Agentforce: Технический документ», служит ценным ресурсом для этого этапа, предлагая важные данные об эффективной разработке агентов на Salesforce Platform и Agentforce.

Дизайн

Этап проектирования преобразует концепции из идеи в подробный образец создания агента. Это включает определение архитектуры агента, потоков пользователей, моделей взаимодействия и технических характеристик, например, тем, инструментов и ограждений.

На этапе проектирования вы создадите подробный образец создания агента, который включает:

• Дизайн агента: Определите внутреннюю структуру агента, включая его компоненты, модули и способы их взаимодействия. Это может включать определение базы Knowledge, конфигурации и логики для управления поведением агента, компонентами обработки естественного языка (NLP) и точками интеграции с другими системами.
• Потоки пользователя/проектирование взаимодействия: Соотнесите полное путешествие пользователя и взаимодействия агента. Определите потоки разговора, деревья решений, обработку ошибок и механизмы обратной связи для создания интуитивных эффективных взаимодействий.
• Технические характеристики: Задокументируйте технические нефункциональные требования к агенту, например, показатели производительности, рекомендации по масштабируемости, протоколы безопасности и характеристики интеграции.
• Прототипирование и макеты: Создайте визуальные представления или интерактивные прототипы интерфейса и взаимодействий агента. Это позволяет провести раннее тестирование и обратную связь, помогая уточнить дизайн до начала полномасштабной разработки.
• Данные: При определении типа и источников данных, необходимых агенту, определите наборы данных, API, базы данных и хранилища, к которым агент должен получить доступ. В Agentforce сосредоточьтесь на том, какие данные предоставляются в качестве контекста, структурированные или неструктурированные, а также в режиме реального времени или пакетные. Платформа Agentforce создана с глубокой интеграцией с Data 360, что позволяет использовать как структурированные, так и неструктурированные данные из Salesforce CRM и других источников. Неструктурированное содержимое может быть нативно фрагментировано и индексировано для RAG. MuleSoft позволяет подключаться к внешним системам.
• Инструменты: Определите действия, которые должен выполнить агент. Используйте действия Agentforce для открытия инструментов, которые достигают бизнес-целей. Эти действия используют существующие активы Salesforce, например, «Напоминания посредством Конструктора подсказок», MuleSoft, Apex, Flows и API с характеристиками OpenAPI. Любое вызываемое действие может быть интегрировано в Agentforce и использовано агентом, что сделает все привычные инструменты разработки Salesforce легкодоступными как действия Agentforce.
• Вводные данные для агентов: В традиционном SDLC вводные данные указаны точно. В ADLC вводные данные часто являются естественными, недетерминистскими, репликами свободной формы. Соберите репрезентативный корпус реплик, которые должны дать соответствующие ответы.

Этап разработки фокусируется на переводе цели, возможностей и операционной области определенного агента, определенной на этапе «Идея и дизайн», в нового Agentforce Agent.

Чтобы помочь разработчикам создавать агентов, Agentforce предоставляет Agent Builder и Agentforce Developer Experience (AFDX). Эти базовые инструменты служат основными средами для создания и настройки агента.

• Конструктор Agent предоставляет пользовательский интерфейс для определения основных функций агента.
• AFDX предоставляет программный интерфейс для настройки и интеграции с другими системами.

Разработка и создание агента включает следующие этапы, которые можно выполнить посредством конструктора агентов или AFDX:

1. Определение образа: Важнейшим аспектом создания агента является создание отдельной персоны. Для этого необходимо настроить:
   • Описание агента: Подробное описание роли, целей и конкретных задач обслуживания клиентов, для которых он создан.
   • Тон: Стиль общения агента, уровень сопереживания и любые определенные рекомендации по фирменному стилю, которых он должен придерживаться.
2. Определение тем и действий агента: Чтобы сделать агента сложным и способным к выполнению разнообразных задач, необходимо разделить его возможности на отдельные темы с соответствующими действиями.
   • Темы: Каждая тема может быть концептуально оформлена как отдельный специализированный агент с уникальным набором инструкций и инструментов.
     • Модульная архитектура. Модульный подход к темам позволяет повысить систематизацию и масштабируемость. Определяя несколько тем, агент может обрабатывать более широкий набор сложных сценариев. Например, у агента могут быть разные темы для «Управление заказами», «Часто задаваемые вопросы», «Техническая поддержка» и «Запросы для счета».
   • Инструкции по теме (леера): Каждая тема содержит определенные инструкции, действующие в качестве ограждений, определяющие диапазон того, что может обсуждать или делать агент в этой теме. Эти инструкции предотвращают отклонение агента от темы или предоставление неактуальных сведений. Они также помогают поддерживать последовательность и точность ответов.
   • Действия: Темы также оснащены "инструментами", которые представляют действия, которые может выполнить агент. Эти инструменты могут быть:
     • Информационные действия: Извлечение данных из базы Knowledge или внешней системы для ответа на запрос.
     • Транзакционные действия: Выполнение действий от имени пользователя, например, размещение заказа, обновление записи клиента или запуск процесса возмещения. Эти действия часто интегрируются в другие системы (например, CRM, ERP).

При оценке производительности и надежности агентов на основе искусственного интеллекта тестировщики часто сталкиваются с рядом проблем, которые могут ухудшить работу пользователей. Эти проблемы охватывают от неправильного толкования намерений пользователя до некорректного выполнения задач.

Распространенные сценарии сбоев агента

Создание надежного агента требует понимания того, как и где он может не выполниться. Следующая таблица разделяет на категории распространенные проблемы, возникающие во время жизненного цикла агента, от ошибочных рассуждений до плохого извлечения Knowledge. Используйте это как стратегическое руководство во время разработки и контрольный список во время тестирования, чтобы обеспечить не только функциональность, но и надежность и интуитивность агента для конечного пользователя. Эти сценарии сбоев должны помочь вам определить тестовые сценарии.

Рекомендации по тестированию агентов на основе искусственного интеллекта

Ниже описаны рекомендации, которые следует учитывать при тестировании Agents on Agentforce.

1. Улучшение тестовых данных
   Основой эффективного тестирования являются всеобъемлющие и реалистичные тестовые данные. Следуйте этим принципам, чтобы обеспечить наличие эффективных тестовых данных для тестирования агентов:

   • Достаточный охват: Стремитесь иметь достаточно тестовых данных для охвата всех важных тем и персон пользователей.
   • Реалистичные сценарии: Убедитесь, что тестовые данные точно представляют реальные взаимодействия пользователей.
   • Отрицательные и крайние обращения: Добавьте отрицательные сценарии тестирования (чего не должен делать агент) и краевые сценарии для оспаривания границ агента.
   • Тестирование ограждений: Добавьте определенные тестовые задания, предназначенные для проверки корректного функционирования ограждений агента.

2. Оптимизация тестовых запусков
   Чтобы максимально использовать тестовые ресурсы, оптимизируйте выполнение тестов. Ниже перечислены рекомендации по тестированию агентов Agentforce:

   • Объем тестового обращения: Разрешается использовать не более 1 000 тестовых случаев.
   • Выполнение параллельных тестов: Возможно одновременное выполнение до 10 тестовых заданий в течение 10 часов.
   • Управление ресурсами: Помните, что выполнение тестов использует кредиты. Убедитесь, что вы удовлетворены тестовыми данными, прежде чем инициировать запуск, во избежание ненужных затрат.

3. Результаты проверки
   Тщательно проанализируйте результаты тестирования для определения областей улучшения:

   • Анализ ошибок: Проверьте каждое неудачное тестовое задание отдельно. Внимательно ознакомьтесь с разницей между ожидаемыми и фактическими результатами, чтобы определить проблему.
   • Использование безопасной среды Sandbox: Тестовые агенты могут изменять данные CRM. Чтобы предотвратить непреднамеренные изменения оперативных данных, всегда выполняйте тестирование в непроизводственной среде, например, безопасной среде или стартовой организации.

4. Настройка и повторное тестирование
   Тестирование - это повторяющийся процесс, который продолжается по мере развития агента:

   • Тестирование продолжается: Выполнение тестирования после каждого изменения тем или действий агента. Это проверяет изменения и обеспечивает сохранение качества.
   • Расширение покрытия теста: Постоянно излечивайте и расширяйте набор данных новыми тестовыми обращениями, чтобы улучшить общее покрытие и надежность агента.

Тестирование подходов

Учитывая сложность агента, одного метода тестирования недостаточно. Универсальная стратегия проверки должна быть многоуровневой, сочетать разные подходы, чтобы охватить все, от предсказуемых, детерминистских действий до нюансов ее недетерминистского, диалогового поведения. Эти подходы предоставляют основу для систематической оценки каждого компонента агента, чтобы обеспечить его надежность, надежность и безопасность.

1. Тестирование вручную с помощью симулятора агента и средства отслеживания планирования

   • Цель: Это первый и часто самый простой способ тестирования агента. Он идеально подходит для небольшого набора образцов сценариев использования и получения фундаментального понимания поведения агента.
   • Механизм: Симулятор агента предоставляет управляемую среду, где разработчики и администраторы могут напрямую взаимодействовать с агентом. Этот симулятор позволяет детализировать сведения, предоставляемые администратором/разработчиком, предлагая важные данные о том, как агент обрабатывает вводные данные и создает результаты.
   • Пособия:
     • Быстрый отзыв
     • Легкое определение срочных проблем
     • Помогает понять логический поток агента

2. Автоматическое тестирование посредством центра тестирования или тестового набора AFDX

   • Цель: После того как ручное тестирование установило базовые функции, автоматическое тестирование становится решающим для масштабируемости, тщательности и регрессионного тестирования.
   • Механизм: Такие инструменты, как Центр тестирования или пакет тестов AFDX, позволяют создавать автоматические тесты на основе предопределенных образцов сценариев использования. Эти тесты созданы для проверки корректности работы инструкций агента и классификаций субагентов в более широком диапазоне сценариев.
   • Пособия:
     • Обеспечивает постоянную производительность
     • Определение тонких ошибок
     • Поддержка непрерывных процессов интеграции/непрерывного развертывания (CI/CD)
     • Предоставляет комплексное покрытие

3. Тестирование единиц действия посредством Apex и потоков

   • Цель: Для проверки детерминистской бизнес-логики, воплощенной в действиях агента. Хотя общее поведение агента не является детерминистским, действия агента часто основаны на таких технологиях, как Flows и Apex, к которым применяются стандартные практики разработки.
   • Механизм: Разработчики пишут единичные тесты для определенных потоков или классов Apex, которые вызывает действие агента. Эти тесты проверяют отдельные компоненты логики агента, обеспечивая получение ожидаемых результатов для заданного набора вводных данных.
   • Пособия:
     • Интеграция этих единичных тестов в ожидаемые продажи DevOps обеспечивает автоматическую систему безопасности
     • Проверяет, не вносят ли изменения или усовершенствования в логику действия регрессий
     • Обеспечивает надежность возможностей агента до их развертывания в производственной

4. Состязательное тестирование - Безопасность и обеспечение соблюдения ограждений:

   • Цель: Создание различных видов агентов требует серьезного внимания к безопасности и обеспечения их работы в рамках определенных параметров и ограждений. Это необходимо для предотвращения непреднамеренных действий, взлома данных или неправильного использования. Таким образом, цель состязательного тестирования заключается в активном выявлении и устранении этих потенциальных уязвимостей путем преднамеренного вызова агента вводными данными, предназначенными для обхода его механизмов безопасности, проверяя тем самым его надежность и устойчивость к манипуляциям.
   • Механизм: Соперническое тестирование реализуется путем создания сложных, неоднозначных или вредоносных вводных данных, которые раздвигают границы предполагаемого поведения агента. Хотя инструменты платформы, такие как функция «Ограждения» в конструкторе агентов, предоставляют важные данные о соблюдении инструкций, разработчики также должны создать настраиваемые состязательные тестовые сценарии, которые активно пытаются предотвратить сбой агента в управляемой среде.
   • Пособия: Этот подход систематически уменьшает риски безопасности и соответствия перед развертыванием. Определяя потенциальные точки сбоя, состязательное тестирование повышает надежность агента и обеспечивает его безопасную и корректную работу при взаимодействии с пользователями.

Итерационное тестирование в стартовых организациях и безопасных средах

«Внутренний цикл» — это критический повторяющийся цикл перехода агента из концепции в проверенный компонент, готовый к развертыванию. Этот процесс постоянной доработки требует создания и тестирования сред. Agentforce предоставляет эту инфраструктуру посредством стартовых организаций, которые являются изолированными временными средами для быстрого прототипирования, не влияющего на общедоступные среды, и безопасных сред, которые позволяют провести тщательное тестирование с реалистичными данными для ускорения пути к производству.

1. Разработка в стартовых организациях: Первоначальная разработка должна выполняться в стартовой организации. Инструменты, предоставляемые в среде разработки, например, Agent Builder и AFDX, используются здесь полностью. Скретч-организации являются сильными кандидатами для конвейеров CI/CD для выполнения единичных тестов, анализа кода и продвижения изменений в более высоких средах.
2. Развертывание в безопасной среде для тестирования реальных данных: После разработки базовых функций агента в стартовой организации разверните в безопасной среде. Безопасные среды являются копиями производственной среды, предлагая более реалистичный полигон.
   • Реальные данные по сравнению с Насмешка над данными: Хотя некоторые разработчики могут издеваться над данными в стартовых организациях для первичного тестирования, развертывание в безопасной среде позволяет тестировать с помощью «реальных данных». Это важно для оценки производительности агента в сценариях, полностью повторяющих фактические взаимодействия с клиентами. Использование более представительных данных в безопасной среде значительно ускоряет процесс разработки и настройки.
   • Полная или частичная безопасная среда для базовых данных CRM: В зависимости от объема данных и конкретных требований к тестированию, можно использовать полную или частичную безопасную среду.
     • Полная безопасная: среда Предоставляет полную копию производственной среды, включая все метаданные и данные. идеально подходит для широкого тестирования и настройки производительности с помощью больших наборов данных.
     • Частичная безопасная: среда Содержит поднабор производственных данных, часто достаточный для тестирования определенных функций или функций, где полный набор данных не является строго необходимым.
   • Управление: Knowledge и RAG Если агент полагается на базу Knowledge или модель Retrieval-Augmented Generation (RAG), примите все соответствующее содержимое в безопасную среду и выполните повторную индексацию. Это обеспечивает использование агентом текущей информации во время тестирования и возможность точного извлечения и синтеза содержимого.

Agentforce определяет агентов посредством метаданных, поэтому их можно развернуть с помощью стандартных процедур Salesforce, например, наборов изменений или AFDX. Этот этап подчеркивает безопасное и контролируемое развертывание посредством таких важных функций, как версия агента и отдельный этап активации, что обеспечивает стабильность системы и позволяет быстро восстановиться после проблем.

Чтобы развернуть и освободить нового агента, выполните указанные ниже действия.

1. Развертывание посредством API набора изменений/метаданных или AFDX: Процесс развертывания для агентов использует стандартные процедуры Salesforce, рассматривая агентов как метаданные. Это должен быть привычный процесс для всех, кто привык к разработке и развертыванию Salesforce. Использование наборов изменений или AFDX обеспечивает структурированный и последовательный подход к миграции конфигураций агентов между средами, например, из безопасной среды в производственную. Этот метод облегчает управление версиями и корректное управление изменениями, которые важны для поддержания стабильности и надежности системы.
2. Активация агентов после развертывания: После успешного развертывания системный администратор должен активно "активировать" агента. Развертывание просто размещает код и метаданные агента в целевой среде; активация - это этап, который делает агента работоспособным и доступным для использования. Это разделение позволяет контролировать развертывание и тестирование до активации агента и взаимодействия с конечными пользователями или другими компонентами системы.
3. Использование версии для безопасного управления агентами: Версия агента - это важная функция, которая значительно повышает безопасность и гибкость разработки и обслуживания агентов.
   1. Создание, тестирование и публикация новых версий: Рекомендуемая практика предусматривает создание новой версии агента при необходимости внесения изменений или усовершенствований. Эта новая версия может быть тщательно протестирована в безопасной среде, не влияя на активного агента. Новая версия, проверенная и считающаяся готовой, может быть опубликована и активирована вместо предыдущей операционной версии. Этот повторяющийся процесс позволяет постоянно совершенствовать и инновировать, минимизируя сбои.
   2. Откат к предыдущим версиям: Ключевым преимуществом версии является возможность быстрого и простого возврата к предыдущей стабильной версии, если возникает проблема с новым развернутым или активированным агентом. Если происходит ошибка (например, неправильное поведение агента или возникновение непредвиденной ошибки), администраторы могут просто откатиться к последней известной хорошей версии и активировать ее. Эта возможность обеспечивает критическую безопасность, позволяя быстро восстанавливать и минимизировать простой, обеспечивая тем самым непрерывность бизнеса и качество обслуживания пользователей.

Мониторинг агентов

Отслеживание сеансов Agentforce - это открытая расширяемая модель, созданная на основе Data 360, которая собирает комплексные взаимодействия агентов. Отслеживание сеансов Agentforce принимает данные из разных источников (начиная с журналов механизма рассуждений) и объединяет все под кодом сеанса.

Модель данных отслеживания сеансов (STDM) предоставляет подробные сведения о том, что произошло во время сеансов агента, включая:

• Пошаговые взаимодействия
• Выполнения механизма обоснования
• Действия, напоминания и вводы/выводы шлюза
• Сообщения об ошибках
• Итоговые ответы

STDM является важным инструментом, помогающим разработчикам:

• Отладка настройки агента и проблем конфигурации во время сборки.
• Узнайте, почему определенные тестовые задания не удались во время пакетного тестирования.
• Узнайте, почему агент не может обработать набор вопросов пользователей или выходит за рамки темы.

Разработчики должны использовать данные трассировки этого сеанса для наблюдения, мониторинга, исследования и устранения неполадок событий, инцидентов и схем поведения агента.

STDM содержит объекты озера данных (DLO) и объекты модели данных (DMO), которые хранят подробные журналы поведения агента. Метаданные о каждом вызове LLM, выполненном механизмом рассуждения, могут быть объединены с отзывами или показателями ограждений. Данные поступают в DLO в Data 360 и соотносятся с применимыми DMO.

Разработчики могут получить доступ к этим данным и важные данные, выполнив запросы и отчеты по STDM. Компоненты STDM описаны ниже.

ERD модели данных отслеживания сеансов Agentforce

Оптимизация Agentforce

Agentforce Optimization - мощная функция, призванная повысить производительность агентов на основе искусственного интеллекта, предоставив подробные сведения о взаимодействиях с пользователями. Созданная на основе аналитических возможностей модели данных отслеживания сеансов (STDM), она позволяет администраторам и разработчикам понимать темы пользователей, схемы занятости и эффективность резолюций агентов.

Ключевые аспекты оптимизации Agentforce включают:

• Моментальные данные: Agentforce Optimization расширяет STDM, представляя "Моменты", представляющие взаимодействия, ориентированные на определенное намерение или запрос пользователя во время сеанса. Эти детализированные данные позволяют детально проверять все аспекты взаимодействия, от первичного запроса пользователя до разрешающей способности агента.
• Автоматическая обработка момента: Моменты создаются ежедневно, а потом кластеризуются и помечаются еженедельно всеми активными агентами посредством расширенной широкоязыковой модели (LLM). Эта сегментация упрощает запрос и предоставляет важные данные о разных фасетах сеансов агента.
• Запрос и анализ: Пользователи могут запрашивать «Моменты» на основе тегов, рейтингов качества и других критериев. Это позволяет оценивать занятость пользователей посредством таких показателей, как продолжительность момента и оценки качества релевантности, помогая определить области для улучшения.
• Объединенная модель данных: Оптимизация Agentforce использует объединенную модель данных отслеживания сеансов (STDM), которая собирает каждое зарегистрированное событие в сеансе, включая отдельные обороты разговора. Все соответствующие объекты инициализированы при включении STDM в настройках.

Анализируя взаимодействия агентов на основе искусственного интеллекта, оптимизация Agentforce дает возможность пользователям определить области для улучшения и уточнить конфигурации, чтобы они лучше соответствовали потребностям пользователей.

Дополнительную информацию см. в разделе Модель данных для Agentforce Optimization.

Эта глава является практическим руководством для разработчиков прокода. Здесь показано, как быстро и безопасно создавать, тестировать и развертывать агентов с Agentforce DX (AFDX) и нашим Python SDK. Мы пройдем весь жизненный цикл, от первоначального создания до агента под управлением версии, используя мощную комбинацию AFDX и Python SDK.

В следующих примерах будут использованы два ключевых набора инструментов, предназначенных для создания агентов и управления ими на платформе Agentforce. Рекомендуется фундаментально разобраться в этих инструментах, чтобы максимально эффективно использовать данное руководство.

1. Agentforce DX (AFDX): Для управления жизненным циклом

Agentforce DX расширяет знакомый набор инструментов Salesforce Developer Experience (SFDX), включительно с расширениями Salesforce CLI и VS Code, для поддержки всего жизненного цикла разработки агента. Используется для управления агентом в качестве метаданных, управляемых версией, автоматизации тестирования в командной строке и организации развертываний между безопасными средами разработки и производственной средой.

Дополнительные сведения см. в разделе: Начало работы с Agentforce DX Development.

2. Agentforce Python SDK: Для создания агента

Python SDK предоставляет программный интерфейс для «внутреннего цикла» разработки. Он позволяет определить логику рассуждения агента, подключить его инструменты и управлять шаблонами напоминаний напрямую в знакомой среде Python, упрощая базовый этап создания ADLC.

SDK доступен в PyPI: https://pypi.org/project/ agentforce-sdk/.

Полный текст проекта доступен здесь:
https://github.com/akshatasawant9699/ADLC_Whitepaper.

Этот базовый этап определяет цель, образ и базовые возможности агента. Он включает в себя ответы на критические вопросы архитектору "мозга" агента до написания кода. В данном примере мы разрабатываем агента для Coral Cloud Resort.

• Миссия: Агент выступает в качестве менеджера курорта, обрабатывая жалобы клиентов, управляя расписаниями сотрудников и обеспечивая безупречную работу курорта.
• Персона: Агент имеет полезный, профессиональный и разговорный тон.
• Инструменты и возможности: Агенту нужен доступ к системам резервирования, программному обеспечению планирования сотрудников и курортным политикам.
• Логика решения: Агент использует темы, созданные на основе искусственного интеллекта, для определения намерения пользователя и создания соответствующих действий.

С помощью Agentforce DX этап проектирования преобразуется в осязаемый файл спецификации: Agentforce DX: Создание спецификации агента. Первым шагом на пути прокодирования является создание файла agentSpec.yaml. Файл YAML собирает базовый дизайн агента, включительно с его ролью, актуальными сведениями о компании и созданным на основе искусственного интеллекта списком тем, определяющих задачи, которые он может обработать.

Используйте Salesforce CLI для создания этой характеристики посредством интерактивных напоминаний. Чтобы начать создание агента посредством Agentforce DX, выполните следующие действия:

Вам нужно указать конкретные сведения, определенные на этапе идеи:

• Тип агента: Клиент
• Имя компании: Coral Cloud Resorts
• Описание компании: Coral Cloud Resorts предоставляет клиентам исключительные действия назначения, незабываемые впечатления и услуги резервирования, все подкрепленные обязательством предоставить первоклассное обслуживание клиентов.
• Роль агента: Менеджер курорта отправляет жалобы клиентов, управляет расписаниями сотрудников и обеспечивает безупречную работу всех процессов.

Выполнение этой команды создает файл agentSpec.yaml в каталоге спецификаций проекта DX. Файл содержит сведения, предоставленные вместе со списком тем, созданных на основе искусственного интеллекта, которые содержат имя и описание каждой темы. При необходимости просмотрите и отредактируйте файл для настройки возможностей агента.

Таким же образом, внедрение Python SDK использует интерактивную коллекцию спецификаций для автоматического создания тем агента с соответствующими полями области, обязательными для совместимости SDK.
Кроме того, он создаст полный файл JSON спецификации агента, который будет использоваться для создания агента на этапе 2.

Этап разработки сосредоточен на создании базовых компонентов агента: механизма рассуждения, инструментов, которые он может использовать, и его базы Knowledge. Agentforce абстрагируется от многих сложностей, что позволяет разработчикам сосредоточиться на бизнес-логике.

Данный раздел содержит два прокодированных подхода для этапа разработки Agentforce. Во-первых, использование Agentforce DX, а во-вторых, Python.

Agentforce DX: Создание агента на основе спецификации

Как только файл agentSpec.yaml будет готов, создайте агента в организации Salesforce. Выполните эту команду, чтобы создать агента и синхронизировать связанные с ним метаданные с локальным проектом DX:

При появлении запроса примите имя API по умолчанию Resort_Manager. Команда анализирует характеристику, создает агента и извлекает метаданные. Метаданные содержат Bot, BotVersion и GenAiPlannerBundle, которые добавляют интеллектуальный интеллект на основе искусственного интеллекта и ссылки на темы и действия агента.

Прежде чем создать структуру агента, добавьте флажок -- предварительного просмотра для создания локального файла JSON, содержащего сведения о типе агента, который будет создан LLM, включая предложенные действия. Например:

Дополнительные сведения см. в разделе Создание агента из проекта DX в Trailhead.

Agentforce Python SDK: Определение определенных инструментов

Agent SDK облегчает тестирование агентов, создавая имитации действий. Эти инсценировки действий в конечном итоге должны быть заменены реальными действиями в Salesforce. Salesforce предлагает ряд функций платформы, включая потоки, Apex, шаблоны подсказок и API, все из которых можно инкапсулировать как действия Agentforce.

Ниже указан высмеянный фрагмент кода действия для иллюстрации возможного внешнего вида действия Agentforce.

Внедрение устанавливает подключение к Salesforce, создает экземпляр агента и определяет настраиваемые инструменты и действия, которые агент может использовать для взаимодействия с внешними системами и выполнения определенных бизнес-функций.

Как мы уже говорили выше, тестирование агента более сложное, чем традиционное программное тестирование. Требуется проверка поведения, аргументации и надежности в разных сценариях. Это включает единичное тестирование для отдельных инструментов, комплексное тестирование для разговоров и состязательное тестирование для поиска уязвимостей.

Agentforce DX предоставляет высокоуровневый бизнес-процесс для создания, развертывания и выполнения тестов в дополнение к центру тестирования и прямому API тестирования. Данный раздел демонстрирует выполнение тестов с Agentforce DX.

Agentforce DX: Выполнение теста агента

Используйте Agentforce DX для выполнения предопределенных тестов агентов напрямую из командной строки. Это идеально подходит для интеграции тестирования агентов в современные процессы DevOps.

Agentforce Python SDK: Имитация E2E и состязательных тестов

Концептуально, Python SDK позволяет сценарным разговорам имитировать комплексные тесты (E2E) и проверять аргументацию агента.

Agentforce Python SDK с Salesforce Testing API

Внедрение Python SDK использует комплексное тестирование с помощью Salesforce Testing API и метаданных AiEvaluationDefinition, создавая структурированные тестовые сценарии с ожиданиями для последовательностей тем, последовательностей действий, сопоставления строк и показателей качества. Система создает определения метаданных XML, которые можно развернуть в Salesforce для автоматического тестирования и проверки агентов.

После проверки агент развертывается в производственной среде. На этом этапе Agentforce DX играет решающую роль в содействии управлению метаданными агентов и их перемещению между различными организациями (например, безопасными средами и производственными средами). Развертывания агента создают новую версию агента, а агент начинает работу только после его явной активации. Это предоставляет полный контроль над временем выпуска новой версии агента.

Agentforce DX: Развертывание метаданных агента

Стандартная структура проекта Salesforce DX систематизирует метаданные агента в каталоге force- app. Используйте стандартные команды развертывания проекта для развертывания агента и связанных тестов в целевой организации.

После создания или развертывания агента его можно открыть напрямую в пользовательском интерфейсе Agentforce Builder для проверки конфигурации посредством выполнения следующих действий:

После проверки развертывания агента его можно активировать. При возникновении непредвиденных проблем откатитесь к предыдущей рабочей версии агента.

Agentforce Python SDK: Развертывание агента

Внедрение использует проверенную спецификацию агента и развертывает ее в организации Salesforce, делая агента доступным для использования. Процесс развертывания включает создание агента, синхронизацию метаданных и проверку успешного развертывания.

ADLC - это непрерывный цикл; развертывание - не конец. Агенты - это живые системы, требующие постоянного мониторинга для отслеживания таких показателей, как задержка, стоимость и уровень успеха. Важные данные, полученные в результате мониторинга, используются для настройки и повышения производительности агентов посредством оперативной инженерии, оптимизации инструментов и уточнения баз Knowledge.

Платформа Agentforce предоставляет всеобъемлющие панели мониторинга и аналитические данные для поддержки этого важного этапа, обеспечивая дальнейшее развитие и совершенствование агентов в динамике.

Agentforce Analytics

Agentforce Analytics, обнаруженная в папке Agentforce (по умолчанию), использует Data 360 для предоставления важных данных о производительности агентов. Настраиваемая панель мониторинга и отчеты предлагают данные о внедрении, отзывах и использовании, помогая уточнить темы и действия для улучшения качества обслуживания пользователей. Вы можете детализировать результаты, нажав на диаграммы или связанные отчеты. Чтобы настроить, клонируйте существующие отчеты и измените клоны во избежание сбоев процессов аналитики.

Анализ реплик

Анализ реплик отображает, как пользователи Agentforce (по умолчанию) используют агентов, что они запрашивают и смог ли агент обработать эти запросы. Эти настраиваемые отчеты помогут вам уточнить темы и действия, чтобы агенты отвечали более эффективно и точно.

Agentforce Python SDK: Мониторинг посредством интеграций Data 360

Внедрение Agent SDK использует расширенный мониторинг и аналитику с коннектором Data 360 Python, устанавливая подключение к Salesforce Data 360, запрашивая показатели производительности агента и создавая панели мониторинга комплексного мониторинга.
Система отслеживает время ответа, уровень успеха, качество обслуживания пользователей и показатели стоимости, чтобы предоставить действенные важные данные для оптимизации агента.

Agentforce DX: Мониторинг агентов

Внедрение использует стандартные команды AFDX с управлением агентами на основе CLI, поддерживая актуальность агента с изменениями платформы и используя отзывы пользователей для постоянного улучшения.

См. хранилище GitHub здесь для внедрения ADLC посредством Agent SDK и AFDX.

Освоение жизненного цикла разработки агента требует соблюдения набора базовых принципов, обеспечивающих эффективность, надежность и стратегическое соответствие. В следующих руководящих принципах ключевые уроки, извлеченные из каждого этапа АДЛК, обобщаются в стратегическую основу для архитекторов и разработчиков.

1. Планирование и определение

Этот начальный этап фокусируется на согласовании цели агента с бизнес-целями и обеспечении его построения на прочной основе.

• Приоритизация влияния на бизнес: Начните с соотнесения потенциальных способов использования напрямую со стратегическими бизнес-целями. Используйте матрицу приоритетов для оценки потенциального влияния и начните с одного сфокусированного сценария использования с четкими КПЭ.
• Раннее вовлечение заинтересованных лиц: Соберите важные данные о болевых точках и обеспечьте выравнивание.
• Использование важных данных: Агент хорош только своими данными. Используйте Data 360 для изучения доступных структурированных и неструктурированных данных, чтобы сообщить контекст и возможности агента. Просмотрите существующие отчеты и панели мониторинга, чтобы определить текущие тенденции, которые могут использоваться при выборе сценария использования.
• Использование инфраструктур для идей: Примените методы структурированных идей для мозгового штурма и настройки потенциальных приложений, например, конструкторского мышления или анализа SWOT.

2. Строительные агенты

Данный этап охватывает рекомендации по созданию высокопроизводительного и эффективного агента.

• Избежание слишком большого количества тем: Ограничьте количество тем, чтобы уменьшить риск создания похожих или накладывающихся тем, которые могут запутать агента.
• Сохранение инструкций и напоминаний краткими: Используйте простые прямые выражения и предоставьте примеры реплик, чтобы эффективно направлять агента.
• Использование переменных и детерминистских действий: Используйте эти инструменты для руководства поведением агента и оптимизации его производительности для более предсказуемых результатов.
• Сохранение результатов действий небольшими и краткими: Убедитесь, что ответы агента краткие и актуальные. Более длинные результаты используют больше контекста и создаются медленнее.
• Оптимизация действий для скорости: Создайте потоки и классы Apex для возврата минимальных обязательных данных. Стремитесь к меньшему количеству действий, необходимых для создания ответа путем предварительной обработки, где это возможно.
• Определение четкой области: Напишите соответствующие описания, инструкции и область для действий, чтобы агент не вызывал RAG (Retrieval-Augmented Generation) для вопросов, выходящих за рамки.
• Использовать гибридный поиск экономно: Рекомендуем использовать гибридный поиск только при крайней необходимости, так как он может отрицательно повлиять на задержку.

3. Тестирование, мониторинг и настройка

Этот повторяющийся этап имеет решающее значение для уточнения точности и производительности агента.

• Установка потока тестирования: Выполните последовательный цикл тестирования:
  1. Выполнить пакетный тест: Выполните комплексный набор тестов.
  2. Просмотр рейтингов/ошибок: Проанализируйте показатели производительности и определите сбои.
  3. Проверка ошибок: Изучите каждую строку сбоя, чтобы понять несоответствие.
  4. Обновить агента: Внесите необходимые поправки в агента или его данные оценки.
• Просмотр сведений об отслеживании сеансов: Используйте модель данных трассировки сеансов и проводник по взаимодействию Agentforce для выполнения анализа первопричин при обнаружении проблем или непредвиденных алгоритмов. Настройте агента на основе информации и продолжайте повторять агента.

Жизненный цикл разработки агентов представляет собой важнейшую эволюцию традиционных принципов разработки программного обеспечения, разработанных для эпохи интеллектуальных автономных систем.

• Эволюция, а не замена: Жизненный цикл разработки агента расширяет и расширяет традиционное управление жизненным циклом приложения без его замены.
• Данные как гражданина первого класса: Данные играют более динамичную и центральную роль в разработке агентов.
• Специализированные инструменты и навыки: Требует новых инструментов и более широкого набора специализированных навыков в науке о данных, технике ML и разработке агентов.
• Непрерывное обучение: Разработка агента добавляет постоянное обучение и адаптацию самой системы.
• Будущее влияние: Agentic AI обещает дальнейшую автоматизацию и оптимизацию сложных ИТ-операций и бизнес-процессов разработки программного обеспечения.