Справедливость для агентского предприятия

Когда автономные агенты принимают решения, затрагивающие клиентов, сотрудников и сообщества, справедливость становится архитектурным качеством, отличающим ответственную автоматизацию от вредной автоматизации. Агенты Agentforce, действующие при ограниченном надзоре со стороны человека, закрепляют и усиливают предвзятость в беспрецедентных масштабах, превращая индивидуальные дискриминационные схемы в системное неравенство. Справедливость в агентских системах является первоклассной архитектурной задачей на Salesforce Platform, которая объединяет справедливость на основе искусственного интеллекта, доступность, человеческий надзор, алгоритмическую подотчетность и этическое управление в единый архитектурный столп.

Данная страница посвящена уникальным задачам справедливости для агентских архитектур. Основные принципы справедливости, требования к доступности и этические рамки управления охватываются компонентом справедливости. Здесь мы остановимся на рекомендациях автономного агента: обнаружение предвзятости для агентов, принимающих последующие решения, и схемы надзора, направленные на придание подотчетности статуса субстантивной, а не номинальной, прозрачность, позволяющая затрагиваемым пользователям оспаривать решения, и возможности платформы, например, уровень Einstein Trust, поддерживающие ответственную практику искусственного интеллекта посредством контроля данных и регистрации аудита.

Агенты Agentforce изучают схемы на основе данных обучения, источников извлечения и реальных взаимодействий. Когда эти источники содержат предвзятость, отражающую историческую дискриминацию или демографические диспропорции, агенты увековечивают эту предвзятость с алгоритмической эффективностью, затрагивающую тысячи пользователей, прежде чем человек обнаружит закономерность.

Предвзятость модели основания: Крупноязыковые модели (LLM) обучаются на основе данных в Интернете, содержащих предвзятое отношение общества к расе, полу, возрасту, инвалидности и другим защищенным характеристикам. Эти ошибки появляются в ответах агентов даже без четких дискриминационных инструкций и вряд ли могут быть полностью устранены только посредством оперативной разработки или тестирования; они отражают схемы, частично присущие учебным данным в Интернете. Например, агент по найму Agentforce может описать роли руководства с помощью схем мужского языка. Или агент обслуживания может по-разному реагировать на клиентов, чье имя сигнализирует об этническом или гендерном происхождении немногих – проблема качества представительства, которая может повлиять на взаимодействие клиента, независимо от результата любого решения.

Систематическое тестирование агентов на демографическую предвзятость с использованием разных персон, представляющих защищенные группы. Создайте идентичные запросы, изменяющие только демографические сигналы, например, имена, расположения или стили связи. Сравните ответы агентов по разным персонам на предмет различий в качестве, вариативности тона и несоответствия результатов.

Пробелы в представлении данных обучения: Если архивные данные управления взаимосвязями с клиентами (CRM) вашей организации недопредставлены в определенных сегментах клиентов, агенты Agentforce, обученные или обучаемые этим данным, будут плохо работать в этих сегментах. Агент по ранжированию интересов, обученный на основе данных о возможностях за десять лет, систематически недооценивает потенциальных клиентов из географий, которые группа сбыта исторически деприоритизировала, создавая цикл обратной связи, где алгоритмическая предвзятость усугубляет человеческую предвзятость.

Прежде чем использовать данные Salesforce для обучения агентов или заземления дополненного извлечения (RAG), проверьте демографическое представление. Определите недопредставленные группы и оцените, отражают ли пробелы в представительстве законные деловые различия или историческую дискриминацию. Уменьшить дисбалансы посредством дополнения данных или уменьшения явной предвзятости до развертывания агентов; некоторая остаточная предвзятость, как правило, сохраняется и обычно управляется посредством мониторинга и надзора в нисходящем направлении, а не устраненной до развертывания.

Предвзятость извлечения в системах RAG: Агенты Agentforce, использующие основные ответы RAG в базах Knowledge, сегментах Data 360 и записях Salesforce. Когда эти источники извлечения содержат предвзятое содержимое или отличаются по качеству в разных демографических группах, развернутый агент может перенести это предвзятое в опыт затрагиваемых пользователей. Чтобы уменьшить этот риск, рекомендуем провести аудит источников извлечения перед производством. Агент обслуживания, извлекающий статьи Knowledge, предлагающие подробное устранение неполадок для корпоративных клиентов, но только общие ответы для клиентов малого бизнеса, увековечат неравенство качества обслуживания, проблема справедливости, когда уровень клиента коррелирует с защищенными характеристиками.

Проверка баз Knowledge и источников извлечения на наличие пробелов в демографической представленности и несоответствий в качестве. Там, где пробелы трудно закрыть, обрабатывайте эти ограничения как ограждения для тех областей, где агент подходит. Убедитесь, что качество, полнота и точность документации сопоставимы во всех сегментах клиентов. Добавьте разные представления в примеры содержимого, а не стандартные ссылки на культуру большинства, которые отталкивают недопредставленных пользователей.

Предвзятость схемы взаимодействия: Агенты могут адаптировать поведение на основе диалоговых подсказок, соответствующих защищенным характеристикам. Мониторинг данной схемы является распространенной практикой даже после развертывания, поскольку некоторая динамика взаимодействия появляется из поведения пользователя, отсутствующего в данных обучения. Стиль общения, сложность языка и схемы времени могут сигнализировать о демографической информации. Агент, обрабатывающий формальные стили общения иначе, чем случайные стили, может непреднамеренно дискриминировать по признаку культурного происхождения, уровня образования или статуса родного языка.

Отслеживайте взаимодействия агентов в демографических группах на предмет последовательности поведения. Проанализируйте длину ответа, уровень сведений, маркеры вежливости и качество решения, стратифицированные по характеристикам пользователя. Неравенство предполагает предвзятость взаимодействия, которая требует исследования.

Усиление цикла обратной связи: Агенты, влияющие на собственные будущие данные обучения, создают самоусиливающуюся предвзятость. Например, агент маршрутизации, назначающий меньше ценных возможностей определенным территориям продаж, создает меньше данных об успешном выполнении для этих территорий. Это, в свою очередь, понижает их прогнозируемую вероятность успеха, что еще больше уменьшает маршрутизацию будущих возможностей к ним. Без вмешательства эта начальная предвзятость усугубляется с течением времени.

Определите циклы обратной связи, отслеживая изменения распределения решений в динамике. Когда определенные демографические группы получают систематически меньше положительных результатов, изучите, не приводят ли решения агента к несоответствию, оправдывающему будущие неблагоприятные решения. Прервайте циклы посредством человеческой проверки краевых обращений и периодического восстановления баланса.

Когда несколько агентов Agentforce работают вместе в цепочках оркестрации, предвзятость от одного агента становится входом в последующие агенты, создавая усугубляющие эффекты, когда небольшие начальные предвзятости усиливаются до значительных дискриминационных результатов.

Последовательные цепочки агентов: Когда вывод агента А становится вводом агента Б, есть риск, что предвзятые решения агента А ограничивают варианты агента Б таким образом, что увековечивают или усиливают дискриминацию.

Рассмотрите оркестрацию квалификации интереса:

Агент по исследованиям собирает Аналитику клиентов из веб-источников и журнала CRM.
Агент по оценке назначает рейтинг интересов на основе выводов исследовательского агента.
Агент маршрутизации назначает интерес территории на основе оценки.
Агент занятости персонализирует охват на основе всех предыдущих результатов агента.

Когда исследовательский агент систематически извлекает менее полные данные для определенной демографии клиентов (из-за пробелов в данных обучения или предвзятости извлечения), агент по оценке интерпретирует неполные сведения как отрицательные сигналы. Агент маршрутизации потом назначается территории с более низким приоритетом, а агент занятости предоставляет менее персонализированный охват. Эффект усложнения создает неравенство качества обслуживания, намного превышающее предвзятость любого отдельного агента.

Консенсус параллельного агента: Схемы, когда несколько агентов независимо друг от друга анализируют один и тот же ввод, а результаты агрегируются, предоставляют возможности усиления предвзятости, когда агенты предоставляют общий доступ к учебным данным или базовым моделям.

Если пять агентов независимо оценивают интерес, но у всех есть предвзятые данные обучения или предвзятость модели основы, консенсус не исправляет предвзятость, он просто проверяет ее. «Пять агентов согласились» предлагает ложную уверенность в дискриминационных результатах, когда у всех пяти одинаковая систематическая предвзятость.

Стратегии смягчения для предвзятости оркестрации:

Аудит вывода агента на каждом этапе: Зарегистрируйте полные вводные и выводные данные для каждого агента в цепочках оркестрации. При обнаружении предвзятости в конечных результатах проследите цепочку в обратном порядке, чтобы определить, какой агент ввел предвзятость и на каком этапе произошло усиление.

Создайте панели мониторинга CRM Analytics, отображающие распределения решений на каждом этапе оркестрации с разбивкой по демографии. Определите, где в цепочке возникают или расширяются диспропорции.

Разнообразие в обучении агентов и подсказках - Разнообразие уменьшает коррелированные ошибки, что уменьшает вероятность усиления предвзятости. При использовании схем консенсуса нескольких агентов расширяйте разнообразие:
Различные базовые модели, где это коммерчески возможно и поддерживается, например, посредством конфигураций Bring Your Own LLM (BYOLLM)
Разные источники извлечения в агентах
Различные оперативные инженерные подходы
Различные калибровки порога надежности
Просмотр человека в точках перегиба: Определите этапы оркестрации, на которых решения значительно сужают нисходящие варианты. Вставьте человеческую проверку в эти точки перегиба, даже если доверие отдельного агента высокое. Оркестрация создает возникающие эффекты, которые не собирают оценки надежности отдельных агентов.
Показатели справедливости на этап оркестрации: Не просто измерять справедливость конечных результатов. Вычисление демографического паритета, равных возможностей и неравномерного влияния на каждом этапе цепочки.

Если на этапе 1 отображается 90% демографического паритета, на этапе 2 — 85%, на этапе 3 — 78% и на этапе 4 — 70%, то каждый этап отображается приемлемым изолированно, но усугубляется неприемлемым итоговым неравенством. Поэтапные показатели выявляют смешивание до получения дискриминационных результатов.

Автоматические выключатели для сбоев оркестрации - Настройте логику оркестрации для остановки и распространения на людей, если:
Любая уверенность агента падает ниже порога, даже если агенты в нисходящем направлении уверены
Распределение вывода существенно меняется между этапами оркестрации
Цепочка решений встречает данные, не представленные в наборах обучения или проверки
Пользователь явно ставит под сомнение или оспаривает промежуточные решения

Оркестрация с участием нескольких агентов позволяет использовать сложные аргументы, но создает непрозрачные цепочки решений, в которых система подотчетности рассеивается и возникает предвзятость. Архитектурное внимание к поэтапному мониторингу справедливости и стратегическому надзору со стороны человека предотвращает превращение оркестрации в механизм усиления предвзятости.

Прежде чем развертывать любого агента Agentforce, принимающего последующие решения о пользователях, вычислите показатели справедливости в демографических группах. Сделайте оценку справедливости обязательным шлюзом развертывания, эквивалентным по полномочиям проверке безопасности.

Демографический паритет: Положительные результаты должны быть примерно одинаковыми для защищенных демографических групп. Если агент утверждает запросы на обслуживание для группы А на уровне 60%, а группы Б на уровне 40%, нарушается демографический паритет. Демографический паритет уместен в тех случаях, когда отсутствуют законные основания для различий в показателях результатов между группами.

Вычислите демографический паритет, разделив население на демографические сегменты, измерив уровень положительных результатов на сегмент и сравнив уровни в сегментах. Пробелы в соотношении документов с именованными ответственными за утверждение и обоснование.

Равные возможности: Уровень истинно положительных остается сопоставимым в группах. Агенты одинаково хорошо определяют квалифицированных лиц, вне зависимости от демографических характеристик. Прогнозируемая модель распознает кредитоспособных заявителей по одинаковым ставкам в защищенных группах, если базовая кредитоспособность одинакова.

Равные возможности зачастую являются более подходящим показателем, чем демографический паритет, при принятии решений об индивидуальной квалификации, где базовые ставки могут законно отличаться. Отслеживайте, систематически ли агенты пропускали квалифицированных кандидатов из недопредставленных групп. Если после смягчения сохраняются диспропорции, агент может не подойти для этого сценария использования.

Равные шансы: Уровень истинно положительных и ложно положительных результатов равен в группах. Это строгое определение, которое ограничивает как истинно положительные, так и ложно положительные показатели в демографии. Равные шансы предотвращают как упущенные возможности, сосредоточенные в определенных группах, так и ложные обвинения, сосредоточенные в определенных группах.

Для достижения равных шансов часто требуются отдельные пороговые значения решений для каждой демографической группы. В Соединенных Штатах при принятии решений, связанных с занятостью, корректировка рейтингов или установление различных минимальных рейтингов по защищенным классам запрещены в соответствии с разделом VII (Закон о гражданских правах 1964 года), поэтому при приеме на работу таким образом невозможно добиться равных шансов. В других контекстах и в других правовых системах возникают юридические вопросы относительно четкого дифференцированного режима, поэтому перед введением пороговых значений для конкретных групп обратитесь к юрисконсульту.

Коэффициент неравномерного влияния: Правило четырех пятых предоставляет порог проверки: Если какая-либо группа получает положительные результаты при доле менее 80% наиболее производительной группы, исследуйте наличие предвзятости. Соотношение 75% (например, 45% по сравнению с 60%) ниже порога в 4/5 и указывает на возможную дискриминацию, требующую оправдания или смягчения.

Анализ неравномерного воздействия является стандартным в трудовом законодательстве и все чаще применяется к системам искусственного интеллекта. Если паек падает ниже 80%, документируйте этапы исследования и исправления; если исправление не поднимает коэффициент, рабочие группы могут сделать вывод, что сценарий использования не подходит.

Индивидуальная справедливость: Подобные лица получают похожие прогнозы, независимо от принадлежности к группе. Два клиента с одинаковой кредитоспособностью, журналом покупок и занятостью получают одинаковые рекомендации по ограничению кредитов, независимо от демографических различий.

Индивидуальная справедливость важна с философской точки зрения, но операционально проблематична, поскольку «сходство» субъективно и зависит от контекста. Рекомендуем использовать принцип индивидуальной справедливости в качестве принципа проектирования для выбора и тестирования функций вместо строгого математического ограничения.

Две возможности платформы собирают данные для обнаружения предвзятости. Слой Einstein Trust записывает контрольный журнал generative-AI для каждого взаимодействия Agentforce: напоминания, отправленные модели, возвращенные ответы, использованные источники заземления и сигналы Trust, например, оценки токсичности. Отслеживание сеансов Agentforce записывает пошаговую аргументацию каждого решения. В совокупности они предоставляют данные, которые поддерживают обнаружение предвзятости и мониторинг справедливости; интерпретация этих данных является человеческим трудом и, как правило, требует наличия квалифицированных экспертов и выделенного времени.

Запись ответа: Trust Layer регистрирует напоминания, ответы модели и сигналы Trust для каждого генеративного взаимодействия. Используйте эти данные для анализа распределения прогнозов по демографическим группам. Создайте панели мониторинга CRM Analytics, которые сравнивают уровни утверждения, схемы рекомендаций и рейтинги риска по сегменту клиента.

Query Trust Layer регулярно регистрирует журналы: Используйте следующее напоминание: «Покажите мне все ценные прогнозы возможностей за последние 30 дней, сгруппированные по отрасли клиента, региону и размеру организации. Последовательны ли распределения прогнозов в сегментах или определенные сегменты систематически оцениваются выше/ниже?"

Сбор трассировки причин: Для агентов Agentforce отслеживание сеансов Agentforce записывает, как агент достиг своего решения, в то время как контрольный журнал Trust Layer собирает напоминания, ответы и источники заземления, в том числе, какие статьи Knowledge и записи Salesforce были извлечены. Просмотрите оба случая, когда пользователи сообщают о предвзятости, чтобы понять, какие источники данных, схемы извлечения или этапы рассуждения могли привести к предвзятости.

Следы рассуждений делают пост-специальный аудит справедливости более детальным и простым, чем в традиционных системах. Образец 100 решений агента, стратифицированных по демографической группе, и пусть проверяющие оценивают, сопоставимо ли качество рассуждений в группах.

Обнаружение аномалий: Настройте предупреждения, когда схемы решений агента значительно отличаются от базовых. Если уровень утверждения для определенного клиентского сегмента падает на 20% за неделю, запустите расследование. Внезапные смещения распределения могут свидетельствовать о Проблемах с качеством данных, отклонении модели или возникновении предвзятости, требующей немедленного внимания.

Создание настраиваемого мониторинга для предупреждения о сигналах справедливости: "Уведомлять, когда средняя продолжительность разговора агента обслуживания Agentforce для любого клиентского сегмента превышает 1,5 общего среднего значения за три дня подряд." Различия в продолжительности могут указывать на менее эффективное обслуживание определенных групп.

Шаблоны панели мониторинга справедливости: Создайте многоразовые шаблоны панелей мониторинга CRM Analytics, отслеживающие показатели справедливости для распространенных способов использования агентов. Добавьте вычисления демографического паритета, показатели равных возможностей, коэффициенты неравномерного влияния и диаграммы тенденций, отображающие динамику показателей в динамике. Предоставьте общий доступ к шаблонам в группах разработчиков агентов, стандартизирующих мониторинг справедливости.

При обнаружении предвзятости примените смягчение на соответствующем этапе на основе корневой причины.

Предварительная обработка данных: Исправьте предвзятость на уровне данных перед обучением агентов или индексацией RAG. Избыточная выборка недопредставленных демографических групп в учебных данных, обеспечивающих сбалансированное представительство. Синтезируйте дополнительные данные для недопредставленных групп посредством методов, например, метода синтетической переборки меньшинств (SMOTE), когда реальных данных недостаточно. Обратите внимание, что SMOTE интерполирует числовые табличные функции, поэтому он применяется к структурированным данным обучения CRM, а не к неструктурированному тексту, используемому для заземления RAG.

Проверьте данные Salesforce CRM на наличие демографических пробелов, прежде чем использовать их для обучения модели. Если архивные данные возможности перепредставлены определенными типами клиентов, измените баланс наборов обучения или используйте веса выборки, предотвращающие изучение агентами этого перепредставления в качестве сигнала решения.

Ограничения алгоритма в процессе обработки: Применяйте ограничения справедливости во время обучения модели, оптимизирующие точность и справедливость одновременно. Это может снизить исходную точность на 2-3%, значительно улучшив справедливость в группах. Там, где вы управляете обучением модели, обучение с ограничением справедливости часто является самым эффективным способом смягчения.

Для агентов Agentforce, использующих базовые модели, где невозможно изменить обучение, ограничьте поведение агента посредством системных подсказок: "Относитесь ко всем демографическим показателям клиентов одинаково профессионально и подробно. Предоставьте пояснения сопоставимой длины и качества вне зависимости от стиля общения с клиентом или фона".

Поправка порога после обработки: Там, где это законно, корректировка порогов принятия решений по демографической группе может выровнять показатели результатов после обучения модели. Например, агент утверждения может применить порог надежности 80% для одной группы и порог надежности 75% для другой, чтобы сместить основную предвзятость модели. Антидискриминационное законодательство серьезно ограничивает этот метод, и в некоторых правовых системах оно прямо запрещается в отношении некоторых решений (см. ниже).

Корректировка пороговых значений вызывает споры, поскольку она четко предусматривает дифференцированный подход к группам, а антидискриминационное законодательство во многих правовых системах ограничивает или запрещает ее. В Соединенных Штатах решения, связанные с занятостью, прямо запрещены: Раздел VII (Закон о гражданских правах 1964 года) запрещает корректировку рейтингов или использование различных контрольных показателей по защищенному классу, и никакие документально обоснованные основания не делают эту практику законной. Другие юрисдикции накладывают собственные ограничения, поэтому подтвердите правила, применимые к пользователям. В тех случаях, когда такая практика разрешена, документально обосновать применение пороговых значений для конкретных групп и подтвердить, что пороговые значения повышают справедливость, не создавая других дискриминационных последствий.

Обнаружение и удаление функций прокси: Выявление элементов, которые соответствуют защищаемым характеристикам и служат механизмами косвенной дискриминации. Распространенные прокси-серверы включают:
Прокси-клиенты почтового индекса для расы, этнической принадлежности и уровня дохода
Шаблоны имен, прокси для пола и этнической принадлежности
Доверенность по времени общения для религии и обязанностей по уходу
Прокси-серверы типа устройства для уровня дохода
Назначение территории может быть косвенным для демографического состава

Вычисление коэффициентов корреляции между всеми функциями модели и защищенными характеристиками. В высококоррелированных функциях оцените, оправдывает ли включение законное прогнозируемое значение или альтернативные функции могут предоставить аналогичный прогноз без косвенных эффектов.

Агенты Agentforce могут работать под надзором человека, чтобы проверка была не номинальной, а существенной. Соответствующий уровень надзора зависит от ставок решений, обратимости и нормативных требований.

Перенаправляйте последующие решения посредством человеческой проверки перед выполнением. Является ли решение достаточно значимым, чтобы требовать человеческой проверки, — это суждение на основе риска: взвесить серьезность потенциального вреда и вероятность его нанесения. Последующие решения часто возникают в регулируемых областях, например, в здравоохранении, финансовых услугах и государственном секторе, но они также возникают за их пределами. Распространенные контексты с высокими ставками включают:

Решения о найме - Наем, продвижение по службе, увольнение, вознаграждение, служебные аттестации
Кредитно-финансовые услуги - Кредитные утверждения, изменение лимитов, закрытие счетов, ценообразование
Здравоохранение - предложения по диагнозу, рекомендации по лечению, решения по покрытию
Юридические права: толкование договоров, урегулирование споров, доступ к услугам
Жилье - Проверка арендаторов, утверждения аренды, рекомендации по выселению

Создайте агентов Agentforce в этих контекстах для анализа, рекомендации и подготовки решений, требуя утверждения человеком перед выполнением. Позиционируйте агентов в качестве инструментов поддержки решений, дополняющих человеческое мнение, а не автономных лиц, принимающих решения, которые заменяют людей.

Настройте пороги надежности, запускающие проверку человека на основе неопределенности агента:

Высоконадежный (>90%) - агент работает автономно с полной регистрацией аудита
Умеренная уверенность (70-90%) - Агент рекомендует с человеческой проверкой перед действием
Низкая надежность (<70%) - Агент полностью ссылается на человека с контекстной сводкой

Калибруйте пороги с помощью производственных данных. Прогноз «70% надежности» выполняется примерно в 70% случаев при проверке. Некорректные оценки доверия подрывают Trust к механизмам эскалации.

Протестируйте калибровку, выбрав решения агента в каждом диапазоне надежности и вычислив фактический уровень успеха. Если «высоконадежные» решения успешны только в 75% случаев, перенастройте пороги или улучшите оценку надежности модели.

Если Agentforce не может решить запрос в заданных пределах, перейдите на людей. Убедитесь, что цель расширения имеет возможность помочь - маршрутизация в перегруженные очереди не уменьшает вреда.

Настройка триггеров расширения:

Очередь разговора — после 5-7 оборотов без разрешения, расширение
Прошедшее время — после 10 минут без разрешения, расширение
Настроение пользователя — когда пользователь выражает недовольство, расширяйте
Обнаружение повторов — когда агент повторяет одинаковый ответ, расширение

Настройте мультиканал для маршрутизации расширенных обращений в соответствующие очереди на основе навыков с полным контекстом разговора. Обучите агентов-людей эффективно справляться с расширениями, не требуя от пользователей повторения информации, уже предоставленной агенту.

Предоставьте авторизованным людям возможность переопределить любое решение Agentforce в любой момент с документированным обоснованием. Переопределения служат нескольким целям:

Исправление ошибок: Люди исправляют ошибки агентов, которые могут навредить пользователям или нарушить политику. Возможность переопределения предоставляет предохранительный клапан для автономных систем, работающих в сложных условиях, когда случаи переопределения неизбежны.
Обнаружение предвзятости: Если человек чаще других переопределяет отрицания Agentforce для определенной демографии, изучите обе возможности: агент может систематически ставить эту группу в невыгодное положение, а человек - исправлять ее, либо переопределители могут вводить новую предвзятость. Первая схема указывает на проверку агента, вторая - на обучение проверяющего.
Улучшение агента: Переопределения с обоснованием становятся учебными данными для улучшения агента. Выборка переопределенных решений и анализ причин разногласий человека с агентами. Внедрите схемы переопределения в оперативную настройку или переобучение модели.
Подотчетность: Переопределения назначают ответственность. Человек, переопределяющий решение агента, принимает на себя ответственность за результаты этого решения. Четкая подотчетность предотвращает разделение ответственности, когда все считают, что ИИ подотчетен и никто не берет ответственность на себя.

Назначение ответственности до развертывания, а не после инцидентов:

Ответственный за модель: Интерес науки о данных, отвечающий за справедливость, точность и поведение модели. Утверждение развертываний, реагирование на предупреждения о справедливости, авторизация обновлений. Ответственным за модель является именованное отдельное лицо, задокументированное в записях решений по архитектуре.
Ответственный за решение: Ответственный за продукт отвечает за выбор развертывания искусственного интеллекта для определенного сценария использования и за реальное влияние на клиентов. Ответственный за решение не может делегировать ответственность системам искусственного интеллекта.
Апелляционный орган: Совет по проверке этики или назначенная группа обрабатывает апелляции пользователей, считающих решения агента несправедливыми. Апелляционные процессы должны быть доступными, своевременными и иметь полномочия для отмены решений агентов.
Аудиторские полномочия: Группа по соблюдению, которая проводит периодические проверки агентов, работает в параметрах справедливости и может временно отстранить агентов, не соответствующих стандартам, до их устранения.

Задокументируйте все роли с именами, а не только должности, обеспечивая сохранение подотчетности посредством организационных изменений.

Когда агенты Agentforce принимают решения, влияющие на пользователей, эти пользователи заслуживают понятных объяснений, пропорциональных влиянию решения.

Архитектура нескольких уровней объяснения, обслуживающих разные аудитории:

Пояснения для пользователей: Рассуждения на обычном языке понятны без технических знаний. «Ваш запрос на обслуживание требует утверждения менеджера, поскольку запрошенная сумма (12 000 долларов) превышает ограничение авторизации (10 000 долларов). Утверждение менеджером обычно завершается в течение 24 часов или в рамках согласованного соглашения об уровне обслуживания (SLA)".
Бизнес-пояснения: Операционным пользователям отображаются ключевые факторы принятия решений с бизнес-контекстом. "Рейтинг интереса: 73/100. Основные положительные факторы: Размер компании (500 сотрудников), Активная занятость веб-сайта (12 посещений в течение 30 дней), Отраслевое соответствие (SaaS). Основные негативные факторы: Занятость MQL отсутствует, вне целевой области."
Технические пояснения: Специалисты по работе с данными видят сведения о модели: веса функций, надежная калибровка, версия модели, дата обучения, распределения ввода. Технические объяснения поддерживают отладку и расследования предвзятости.
Пояснения по аудиту: Группы соответствия видят полные трассировки решений: версия модели, точные вводные значения на момент принятия решения, все просмотренные источники данных, трассировка рассуждений, состояние конфигурации. Объяснения аудиторов поддерживают нормативные расследования и проверки справедливости, требующие точной реконструкции.

Отслеживание сеансов Agentforce записывает пошаговые рассуждения, лежащие в основе решений агента, в то время как уровень Einstein Trust записывает контрольный журнал оперативных и ответных действий, включая источники заземления. Вместе они позволяют обеспечить прозрачность на соответствующих уровнях сведений:

Прозрачность в реальном времени: Когда Agentforce принимает решение, отобразите сводную аргументацию пользователям: "Я рекомендовал продукт А на основе журнала покупок (3 похожие покупки), текущей рекламной акции (20% скидки) и доступности запаса (в запасе, отправка завтра)."
Подробное объяснение по запросу: Предоставьте "Почему вы рекомендовали это?" ссылка, позволяющая пользователям просматривать полную аргументацию, включительно со всеми извлеченными статьями Knowledge, просмотренными записями Salesforce и логикой принятия решений. Подробные объяснения формируют Trust и позволяют пользователям определять ошибки или предвзятость.
Историческая реконструкция: Когда пользователи оспаривают прошлые решения через несколько недель или месяцев, извлеките трассировки рассуждений сеанса и журнал проверки уровня Trust, включающий точное объяснение архивных решений. Архивная реконструкция поддерживает апелляции и нормативные расследования.
Анализ агрегированных схем: Пример трассировки рассуждений, стратифицированных по демографическим группам, для анализа соответствия качества решений. Просмотрите 100 трассировок из каждого клиентского сегмента и оцените, сопоставимы ли глубина рассуждений, качество источников и логика в группах.

Отображение уверенности в прогнозе в соответствующих терминах, избегая исходных оценок вероятности неправильного толкования пользователями.

Вместо «73% надежности» сообщите уверенность следующим образом:

Высоконадежный — «Я уверен, что эта рекомендация уместна на основе похожих случаев»
Умеренная уверенность — «Эта рекомендация, скорее всего, уместна, но рекомендуется проверка менеджером»
Низкая уверенность – "Это необычная ситуация. Я расширяюсь до специалиста, который может дать лучшие рекомендации"

Объясните, что означает уровень надежности: "Высоконадежные рекомендации корректны примерно в 95% случаев на основе архивной проверки."

Для решений средней или низкой надежности объясните, какая дополнительная проверка будет: "Поскольку данный запрос выходит за пределы наших стандартных параметров, он будет рассмотрен старшим специалистом с утверждением, обычно завершенным в течение 24 часов, или в рамках согласованного соглашения об уровне обслуживания (SLA)".

При необходимости, покажите пользователям, что может изменить результат. Контрфакты позволяют пользователям улучшать результаты посредством конкретных действий, а не просто информировать их о уже принятых решениях.

Например: «Рейтинг интереса повысился бы с помощью проверенных сведений о занятости (+8 баллов) и дополнительных кредитных ссылок (+5 баллов). Предоставление этой документации переместит ваше приложение в очередь на проверку приоритета".

Контрафакты являются мощными механизмами прозрачности, но требуют тщательного проектирования. Рекомендуем избегать предоставления контрфактов, поощряющих игру системы или случайно отображающих защищенные характеристики в качестве факторов принятия решений. «Ваше заявление получило бы более высокую оценку, если бы вы были моложе на 10 лет» - это незаконная дискриминация, а не полезная прозрачность.

В некоторых юрисдикциях четкое раскрытие информации о взаимодействии пользователей с ботом является юридическим требованием, а не только рекомендацией по созданию. Четко определите время взаимодействия пользователей с агентами Agentforce, а не с людьми. Разглашение должно быть четким и непрерывным, не должно отображаться с точки зрения обслуживания или только один раз в начале взаимодействия.

Отображение постоянных визуальных индикаторов:

Аватар агента с четкой пометкой "Помощник по искусственному интеллекту"
Заголовок, отображающий «Вы общаетесь с агентом обслуживания Agentforce»
Параметр «Связаться с агентом-человеком» отображается во время разговора

Разглашение информации учитывает автономию пользователя, позволяющую осознанно выбирать режим взаимодействия. Пользователи, предпочитающие человеческое взаимодействие, должны иметь этот параметр без трений или штрафов за качество обслуживания.

Возможности Salesforce Platform, например, отслеживание событий и контрольный журнал поля, созданные до появления агентского искусственного интеллекта, расширяют алгоритмическую подотчетность за решения, принимаемые отдельными агентами.

Отслеживание событий для действий агента: Отслеживание событий собирает доступ к данным агента, вызовы API и системные изменения с помощью целостности, контролируемой Salesforce. Потоковые журналы мониторинга событий во внешний SIEM для длительного хранения и подделки доказательств, соответствующих нормативным требованиям для последующих решений.

Настройте мониторинг событий для отслеживания:

Журналы событий API, отображающие взаимодействия системы агента
События входа для организаций обслуживания агентов
Экспорт отчетов при доступе агентов к пакетным данным
Контрольный журнал поля для данных под влиянием искусственного интеллекта: Стандартный журнал поля сохраняет изменения данных в течение 18 месяцев (24 месяца посредством API). Контрольный журнал поля позволяет хранить журнал поля неопределенно долго, архивируя его до 18 месяцев, сохраняя архивные данные до их удаления, поддерживая долгосрочные проверки справедливости и нормативные расследования. Включите «Контрольный журнал поля» для объектов, хранящих решения агента или находящихся под их влиянием, выбрав из стандартных объектов, поддерживаемых «Контрольный журнал поля», плюс любые настраиваемые объекты с включенным отслеживанием журнала поля (до 200 полей на объект).

В кредитных решениях, решениях о занятости и других случаях использования с высокими ставками, многолетнее сохранение может быть нормативным требованием. Сроки хранения определяются режимом. Подтвердите применимое требование к сценарию использования.

Отслеживание событий щита для самых высоких ставок: Отслеживание событий Shield предоставляет расширенные возможности аудита со структурированными полями событий и интеграцией с инструментами отчетности о соответствии. Данные файла журнала событий хранятся по умолчанию в течение одного года как для клиентов Event Monitoring, так и для клиентов Shield. Используйте Shield для решений агентов с наивысшими интересами, где целостность контрольного журнала является критически важной.

Храните достаточно информации для точной реконструкции любого архивного решения агента:

Версия модели: Запишите, какая версия модели (модель основы, версия напоминания, точно настроенный код модели) приняла каждое решение. Версии модели меняются часто и приводят к разным выводам. Точное отслеживание версий включает анализ первопричин при обнаружении предвзятости.
Значения функции ввода: Храните точные вводные значения во время принятия решения, а не текущие значения, которые могли измениться. Вводные снимки позволяют проверить, будет ли решение отличаться от текущих данных, или подтвердить корректность исходного решения, учитывая доступную на данный момент информацию.
Состояние конфигурации: Пороги записи, бизнес-правила и параметры, активные во время принятия решения. Изменения конфигурации влияют на результаты. Журнал конфигурации позволяет определить, отражает ли отклонение решения изменения модели или конфигурации.
Экологический контекст: Сбор соответствующего контекста: удостоверение пользователя, отметка времени, журнал разговора, контекст сеанса. Контекст влияет на поведение агента и должен быть сохранен для точной реконструкции.

Обнаружение предвзятости должно быть непрерывным, а не одноразовой проверкой перед развертыванием. Агенты развиваются посредством оперативных обновлений, изменений версии модели основы и сменных распределений данных.

Панели мониторинга показателей справедливости: Создайте панели мониторинга CRM Analytics, отслеживающие показатели справедливости в журналах слоя Einstein Trust. Отслеживайте демографический паритет, равные возможности и коэффициенты неравномерного влияния постоянно. Настройте предупреждения о нарушении заданных порогов.

Создайте панель мониторинга, отображающую:

Распределение решений по демографическим сегментам клиентов (гистограммы)
Показатели справедливости в динамике (линии тренда с порогами предупреждения)
Расчет коэффициента неравномерного влияния с индикатором правила четырех пятых
Лучшие предикторы, способствующие принятию решений, где основная модель открывает их
Уровень переопределения по демографической группе
Обнаружение смены распределения: Отслеживайте распределения вводных данных агента на наличие изменений, обозначающих потенциальные проблемы справедливости. Если демографический состав пользователей, получающих решения агента, значительно изменится по сравнению с демографическими данными обучения, справедливость модели может ухудшиться.

Предупреждение об изменении распределения ввода: "Распределение клиентского сегмента для маршрутизации интересов Agentforce за последние 30 дней сместилось на 15% в сторону Enterprise. Проверьте, остается ли логика маршрутизации справедливой для клиентов SMB, получающих сейчас разные схемы обслуживания".

Интеграция отзывов пользователей: Предоставление пользователям возможности сообщать о предполагаемой предвзятости посредством доступных механизмов. Отчеты пользователей отображают качественные проблемы, которые пропускаются количественными показателями.

Добавьте параметр «Сообщить о беспокойстве» в интерфейс чата Agentforce. Перенаправляйте отчеты в совет по проверке этики с полным контекстом разговора. Отслеживайте отчеты в настраиваемом объекте с обязательным бизнес-правилом расследования и документированным разрешением.

Разработайте архитектуры агентов, ожидающие внешних аудиторских проверок регулирующими органами, организациями по защите гражданских прав или клиентами, требующими демонстрации алгоритмической подотчетности.

Возможности экспорта: Создайте функции экспорта, позволяющие группам, работающим с соблюдением, извлекать полные наборы данных решений с демографической стратификацией для проверки внешним аудитором. Экспортеры должны соблюдать правила конфиденциальности данных, обеспечивая достаточную прозрачность для проверки справедливости.
Аудиторская документация: Ведение текущей документации:
Цель агента и предполагаемые сценарии использования
Демография данных обучения и известные ограничения
Показатели справедливости, рассчитанные до развертывания и в производственной среде
Примененные стратегии смягчения предвзятости
Структуры надзора за человеком
Метод мониторинга и пороговые значения предупреждений
Назначения подотчетности (ответственный за модель, ответственный за решение, апелляционный орган)
Алгоритмические оценки воздействия: Прежде чем развертывать агентов, принимающих последующие решения, выполните оценку влияния, оценивая потенциальные положительные и отрицательные эффекты в группах заинтересованных лиц. Оценки воздействия демонстрируют должную осмотрительность и активное управление рисками, ценимые регулирующими органами.

Пользователи сохраняют значимый контроль над тем, как Agentforce влияет на их взаимодействие.

Согласие для последующих агентов: Агенты, принимающие решения, существенно влияющие на пользователей, требуют четкого согласия, а не активности по умолчанию. Агенты принятия кредитных решений, агенты по проверке занятости и агенты права на обслуживание активируются только после согласия пользователей, с четким пониманием того, как агент на них повлияет.
Гранулированное согласие: Включите согласие на сценарий использования агента, а не общее согласие на искусственный интеллект. Клиент может согласиться на агентов службы поддержки Agentforce, отказав при этом торговым агентам Agentforce. Архитектура, поддерживающая отслеживание согласия на уровне сценария использования, является одним из вводных данных; тестирование и периодический аудит логики внедрения помогают подтвердить, что ворота согласия сохраняются на практике.
Динамическое согласие для новых возможностей: При развертывании новых возможностей Agentforce, влияющих на существующих пользователей, активно запрашивайте согласие на новые сценарии использования, а не полагайтесь на исходное согласие, которое не предусматривало конкретных приложений. Каждая существенно новая возможность агента, влияющая на пользователей, запускает проверку согласия с четким объяснением.
Отзыв согласия с немедленным вступлением в силу: Разрешите пользователям отзывать согласие в любое время, немедленно прекратив обработку агента. Отзыв согласия должен быть таким же простым, как и его предоставление, без обращения за поддержкой или бюрократической процедуры.

Управление предпочтениями: Предоставление пользователям возможности настройки поведения агента в заданных границах:
- Стиль общения (лаконичный по сравнению с подробными пояснениями)
- Уровень активности (только ответ на вопрос по сравнению с инициативным предложением)
- Предпочтение расширения (предпочтение разрешающей способности на основе искусственного интеллекта по сравнению с предпочтением человека)

Сохраните настройки в настраиваемых полях записи пользователя. Ссылка на параметры в системных подсказках агента: "Пользователь предпочитает подробные объяснения. Предоставьте исчерпывающие ответы с подкрепляющей аргументацией".

Вручение по запросу: Предоставьте постоянный параметр «Связаться с человеком-агентом» во взаимодействиях Agentforce, не требуя от пользователей выполнения взаимодействий с агентом и не объясняя, почему они предпочитают людей.

Настройка маршрутизации немедленной передачи: Когда пользователь выбирает «Человек-агент», перенаправьте в мультиканал с полным контекстом разговора и флагом приоритета, обозначающим предпочтение пользователя. Никакие штрафы за ухудшение обслуживания или времени ожидания не применяются к выбору человеческого взаимодействия.

Индикаторы прозрачности: Отметьте взаимодействия агентов постоянными визуальными индикаторами, позволяющими пользователям поддерживать осведомленность о режиме взаимодействия. Пользователи, забывшие о взаимодействии с агентами, могут иметь нереалистичные ожидания или воспринимать обман при появлении ограничений.

Разработайте агентов, которые дают справедливые результаты в защищенных демографических группах посредством намеренного архитектурного выбора.

Агенты, принимающие соответствующие решения, не должны проводить дискриминацию по признаку защищенных характеристик (включая расу, пол, возраст, инвалидность, религию, национальное происхождение или сексуальную ориентацию), если только это не оправдано юридически конкретными целями, например, приспособлениями для инвалидов.

Аудит функций: Просмотрите все источники данных, используемые в агентских рассуждениях, на наличие защищенного содержимого характеристики. Данные CRM, сегменты Data 360 и базы Knowledge могут содержать демографическую информацию, которую агенты не должны учитывать при принятии определенных решений.

Удалите или маскируйте защищенные характеристики из вводных данных агента, если эти характеристики не являются юридически обоснованными для типа решения. При принятии кредитных решений исключите статус нетрудоспособности, поскольку он не важен. Для обращений за жильем для инвалидов статус инвалидности является важным и должен быть добавлен.

Своевременная разработка для недискриминации: Добавьте четкие инструкции по недискриминации в системные подсказки агентов:

"Вы являетесь агентом обслуживания клиентов. Относитесь ко всем клиентам с одинаковым профессионализмом, независимо от их имени, расположения, стиля общения или любой другой характеристики. Предоставьте рекомендации одинакового качества и сведения всем клиентам. Никогда не делайте предположений о клиентах на основе демографических характеристик".

Тестирование с демографическими персонами: Перед развертыванием в производственной среде тестируйте агентов с разными персонами, представляющих защищенные группы. Создавайте идентичные запросы, изменяющие только демографические сигналы (включая имена, предлагающие разные этнические группы, расположения, предлагающие разные регионы, и стили коммуникации, предлагающие разные уровни образования).

Сравните ответы агентов по персонам по качеству, продолжительности, профессионализму и результатам. Различия указывают на предвзятость, требующую смягчения.

Мониторинг качества обслуживания Agentforce в демографии клиентов, обеспечивая сопоставимые взаимодействия:

Уровень решения по сегменту: Рассчитайте уровни разрешающей способности при первом контакте, стратифицированные по сегменту клиента. Если клиенты Enterprise достигают разрешающей способности 75%, в то время как клиенты SMB достигают разрешающей способности 55%, изучите, отличаются ли качество базы Knowledge, обучение агентов или возможности продукта в зависимости от сегмента.
Качество ответа по сегменту: Выберите разговоры агентов в сегментах и попросите проверяющих оценить качество ответа по последовательным измерениям: точность, полнота, профессионализм, полезность. Межратровое тестирование надежности обеспечивает применение проверяющими последовательных стандартов.
Уровень расширения по сегменту: Отслеживайте, как часто агенты расширяются до людей, стратифицированных демографией клиентов. Более высокий уровень расширения для определенных сегментов указывает на меньшую эффективность агентов для этих пользователей, создавая неравенство в качестве обслуживания.
Удовлетворенность по сегменту: Опросите пользователей из всех демографических групп и сравните оценки качества обслуживания. Общее высокое удовлетворение может скрывать плохой опыт групп меньшинств, заглохших от удовлетворения большинства.

Интерфейсы Agentforce должны быть доступны пользователям-инвалидам, соответствующим стандартам WCAG 2.2 AA. Ссылка на компонент Salesforce Lightning Design System и библиотеки шаблонов для многоразовых доступных компонентов Agentforce и схем создания. Эти схемы делают взаимодействия агентов доступными, последовательными и обучаемыми.

Совместимость экранного диктора: Компоненты службы сообщений Lightning, предоставляющие интерфейсы чата Agentforce, включают базовую доступность при использовании по назначению. Внедрения настраиваемого чата требуют ручного внедрения доступности:
Семантическая структура HTML с соответствующими ориентирами
ARIA Live Regions, анонсирующие новые сообщения
Навигация по журналу сообщений с помощью клавиатуры
Четкие индикаторы фокуса на интерактивных элементах

Протестируйте вспомогательные технологии JAWS, NVDA и VoiceOver для чтения экрана на протяжении всей разработки, а не только автоматическое сканирование.

Когнитивная доступность: Ответы агентов используют обычный язык для общей аудитории. Избегайте жаргона и предоставьте глоссарии для неизбежных технических терминов. Структурируйте длинные ответы с заголовками и используйте маркированные или нумерованные списки, чтобы помочь пониманию, при необходимости.
Равноправие языков: Agentforce поддерживает несколько языков посредством многоязычных возможностей модели основы. Проверка качества ответов сопоставима на разных языках посредством оценки носителя языка, а не только автоматических показателей, пропускающих культурные нюансы.

В важных для бизнеса сценариях использования, обслуживающих разные языковые группы, настройте обработку языков (переменные языка, локализованные напоминания и фильтрация статей Knowledge по языку) и проверьте качество на язык, а не полагайтесь только на кросс-языковой перенос базовой модели, что может привести к ухудшению качества для языков с низким ресурсом.

Внедрите справедливость для Agentforce поэтапно, в соответствии со сроком развертывания агента.

Этап 1: основа (до появления производственных агентов)

Создание совета по проверке этических норм с полномочиями на правоприменение
Назначения подотчетности по документам (ответственный за модель, ответственный за решение, апелляционный орган)
Включение сбора аудита слоя Einstein Trust
Настройка мониторинга событий для действий агента
Создание базовых панелей мониторинга справедливости в CRM Analytics
Определение обязательных ворот развертывания: аудит данных, показатели справедливости, оценка влияния

Этап 2: Первый производственный агент

Проведение комплексной оценки воздействия для сценария использования
Аудит подготовки/данные СРГ для демографического представительства
Расчет показателей справедливости в демографических группах
Внедрение схемы человеческого надзора («человек в цикле», «повышение доверия» или «с ограничениями по времени»)
Настройка механизма отчетности по предвзятости для пользователей
Версия модели документа, конфигурация и подход к реконструкции решений

Этап 3: Постоянный мониторинг

Еженедельно отслеживайте панели мониторинга справедливости, расследуя нарушения порога в течение 24 часов (или согласованное соглашение об ответе организации)
Проведение ежемесячного анализа схемы переопределения с выявлением систематических проблем
Еженедельно просматривайте отчеты о предвзятости пользователей с документированными результатами расследований
Проведение ежеквартальных комплексных проверок справедливости для агентов с высокой долей участия
Обновление документации по мере развития агентов посредством оперативных обновлений или изменений модели

Этап 4: Масштабирование и управление

Создание многоразовых шаблонов панелей мониторинга справедливости для распространенных типов агентов
Создайте инструмент реконструкции решений агента, включающий самообслуживание группы соответствия
Стандартизация схем управления согласием для всех новых агентов
Внедрение автоматизированного регрессионного тестирования справедливости в ожидаемых продажах CI/CD
Планирование полугодовых внешних проверок справедливости сторонними организациями
Поддерживать мониторинг нормативного регулирования и адаптироваться к действующим и возникающим обязательствам, включая Закон ЕС об искусственном интеллекте (поэтапное внедрение до 2025-2027 годов), законы штатов и отраслевые нормативные акты

Справедливость - это ключевая архитектурная проблема для агентских систем на Salesforce Platform. Организации, проектирующие Agentforce с честностью как первоклассный архитектурный концерн, позиционируют себя выше нормативных требований, одновременно создавая решения, которым все пользователи могут Trust и эффективно использовать. Возможности платформы существуют. Вопрос в том, будут ли архитекторы их использовать.

Опубликуйте отзыв о инфраструктуре с хорошей архитектурой.