Обнаружение справедливости и предвзятости на основе искусственного интеллекта - Агентские схемы
Узнайте больше о справедливости архитектуры → Справедливость агентского предприятия
Шаблоны
| Где искать | Как хорошо выглядит |
|---|---|
| Конфигурация Agentforce | Agent Configuration | ✅ Систематическое тестирование агентов на демографическую предвзятость с использованием разных персон, представляющих защищенные группы; создание идентичных запросов, различающихся только демографическими сигналами, например, именами, расположениями или стилями общения |
| Data 360 | Сегменты данных | ✅ Прежде чем использовать данные Salesforce для обучения агентов или запрета RAG, проверьте демографическую представленность и определите недопредставленные группы |
| Data 360 | База Knowledge | ✅ Аудит баз Knowledge и источников извлечения для демографического баланса; обеспечение сопоставимости качества, полноты и точности документации во всех клиентских сегментах |
| Agentforce | Мониторинг агентов | ✅ Мониторинг взаимодействий агентов в демографических группах на предмет последовательности поведения; анализ длины ответа, уровня детализации, маркеров вежливости и качества решения, стратифицированного по характеристикам пользователя |
| Agentforce | Мониторинг агентов | ✅ Обнаружение циклов обратной связи посредством отслеживания изменений распределения решений в динамике; разрыв циклов посредством человеческого анализа краевых обращений и периодического восстановления баланса |
| Data 360 | Обучающие данные | ✅ избыточная выборка недопредставленных демографических групп в учебных данных, обеспечивающих сбалансированное представление; синтезирование дополнительных данных с использованием таких методов, как SMOTE, когда реальных данных недостаточно; |
| Agentforce | Шаблон подсказки | ✅ Ограничение поведения агента посредством системных подсказок: “Относитесь ко всем демографическим показателям клиентов одинаково профессионально и подробно. Предоставьте пояснения сопоставимой длины и качества вне зависимости от стиля общения с клиентом или фона”. |
| Einstein | Модель прогноза | ✅ вычисление коэффициентов корреляции между всеми функциями модели и защищенными характеристиками; оценка того, оправдывает ли законное прогнозируемое значение включение высококорреляционных функций; |
| Einstein | Модель прогноза | ✅ Определение и удаление прокси-функций, коррелирующих с защищенными характеристиками (прокси-серверы почтового индекса для расы, прокси-серверы имен для пола/этнической принадлежности, прокси-серверы времени связи для религии/ухода, прокси-серверы типа устройства для дохода, прокси-серверы назначения территории для демографического состава) |
Антишаблоны
| Где искать | Как плохо выглядит |
|---|---|
| Data 360 | Обучающие данные | ⚠️ Использование архивных данных CRM для обучения агентов без аудита демографического представления, что позволяет алгоритмической предвзятости усугублять предвзятость человека |
| Конфигурация Agentforce | Agent Configuration | ⚠️ Развертывание агентов без систематического тестирования на демографическую предвзятость в различных персонах, представляющих защищенные группы |
| Data 360 | База Knowledge | ⚠️ Предоставление подробных статей Knowledge для корпоративных клиентов, но только общих ответов для клиентов малого бизнеса, увековечивая диспропорции в качестве обслуживания |
| Agentforce | Мониторинг агентов | ⚠️ Предоставление агентам возможности адаптировать поведение на основе диалоговых подсказок, коррелирующих с защищенными характеристиками (стиль общения, сложность языка, схемы времени) без мониторинга |
| Einstein | Модель прогноза | ⚠️ Включение прокси-функций (почтовый индекс, схемы имен, тип устройства) в модели последующих решений без оценки корреляции с защищенными характеристиками |
| Конфигурация Agentforce | Agent Configuration | ⚠️ Разрешение циклов обратной связи, когда решения агента создают диспропорцию, оправдывающую будущие неблагоприятные решения (например, маршрутизация агента, сокращающая возможности на определенные территории, генерирующая меньше данных об успешности, дальнейшее снижение прогнозируемого успеха) |
| Data 360 | Сегменты данных | ⚠️ Стандартные ссылки на культуру большинства в примерах содержимого, отталкивающие недопредставленных пользователей |
Шаблоны
| Где искать | Как хорошо выглядит |
|---|---|
| Agentforce | Мониторинг агентов | ✅ Зарегистрируйте полные вводные и выходные данные для каждого агента в цепочке оркестрации, чтобы предвзятость в конечном результате можно было отследить до этапа, который ее ввел и где произошло усиление |
| Platform | CRM Analytics | ✅ Создание панелей мониторинга, отображающих распределения решений на каждом этапе оркестрации с разбивкой по демографии, для определения того, где в цепочке возникают или расширяются диспропорции |
| Platform | CRM Analytics | ✅ Вычисление демографического паритета, равных возможностей и неравномерного влияния на каждом этапе цепочки, а не только на конечный результат; поэтапные показатели улавливают составляющие, которые выглядят приемлемыми на любом отдельном этапе, но ухудшаются по всей цепочке |
| Agentforce | Конфигурация модели | ✅ Максимальное разнообразие агентов в схемах консенсуса для уменьшения коррелированных ошибок: различные базовые модели, где это возможно (например, посредством конфигураций Bring Your Own LLM), разные источники извлечения, разные оперативные подходы и разные калибровки порога надежности |
| Конфигурация Agentforce | Agent Configuration | ✅ Вставить проверку человека в точки перегиба оркестрации, где этап значительно сужает нисходящие варианты, даже при высоком доверии отдельного агента, поскольку оркестрация создает возникающие эффекты, которые не собирают оценки надежности каждого агента |
| Конфигурация Agentforce | Agent Configuration | ✅ Настройка автоматических выключателей оркестрации, которые останавливаются и расширяются до человека, когда уверенность любого агента падает ниже порога, распределение вывода значительно смещается между этапами, цепочка встречает данные, не представленные в обучении или проверке, или пользователь оспаривает промежуточное решение |
Антишаблоны
| Где искать | Как плохо выглядит |
|---|---|
| Agentforce | Мониторинг агентов | ⚠️ Выполнение цепочек оркестрации без регистрации вводных и выводных данных каждого агента, что не позволяет проследить, на каком этапе возникает предвзятость при появлении дискриминационного результата |
| Agentforce | Конфигурация модели | ⚠️ Обработка консенсуса нескольких агентов как исправление предвзятости, когда все агенты используют одну базовую модель или данные обучения, поэтому соглашение проверяет только общую предвзятость, а не исправляет ее |
| Platform | CRM Analytics | ⚠️ Измерение справедливости только для конечного результата оркестрации, отсутствующее ступенчатое соединение, когда каждая стадия представляется приемлемой изолированно, но цепочка соединяет до недопустимого несоответствия |
| Конфигурация Agentforce | Agent Configuration | ⚠️ Использование рейтингов надежности отдельного агента для входа в цепочку оркестрации без вставки проверки человека в точках перегиба, где этап сужает нисходящие варианты |
| Конфигурация Agentforce | Agent Configuration | ⚠️ Разрешение цепочке оркестрации работать без автоматического выключателя, когда у агента в нисходящем направлении низкая надежность, распределение смещается между этапами или цепочка встречает данные вне своих наборов обучения и проверки |
Шаблоны
| Где искать | Как хорошо выглядит |
|---|---|
| Бизнес | Ворота развертывания | ✅ Сделать оценку справедливости обязательным шлюзом развертывания, эквивалентным по полномочиям проверке безопасности, прежде чем развертывать любого агента, принимающего последующие решения |
| Einstein | Модель прогноза | ✅ Расчет демографического паритета путем деления населения на демографические сегменты, измерения показателей положительных результатов на сегмент и сравнения показателей между сегментами |
| Einstein | Модель прогноза | ✅ Обеспечение равных возможностей путем проверки того, что агенты одинаково хорошо определяют квалифицированных лиц, независимо от демографических характеристик; проверка подлинно положительных показателей сопоставимости между группами |
| Einstein | Модель прогноза | ✅ Примените правило четырех пятых: если какая-либо группа получает положительные результаты при показателе менее 80% наиболее эффективной группы, исследуют на наличие предвзятости |
| Einstein | Модель прогноза | ✅ Расчет коэффициентов неравномерного влияния для всех последующих решений агента и документирование результатов исследования, когда коэффициенты падают ниже 80% |
| Бизнес | Документация | ✅ Документ, когда нарушения демографического паритета отражают законные коммерческие факторы, а не дискриминацию |
| Бизнес | Правовая экспертиза | ✅ обращаться к юрисконсульту при внедрении принципа равных шансов посредством пороговых значений для конкретных групп, отмечая, что в Соединенных Штатах корректировка рейтингов или пороговых значений по защищенным классам для решений, связанных с занятостью, запрещена в соответствии с разделом VII (Закон о гражданских правах 1991 года) и что другие юрисдикции устанавливают свои собственные ограничения; |
Антишаблоны
| Где искать | Как плохо выглядит |
|---|---|
| Бизнес | Ворота развертывания | ⚠️ Развертывание агентов, принимающих последующие решения без расчета показателей справедливости в демографических группах |
| Einstein | Модель прогноза | ⚠️ Систематическое отсутствие квалифицированных кандидатов из недопредставленных групп путем установления более высоких порогов доказательности для этих групп, чем для групп большинства |
| Einstein | Модель прогноза | ⚠️ Внедрение пороговых значений для конкретных групп без юридического обоснования или подтверждения того, что пороговые значения улучшают справедливость, не создавая других дискриминационных последствий, или, в Соединенных Штатах, их применение вообще в отношении решений, связанных с занятостью, где раздел VII запрещает корректировку оценок или пороговых значений по защищенному классу |
| Бизнес | Документация | ⚠️ Отсутствие документации, когда нарушения показателей справедливости отражают законные деловые различия и дискриминацию |
Шаблоны
| Где искать | Как хорошо выглядит |
|---|---|
| Einstein | Слой Trust | ✅ Используйте данные аудита уровня Trust для анализа распределения ответов в демографических группах; создайте панели мониторинга CRM Analytics, сравнивающие уровни утверждения, схемы рекомендаций и рейтинги риска по сегментам клиентов |
| Einstein | Слой Trust | ✅ Query Trust Layer регулярно регистрирует: отображение всех ценных прогнозов, сгруппированных по отрасли клиента, региону и размеру организации для проверки согласованности распределения прогнозов в сегментах |
| Agentforce | Отслеживание сеансов | ✅ Образец 100 решений агентов, стратифицированных по демографической группе, и наличие у проверяющих оценки сопоставимости качества рассуждений в группах посредством трассировки рассуждений отслеживания сеансов Agentforce |
| Platform | CRM Analytics | ✅ Настройка предупреждений, когда схемы решений агента значительно отличаются от базовых (например, уровень утверждения для определенного сегмента падает на 20% за неделю) |
| Platform | CRM Analytics | ✅ Создайте настраиваемый мониторинг для предупреждения о сигналах справедливости: «Уведомлять, когда средняя продолжительность разговора для любого клиентского сегмента превышает 1,5 общего среднего значения за три последовательных дня» |
| Platform | CRM Analytics | ✅ Создание многоразовых шаблонов панелей мониторинга CRM Analytics, отслеживающих показатели справедливости для распространенных сценариев использования агентов, включая демографический паритет, равные возможности, коэффициенты неравномерного влияния и диаграммы трендов |
Антишаблоны
| Где искать | Как плохо выглядит |
|---|---|
| Agentforce | Отслеживание сеансов | ⚠️ Игнорирование трассировки сеанса Agentforce и контрольного журнала уровня Trust, когда пользователи сообщают о предвзятости, отсутствуя, какие этапы рассуждения, источники данных или схемы извлечения внесли предвзятость |
| Platform | CRM Analytics | ⚠️ Отсутствие настройки предупреждений об обнаружении аномалий для сигналов справедливости, что позволяет незамеченными оставаться внезапным сменам распределения |
| Platform | CRM Analytics | ⚠️ Создание панелей мониторинга справедливости на группу вместо предоставления общего доступа к многоразовым шаблонам, стандартизирующим мониторинг справедливости |
Шаблоны
| Где искать | Как хорошо выглядит |
|---|---|
| Конфигурация Agentforce | Agent Configuration | ✅ Создание агентов для принятия важных решений (занятость, кредит, здравоохранение, юридическое обслуживание, жилье) для анализа, рекомендации и подготовки решений, требуя утверждения человеком перед выполнением |
| Платформа | Процесс утверждения | ✅ Настройте Agentforce для создания рекомендаций с подтверждающими доказательствами, маршрутизации решений выше порога экспертам посредством процесса утверждения и трассировки рассуждений поверхностного агента в интерфейсе утверждения |
| Конфигурация Agentforce | Agent Configuration | ✅ Осуществление расширения на основе доверия: высоконадежный (>90%) протекает автономно, умеренный (70-90%) требует рассмотрения человеком, низкий (<70%) полностью относится к человеку с контекстным резюмированием |
| Конфигурация Agentforce | Agent Configuration | ✅ Калибруйте пороги надежности с использованием производственных данных; выборка решений агента в каждом диапазоне надежности и вычисление фактических уровней успеха для проверки калибровки |
| Конфигурация Agentforce | Agent Configuration | ✅ Установите триггеры расширения с ограничениями по времени: через 5-7 оборотов без разрешения, через 10 минут, когда пользователь выражает разочарование или когда агент повторяет тот же ответ |
| Платформа | Мультиканал | ✅ Настройка мультиканала для маршрутизации расширенных обращений в соответствующие очереди на основе навыков с полным контекстом разговора; обучение агентов работе с расширениями, не требуя от пользователей повторения информации |
| Agentforce | UX | ✅ Предоставление параметра «Связаться с агентом-человеком» в интерфейсах чата агента в любое время, не прикрываясь минимальным количеством неудачных взаимодействий |
| Конфигурация Agentforce | Agent Configuration | ✅ Предоставьте авторизованным людям возможность переопределить любое решение агента в любой момент с документированным обоснованием; добавьте кнопку «Переопределить агента» ко всем интерфейсам решений агентов, требующим многострочного текстового объяснения |
| Платформа | Настраиваемый объект | ✅ Запишите переопределения в настраиваемый объект с кодом решения, отметкой времени переопределения, обоснованием и переопределением; создайте панель мониторинга CRM Analytics, отслеживающую схемы переопределения по агенту, типу решения и демографии клиентов |
| Бизнес | Документация | ✅ Требовать документальное обоснование утверждений или отказов, отличающихся от рекомендации агента; отслеживать схемы переопределения для выявления систематических недостатков агента |
Антишаблоны
| Где искать | Как плохо выглядит |
|---|---|
| Конфигурация Agentforce | Agent Configuration | ⚠️ Развертывание агентов в качестве самостоятельных лиц, принимающих решения по важным вопросам (занятость, кредит, здравоохранение, юридическое обслуживание, жилье) без ворот утверждения людьми |
| Конфигурация Agentforce | Agent Configuration | ⚠️ Использование неправильно выверенных рейтингов надежности, когда решения “высокого доверия” приносят успех только в 75% случаев, подрывая Trust к механизмам эскалации |
| Конфигурация Agentforce | Agent Configuration | ⚠️ Ловушка клиентов в бесполезных автоматических циклах без временной или поочередной эскалации на людей |
| Платформа | Мультиканал | ⚠️ Маршрутизация расширенных обращений без полного контекста разговора, вынуждающая пользователей повторять уже предоставленную агенту информацию |
| Бизнес | Управление | ⚠️ Предоставление возможности распределения ответственности, когда каждый предполагает, что ИИ подотчетен, а никто не берет на себя ответственность за принятие решений |
| Бизнес | Управление | ⚠️ Назначение ответственности после инцидентов, а не до развертывания с именованными лицами, задокументированными в записях решений по архитектуре |
Шаблоны
| Где искать | Как хорошо выглядит |
|---|---|
| Бизнес | Документация | ✅ Назначение подотчетности перед развертыванием: ответственный за модель (справедливость/точность), ответственный за решение (сценарий использования/воздействие), апелляционный орган (апелляции по вопросам справедливости), контрольный орган (периодические проверки) |
| Бизнес | Документация | ✅ документирование всех ролей подотчетности с именами, а не только заголовками, обеспечивая сохранение подотчетности посредством организационных изменений |
| Бизнес | Управление | ✅ Предоставление полномочия апелляционному органу (совету по проверке этики или назначенной группе) для обработки апелляций пользователей, которые считают, что решения агентов были несправедливыми при наличии доступных и своевременных процессов, которые могут отменить решения агентов |
| Бизнес | Управление | ✅ Разрешить контрольному органу (группе по соблюдению) проводить периодические проверки и временно отстранять агентов, не соблюдающих стандарты справедливости, от работы до устранения |
| Бизнес | Управление | ✅ Планирование ежемесячной проверки схем высокочастотного переопределения с группой разработчика агента |
Антишаблоны
| Где искать | Как плохо выглядит |
|---|---|
| Бизнес | Управление | ⚠️ Документирование ролей подотчетности только с заголовками (например, «Интерес науки о данных») без именованных лиц, что позволяет исчезнуть подотчетности во время организационных изменений |
| Бизнес | Управление | ⚠️ Предоставление ответственным за принятие решений возможности делегировать ответственность системам искусственного интеллекта вместо сохранения личной ответственности за реальное воздействие |
| Бизнес | Управление | ⚠️ Недоступность, несвоевременность или отсутствие полномочий для отмены решений агентов |
Шаблоны
| Где искать | Как хорошо выглядит |
|---|---|
| Конфигурация Agentforce | Agent Configuration | ✅ Архитектор нескольких уровней объяснения: ориентированные на пользователя (обычный язык), бизнес (ключевые факторы решения), технические (сведения о модели/веса функций) и аудиторские (трассировка полных решений) |
| Конфигурация Agentforce | Agent Configuration | ✅ Отображение сводных рассуждений в реальном времени при принятии решений: “Я рекомендовал продукт А на основе журнала покупок (3 похожие покупки), текущей рекламной акции (20% скидки) и доступности запаса” |
| Конфигурация Agentforce | Agent Configuration | ✅ Предоставьте “Почему вы рекомендовали это?” ссылка, позволяющая пользователям просматривать полную аргументацию, включительно со всеми извлеченными статьями Knowledge, просмотренными записями и логикой решений |
| Agentforce | Отслеживание сеансов | ✅ Извлечение трассировки рассуждений из отслеживания сеансов Agentforce для архивной реконструкции, когда пользователи оспаривают прошлые решения спустя несколько недель или месяцев |
| Agentforce | Отслеживание сеансов | ✅ Пример трассировки рассуждений сеансов Agentforce, стратифицированных по демографическим группам, для анализа соответствия качества решений; просмотр 100 трассировок из каждого клиентского сегмента |
| Конфигурация Agentforce | Agent Configuration | ✅ Уведомление о доверии в приемлемых для пользователя терминах: «Высоконадежный» / «Умеренный уровень надежности» / «Низкий уровень надежности» с простым языковым контекстом надежности вместо исходных оценок вероятности |
| Конфигурация Agentforce | Agent Configuration | ✅ При принятии решений с умеренным или низким уровнем доверия объясните, какое дополнительное рассмотрение будет проведено и ожидаемые сроки |
| Конфигурация Agentforce | Agent Configuration | ✅ Предоставьте контрфактические объяснения, отображающие пользователям, что изменит результат: “Рейтинг интереса будет возрастать при наличии проверенных сведений о занятости (+8 очков)” |
Антишаблоны
| Где искать | Как плохо выглядит |
|---|---|
| Конфигурация Agentforce | Agent Configuration | ⚠️ Отображение исходных рейтингов вероятности (например, «73% уверенности»), которые пользователи неправильно интерпретируют вместо соответствующего языка надежности |
| Конфигурация Agentforce | Agent Configuration | ⚠️ Предоставление контрфактов, поощряющих игру системы или случайно раскрывающих защищенные характеристики в качестве факторов принятия решения (например, «Ваше приложение получило бы более высокую оценку, если бы вы были на 10 лет моложе») |
| Конфигурация Agentforce | Agent Configuration | ⚠️ Предоставление только одного уровня объяснения, не обслуживающего ни конечных пользователей (слишком технические), ни аудиторов (слишком упрощенные) |
| Конфигурация Agentforce | Agent Configuration | ⚠️ Отсутствие архивных следов рассуждений, что делает невозможным объяснение прошлых решений при оспаривании |
Шаблоны
| Где искать | Как хорошо выглядит |
|---|---|
| Конфигурация Agentforce | Agent Configuration | ✅ Четко указать, когда пользователи взаимодействуют с агентами Agentforce с заметным, непрерывным раскрытием (не похоронено с точки зрения обслуживания или отображается только один раз в начале взаимодействия) |
| Конфигурация Agentforce | Agent Configuration | ✅ Отображение постоянных визуальных индикаторов: аватар агента с пометкой «Помощник по искусственному интеллекту», заголовок, отображающий «Вы общаетесь с агентом обслуживания Agentforce», и видимый параметр «Связаться с агентом-человеком» на протяжении всего разговора |
| Конфигурация Agentforce | Agent Configuration | ✅ Обеспечение пользователям, предпочитающим человеческое взаимодействие, возможности переключения без трения или штрафов за качество обслуживания |
Антишаблоны
| Где искать | Как плохо выглядит |
|---|---|
| Конфигурация Agentforce | Agent Configuration | ⚠️ Закапывание разглашения искусственного интеллекта с точки зрения обслуживания или отображение его только один раз в начале взаимодействия вместо сохранения постоянных визуальных индикаторов |
| Конфигурация Agentforce | Agent Configuration | ⚠️ Наказание пользователей, выбравших человеческое взаимодействие с ухудшенным обслуживанием или увеличенным временем ожидания |
| Конфигурация Agentforce | Agent Configuration | ⚠️ Скрытие параметра «Связаться с агентом-человеком» или требование к пользователям выполнить взаимодействия с агентом перед доступом к службе поддержки |
Шаблоны
| Где искать | Как хорошо выглядит |
|---|---|
| Платформа | Мониторинг событий | ✅ Настройте мониторинг событий для отслеживания: Журналы событий API, отображающие взаимодействия системы агентов, события входа для организаций обслуживания агентов и экспорты отчетов при доступе агентов к пакетным данным |
| Платформа | Мониторинг событий | ✅ Потоковые журналы мониторинга событий во внешние SIEM для долгосрочного хранения и подделки доказательств, соответствующих нормативным требованиям |
| Платформа | Контрольный журнал поля | ✅ Включить контрольный журнал поля (неопределенное сохранение архивного журнала) для объектов, хранящих решения агента или находящихся под их влиянием, выбирая из поддерживаемых стандартных объектов плюс настраиваемые объекты с включенным отслеживанием журнала поля; важно для кредита, занятости и других способов использования с высокой ставкой |
| Платформа | Щит | ✅ Используйте мониторинг событий Shield для решений агентов с наивысшими интересами, где целостность контрольного журнала имеет решающее значение (расширенные возможности, структурированные поля событий, интеграция отчетности о соответствии) |
| Платформа | Настраиваемый объект | ✅ Создайте хранилище настраиваемых объектов AgentDecision__c: Decision_ID, Timestamp, Agent_Type, Model_Version, Confidence_Score, Outcome, User_ID, Record_ID; с объектом объединения DecisionInput__c, связывающим решения со снимками функции ввода |
| Платформа | Настраиваемый объект | ✅ Хранить точные значения функций ввода во время принятия решения (не текущие значения, которые могут измениться), чтобы включить тестирование отличий решений от обновленных данных |
| Бизнес | Документация | ✅ Версия модели записи, состояние конфигурации (пороги, бизнес-правила, параметры) и экологический контекст (идентификация пользователя, отметка времени, журнал разговора) для каждого последующего решения |
| Platform | LWC | ✅ Создайте встраивание компонента LWC в записи для отображения журнала решений со ссылками «Просмотр причин» |
Антишаблоны
| Где искать | Как плохо выглядит |
|---|---|
| Платформа | Контрольный журнал поля | ⚠️ Использование стандартного журнала поля (сохранение в течение 18 месяцев) для принятия решений с высокой степенью заинтересованности, требующих сохранения многолетних регламентов |
| Платформа | Настраиваемый объект | ⚠️ Хранение только текущих значений записей вместо вводных снимков времени принятия решения, что делает невозможным точное восстановление архивных решений |
| Бизнес | Документация | ⚠️ Отсутствие записи версии модели и состояния конфигурации активными во время принятия решения, что делает невозможным анализ первопричины при обнаружении предвзятости |
| Платформа | Мониторинг событий | ⚠️ Хранение журналов аудита только в Salesforce без внешней потоковой передачи SIEM, отсутствие поддельных доказательств соответствия нормативным требованиям |
Шаблоны
| Где искать | Как хорошо выглядит |
|---|---|
| Platform | CRM Analytics | ✅ Создайте панели мониторинга, отображающие: распределение решений по демографическому сегменту (гистограммы), показатели справедливости во времени (линии тренда с порогами предупреждений), коэффициент неравномерного влияния с индикатором правила четырех пятых, лучшие прогнозисты, влияющие на принятие решений, уровень переопределения по демографической группе |
| Platform | CRM Analytics | ✅ Предупреждение о значительном изменении распределения вводных данных по сравнению с демографическими данными обучения; мониторинг смены распределения с указанием потенциального ухудшения справедливости |
| Конфигурация Agentforce | Agent Configuration | ✅ Добавление параметра «Сообщить о проблеме» в интерфейс чата Agentforce; маршрутизация отчетов в совет по проверке этики с полным контекстом разговора; отслеживание в настраиваемом объекте с обязательным бизнес-правилом расследования |
| Бизнес | Управление | ✅ Мониторинг панелей мониторинга справедливости еженедельно, расследование нарушений порога в течение 24 часов, проведение ежемесячного анализа схемы переопределения, выполнение ежеквартальных комплексных проверок справедливости |
| Бизнес | Управление | ✅ Предоставление пользователям возможности сообщать о предполагаемой предвзятости посредством доступных механизмов; отчеты пользователей всплывают в качественных проблемах, которые отсутствуют в количественных показателях |
Антишаблоны
| Где искать | Как плохо выглядит |
|---|---|
| Бизнес | Управление | ⚠️ Обработка обнаружения предвзятости как разовой проверки перед развертыванием, а не непрерывного мониторинга по мере развития агентов посредством оперативных обновлений, изменений версии модели и сменного распределения данных |
| Platform | CRM Analytics | ⚠️ Невозможность настройки предупреждений при превышении заданных порогов показателями справедливости, что позволяет постепенно уходить незамеченным |
| Конфигурация Agentforce | Agent Configuration | ⚠️ Непредоставление пользователям доступных механизмов для сообщения о предполагаемой предвзятости, отсутствующие качественные проблемы, которые не могут появиться в количественных показателях |
Шаблоны
| Где искать | Как хорошо выглядит |
|---|---|
| Платформа | Интеграция | ✅ Создание функций экспорта, позволяющих группам по соблюдению извлекать полные наборы данных решений с демографическим расслоением для проверки внешним аудитором при соблюдении правил конфиденциальности данных |
| Бизнес | Документация | ✅ Ведение текущей документации, охватывающей: цель агента и предполагаемые сценарии использования, демографические данные обучения и известные ограничения, показатели справедливости (предварительное развертывание и производство), стратегии смягчения предвзятости, конфигурации надзора за человеком, метод мониторинга и назначения подотчетности |
| Бизнес | Управление | ✅ Прежде чем развертывать агентов, принимающих последующие решения, проведите алгоритмические оценки влияния, оценивая потенциальные положительные и отрицательные эффекты в группах заинтересованных лиц |
| Бизнес | Управление | ✅ Планирование полугодовых внешних проверок справедливости третьими лицами; ведение сканирования горизонтов регулирования в соответствии с Законом ЕС об искусственном интеллекте, государственными законами и отраслевыми нормами |
Антишаблоны
| Где искать | Как плохо выглядит |
|---|---|
| Платформа | Интеграция | ⚠️ Разработка архитектур агентов без предварительного внешнего аудита регулирующими органами, организациями по защите гражданских прав или клиентами; отсутствие экспортных возможностей для проверки аудиторов |
| Бизнес | Документация | ⚠️ Предоставление возможности устаревшей документации по мере развития агентов посредством оперативных обновлений или изменений модели без обновления показателей справедливости и стратегий смягчения последствий |
| Бизнес | Управление | ⚠️ Развертывание агентов, принимающих важные решения без проведения оценки влияния оценки последствий в группах заинтересованных лиц |
Шаблоны
| Где искать | Как хорошо выглядит |
|---|---|
| Конфигурация Agentforce | Agent Configuration | ✅ Требовать четкого согласия для последующих агентов (кредитное решение, проверка занятости, право на обслуживание), а не активировать по умолчанию |
| Платформа | Настраиваемый объект | ✅ Создайте AI_Consent__c с полями: User_ID, Use_Case, Grant_Date, Grant_Method, Withdrawal_Date, Status; включение контрольного журнала поля для сохранения записи долгосрочного согласия |
| Конфигурация Agentforce | Agent Configuration | ✅ Добавьте проверку согласия в логику вызова агента: запрос AI_Consent__c на наличие активного согласия перед обработкой; поддержка согласия на уровне сценария использования (агент обслуживания и торговый агент) |
| Платформа | Сообщество/сайт взаимодействий | ✅ Создание интерфейса управления согласием на самообслуживание, доступного в профиле пользователя; планирование напоминаний о продлении согласия каждые 12 месяцев |
| Конфигурация Agentforce | Agent Configuration | ✅ При развертывании новых возможностей, влияющих на существующих пользователей, активно запрашивайте согласие на новые сценарии использования, а не полагайтесь на исходное согласие, которое не предусматривало конкретных приложений |
| Конфигурация Agentforce | Agent Configuration | ✅ Включите отзыв согласия в любое время с немедленным прекращением обработки агента; упростите отзыв, как и предоставление, не требуя контактов поддержки |
| Конфигурация Agentforce | Agent Configuration | ✅ Включите управление пользовательскими предпочтениями: стиль общения (лаконичный по сравнению с подробным), уровень инициативности, предпочтение расширения; сохранение в записи пользователя настраиваемых полей и ссылки в системных подсказках агента |
| Платформа | Мультиканал | ✅ Предоставьте постоянный параметр «Связаться с агентом-человеком» во всех взаимодействиях; при выборе, перенаправьте в мультиканал с полным контекстом разговора и пометкой приоритета без ухудшения обслуживания или штрафов времени ожидания |
Антишаблоны
| Где искать | Как плохо выглядит |
|---|---|
| Конфигурация Agentforce | Agent Configuration | ⚠️ Активация последующих агентов по умолчанию без четкого понимания согласия пользователя, как агенты на них повлияют |
| Конфигурация Agentforce | Agent Configuration | ⚠️ Требование общего согласия на основе искусственного интеллекта, а не включение детального согласия на уровне сценария использования (клиент может согласиться с агентами службы поддержки, но отклонить торговых агентов) |
| Конфигурация Agentforce | Agent Configuration | ⚠️ Для отмены согласия требуются контакты службы поддержки или бюрократические процессы вместо самообслуживания с немедленным вступлением в силу |
| Конфигурация Agentforce | Agent Configuration | ⚠️ Опора на исходное согласие при развертывании существенно новых возможностей агента, не предусмотренных в исходном согласии |
| Конфигурация Agentforce | Agent Configuration | ⚠️ Требование к пользователям выполнять взаимодействия с агентами или объяснять их предпочтения перед подключением к агенту-человеку |
Шаблоны
| Где искать | Как хорошо выглядит |
|---|---|
| Конфигурация Agentforce | Agent Configuration | ✅ Просмотрите все источники данных, используемые в рассуждениях агента на наличие защищенного содержимого характеристики; удалите или маскируйте защищенные характеристики из вводных данных агента, если это юридически не оправдано для типа решения |
| Agentforce | Шаблон подсказки | ✅ Добавьте четкие инструкции по недискриминации в системные подсказки: «Относитесь ко всем клиентам с одинаковым профессионализмом, независимо от имени, расположения, стиля общения или любой другой характеристики. Никогда не делайте предположений о клиентах на основе демографических характеристик”. |
| Конфигурация Agentforce | Agent Configuration | ✅ Протестируйте с разными персонами перед производством: создавать идентичные запросы, различающиеся только демографическими сигналами (имена, предлагающие разные этнические группы, расположения, стили общения); сравнивать ответы по качеству, длине, профессионализму и результатам |
| Agentforce | Мониторинг агентов | ✅ Расчет показателей разрешающей способности при первом контакте, стратифицированных по сегменту клиента; исследование при наличии значительных различий между сегментами |
| Agentforce | Мониторинг агентов | ✅ Выборка разговоров агентов в сегментах и предоставление проверяющим возможности оценить качество ответа по последовательным измерениям (точность, полнота, профессионализм, полезность) с помощью межратрового тестирования надежности |
| Agentforce | Мониторинг агентов | ✅ Отслеживание темпов расширения, стратифицированных по демографической структуре клиентов; более высокие темпы для определенных сегментов указывают на меньшую эффективность агентов для этих пользователей |
| Бизнес | Опросы | ✅ Опрос пользователей из всех демографических групп и сравнение показателей удовлетворенности; общая высокая удовлетворенность может маскировать плохой опыт для групп меньшинств |
Антишаблоны
| Где искать | Как плохо выглядит |
|---|---|
| Конфигурация Agentforce | Agent Configuration | ⚠️ Включение защищенных данных характеристик (статус инвалидности, религия, национальное происхождение) в вводные данные агента для принятия решений, когда эти характеристики не являются юридически обоснованными |
| Agentforce | Шаблон подсказки | ⚠️ Развертывание агентов без четких инструкций по недискриминации в системных подсказках, опираясь только на алгоритм модели основы |
| Конфигурация Agentforce | Agent Configuration | ⚠️ Тестирование агентов только с демографическими персонами большинства, отсутствие предвзятого отношения к недопредставленным группам |
| Бизнес | Опросы | ⚠️ Опора на общие показатели удовлетворенности, которые маскируют плохой опыт групп меньшинств, заглохших из-за удовлетворенности большинства |
Шаблоны
| Где искать | Как хорошо выглядит |
|---|---|
| Platform | LWC | ✅ Для настраиваемых внедрений чата убедитесь: семантическая HTML-структура с соответствующими ориентирами, оперативные регионы ARIA, анонсирующие новые сообщения, навигация по журналу сообщений с помощью клавиатуры, четкие индикаторы фокуса на интерактивных элементах |
| Platform | LWC | ✅ Тестирование с помощью JAWS, NVDA и VoiceOver на протяжении всей разработки, а не только автоматическое сканирование |
| Конфигурация Agentforce | Agent Configuration | ✅ Настройка ответов агентов на использование простого языка для широкой аудитории; избежание жаргона и предоставление глоссариев для неизбежных технических терминов; структурирование длинных ответов с заголовками и маркерными списками |
| Конфигурация Agentforce | Agent Configuration | ✅ Проверка качества ответов сопоставима на разных языках посредством оценки носителя языка, а не только автоматических показателей, в которых отсутствуют культурные нюансы |
| Конфигурация Agentforce | Agent Configuration | ✅ Для важных для бизнеса сценариев использования, обслуживающих разные языковые группы, настройте обработку языков (языковые переменные, локализованные подсказки, фильтрация статей Knowledge по языку) и проверьте качество на язык, а не полагайтесь исключительно на кросс-языковой перенос модели основы |
Антишаблоны
| Где искать | Как плохо выглядит |
|---|---|
| Platform | LWC | ⚠️ Создание настраиваемых внедрений чата без тестирования доступности вручную (полагается только на автоматическое сканирование) |
| Конфигурация Agentforce | Agent Configuration | ⚠️ Использование жаргона и сложного языка без глоссариев, создание когнитивных барьеров для пользователей |
| Конфигурация Agentforce | Agent Configuration | ⚠️ Использование исключительно базовой модели межъязычного перевода для языков с более низким уровнем ресурсов, что приводит к ухудшению качества для пользователей языков, не принадлежащих большинству населения |
| Конфигурация Agentforce | Agent Configuration | ⚠️ Проверка качества многоязычных ответов только посредством автоматических показателей, в которых отсутствуют культурные нюансы |
Шаблоны
| Где искать | Как хорошо выглядит |
|---|---|
| Бизнес | Управление | ✅ Создание совета по проверке этики с полномочиями по обеспечению соблюдения, прежде чем развертывать производственных агентов |
| Бизнес | Управление | ✅ Определение обязательных ворот развертывания: аудит данных, расчет показателей справедливости и алгоритмическая оценка влияния |
| Platform | CRM Analytics | ✅ Создание базовых панелей мониторинга справедливости в CRM Analytics перед первым развертыванием агента |
| Платформа | Мониторинг событий | ✅ Включите сбор аудита уровня Einstein Trust и настройте мониторинг событий для действий агента в качестве основы перед производством |
| Бизнес | Управление | ✅ Внедрение автоматического регрессионного тестирования справедливости в конвейеры CI/CD для масштабирования |
| Бизнес | Управление | ✅ Стандартизация схем управления согласием во всех новых агентах по мере развертывания |
| Платформа | Интеграция | ✅ Создание инструментария реконструкции решений агента, позволяющего группе самообслуживания по соблюдению |
Антишаблоны
| Где искать | Как плохо выглядит |
|---|---|
| Бизнес | Управление | ⚠️ Развертывание производственных агентов до создания совета по проверке этических норм с полномочиями по обеспечению соблюдения |
| Бизнес | Управление | ⚠️ Считать справедливость запоздалой, а не обязательной вратами развертывания, эквивалентными проверке безопасности |
| Бизнес | Управление | ⚠️ Пропуск алгоритмических оценок влияния перед развертыванием агентов, принимающих последующие решения |
| Platform | CRM Analytics | ⚠️ Развертывание первого производственного агента без базовых панелей мониторинга контроля справедливости |