AI 道德和治理 - 模式
了解有关构建良好的公平性的更多信息 → 实践符合道德的 AI 治理
模式
| 何处查看 | 好样的 |
|---|---|
| Einstein | 训练数据 | ✅ 在训练预测模型之前,对 Salesforce CRM 数据进行人口统计表征差距和测量不一致的审计 |
| Einstein | 训练数据 | ✅ 历史转换数据按客户人口统计进行分析,以识别需要过度抽样或额外数据收集的代表性不足的细分 |
| Einstein | 部署 | ✅ 公平性评估被视为相当于预测模型投入生产前的安全审查的强制门 |
| Einstein | 部署 | ✅ 在部署前计算受保护小组的人口统计均等、平等机会和差别影响率 |
| Einstein | 部署 | ✅ 公平性度量根据五分之四规则(80% 阈值)进行评估,作为模型部署之前所有客户细分的筛选触发器,而不是合法的通过/失败线 |
| Einstein Discovery | 仪器仪表 | ✅ 预测模型决策数据(预测输入、输出和模型版本)通过 Einstein Discovery 和支持偏见检测的自定义仪器捕获 |
| CRM Analytics | 监控 | ✅ CRM Analytics 仪表板分析捕获的预测模型决策数据,以了解一段时间内跨人口统计组的决策模式 |
| CRM Analytics | 监控 | ✅ CRM Analytics 警报会在人口统计均等或平等机会度量偏离可接受阈值时触发 |
| Einstein | 功能工程 | ✅ 使用统计方法分析所有预测模型特征与受保护特征的相关性 |
| Einstein | 功能工程 | ✅ 识别和评估人口统计相关性的代理功能(区域、邮政编码、客户名称模式、活动时间、设备类型) |
| Einstein | 功能工程 | ✅ 在评估预测值是否证明尽管有代理效应仍包含代理后,删除或转换代理特征 |
反模式
| 何处查看 | 什么不好的样子 |
|---|---|
| Einstein | 训练数据 | ⚏ 潜在客户评分基于 10 年的历史数据进行培训,无需检查人口统计表示或服务质量差异 |
| Einstein | 训练数据 | 直接使用历史转换数据,无需审核不同的人口统计是否受到不同的对待 |
| Einstein | 部署 | ⚠ ⸏ Einstein 功能仅根据整体准确性度量进行部署,没有公平性评估 |
| Einstein | 部署 | ⚏ 在生产部署之前,不会计算人口统计对等或不同的影响率 |
| Einstein | Trust 层 | 部署 Agentforce 交互时,没有启用Trust层审计捕获进行偏见检测 |
| CRM Analytics | 监控 | 人口统计组不会随时间跟踪决策模式;偏差偏差不会被发现 |
| Einstein | 功能工程 | ⚠ 假设自动消除偏见,受保护特征将从训练数据中删除 |
| Einstein | 功能工程 | ⚏ 区域、邮政编码和客户名称模式用作不带代理相关性分析的功能 |
| Einstein | 功能工程 | ⚠ 代理功能作为完美的人口统计代理保留,无需评估替代项 |
模式
| 何处查看 | 好样的 |
|---|---|
| Agentforce | Analytics | ✅ CRM Analytics 仪表板使用 Einstein Trust 层审计数据按客户人口统计跟踪 Agentforce 决策结果 |
| Agentforce | Analytics | ✅ 批准率、服务响应时间、升级率和满意度得分按人口统计组分层监控 |
| Agentforce | Analytics | ✅ CRM Analytics 警报被配置为在公平度量违反需要调查的定义阈值时触发 |
| Agentforce | Event Monitoring | ✅ Event Monitoring 日志被路由到外部 SIEM,以进行超过本机保留限制的长期保留 |
| Agentforce | Event Monitoring | ✅ SIEM 查询识别特定用户群的异常集中的消极结果 |
| Agentforce | 字段审计跟踪 | ✅ 在存储 Agentforce 决策数据的自定义对象上启用字段审计跟踪,无限期保留归档历史,直到删除 |
| Agentforce | 字段审计跟踪 | ✅ Field Audit Trail 支持需要重建历史 AI 决策的长期公平审计和监管调查 |
| CRM Analytics | 监控 | ✅ CRM Analytics 仪表板跟踪公平信号:决策分配的突变、偏见相关个案的峰值、特定人群的性能下降 |
| CRM Analytics | 监控 | ✅ 当任何客户群的批准率每周下降超过 15% 需要公平调查时触发警报 |
反模式
| 何处查看 | 什么不好的样子 |
|---|---|
| Agentforce | Analytics | 决策结果不会由人口统计跟踪;偏差偏差不会随着数据分布的变化而被发现 |
| Agentforce | Analytics | ⚏ 服务质量度量未按人口统计组分层;差异性结果仍不可见 |
| Agentforce | Event Monitoring | Event Monitoring 日志依赖于本地保留限制,无需外部 SIEM 即可进行长期公平性审计 |
| Agentforce | Event Monitoring | ⚠ 没有跨大量交互分析决策模式;错过了异常浓度 |
| Agentforce | 字段审计跟踪 | 未启用现场审计跟踪;无法为监管调查重建历史 AI 决策 |
| CRM Analytics | 监控 | 公平性信号不受监控;决策分配的突变不受关注 |
模式
| 何处查看 | 好样的 |
|---|---|
| Einstein | 训练数据 | ✅ 通过在培训前过度抽样代表性不足的细分或过度抽样代表性强的细分来重新平衡 Salesforce CRM 数据 |
| Data 360 | 架构 | Data 360 在多个组织中聚合数据,确保预测模型的训练集多样化 |
| Einstein | 训练数据 | ✅ 合成数据生成通过不同的隐私技术补充稀疏细分,同时保护隐私 |
| Einstein | 功能工程 | ✅ 代理功能由提供预测功能的替代功能取代,没有人口统计相关性 |
| Einstein | 功能工程 | ✅ 当区域用作人口统计代理时,使用行业分类或公司规模,而不是区域 |
| Einstein | 功能工程 | ✅ 当名称与人口统计相关时,使用公司属性,而不是客户名称模式 |
| Agentforce | 后处理 | ✅ 决策阈值按人口细分调整,以使模型培训后的结果率相等,但在美国,第七章(1991年民权法)禁止按受保护类别调整与就业相关的决策的分数或截止值,其他司法管辖区则施加自己的约束 |
| Agentforce | 后处理 | ✅ 不同的上下文使用不同的置信度阈值,以实现公平的批准率,同时使用相同的基础预测模型 |
| Agentforce | 后处理 | ✅ 阈值调整有文件证明企业有理由实行差别待遇,承认在美国,没有文件证明第七编下与就业相关的决定符合每个组的得分或截止调整 |
| Einstein | 模型重新训练 | ✅ 建立季度或事件驱动的再培训计划,捕捉新出现的偏见模式,并纠正偏离原始公平基线的情况 |
| Einstein | 模型重新训练 | ✅ 公平性度量在生产部署前对每个模型版本进行重新验证,确保重新培训不会引入新的偏见 |
反模式
| 何处查看 | 什么不好的样子 |
|---|---|
| Einstein | 训练数据 | 直接使用培训数据,无需重新平衡代表性不足或代表性过高的细分 |
| Einstein | 训练数据 | ⚏ 不同的人口细分没有合成数据或跨组织聚合的补充 |
| Einstein | 功能工程 | ⚠ 保留代理功能,而不评估提供预测功能的替代功能,没有人口统计相关性 |
| Agentforce | 后处理 | 相同的置信度阈值应用于所有人口细分,而不会均衡结果率 |
| Agentforce | 后处理 | ⚠ 通过阈值调整实行的差别待遇缺乏书面的业务理由,或者在美国根本就适用于与就业相关的决定,其中第七章禁止按受保护类别调整分数或截止值,而不管文件如何 |
| Einstein | 模型重新训练 | ⚏ 模型已部署,并且从未重新训练;新出现的偏差模式和偏差未更正 |
| Einstein | 模型重新训练 | ⚠ 重新训练发生在不重新验证公平度量的情况下;新的偏见被无声地引入 |
模式
| 何处查看 | 好样的 |
|---|---|
| Einstein Discovery | UX | ✅ Einstein Discovery 解释显示预测因素在决策点显示在 Lightning 组件中 |
| Einstein Discovery | UX | ✅ 解释显示了哪些变量最能影响特定预测,并对决策点的用户产生方向性影响 |
| Einstein Discovery | UX | ✅ 针对不同的受众进行分层解释:业务用户、技术用户、客户和审计员 |
| Einstein Discovery | UX | ✅ 业务用户看到“此潜在客户得分高,因为年收入超过 100 万美元,参与度得分位于前 10%” |
| Einstein Discovery | UX | ✅ 技术用户可以看到带有功能权重、训练数据特征和验证度量的模型卡 |
| Einstein Discovery | UX | ✅ 客户看到“此推荐基于您最近的购买和具有相似偏好的客户” |
| Einstein Discovery | UX | ✅ 审核员可以看到 Einstein Discovery 和模型管理器的完整决策谱系,其中包含模型版本、输入值和推动预测的因素 |
| Einstein Discovery | UX | ✅ 预测置信度以适合用户的术语显示为类别(高置信度、中等置信度、需求审查),并带有解释 |
| Einstein Discovery | UX | ✅ 置信度类别解释了置信度对决策可靠性的含义,以及将进行哪些额外审查 |
反模式
| 何处查看 | 什么不好的样子 |
|---|---|
| Einstein Discovery | UX | 说明在部署后被改装到不透明的系统上,而不是从一开始就在架构中构建可解释性 |
| Einstein Discovery | UX | 预测解释需要导航来区分 CRM Analytics 仪表板,而不是显示在决策点 |
| Einstein Discovery | UX | 用户会看到抽象的模型性能度量,而不是在决策影响他们的透明解释 |
| Einstein Discovery | UX | 说明不因受众而异;向客户或业务用户显示技术模型卡 |
| Einstein Discovery | UX | 显示原始预测分数 (0.73),但没有解释数字的含义或哪些因素推动了预测 |
| Einstein Discovery | UX | 置信度显示为用户在没有可靠性或审查上下文的情况下误解的概率百分比 |
模式
| 何处查看 | 好样的 |
|---|---|
| Einstein | Trust 层 | ✅ Einstein Trust 层自动记录提示、响应、接地源和 Trust 信号,无需自定义仪器 |
| Einstein | Trust 层 | ✅ 数据保留策略的制定符合行业和司法管辖区不同的监管要求(例如,FINRA 规则 4511(b) 设置了默认的六年保留期,HIPAA 要求合规文档至少保留六年) |
| CRM Analytics | 监控 | ✅ CRM Analytics 仪表板分析捕获的预测模型决策数据,以了解决策模式、公平度量和模型随时间的绩效 |
| CRM Analytics | 监控 | ✅ CRM Analytics 镜头按置信度、人口统计细分和结果类型显示预测分布 |
| CRM Analytics | 监控 | Einstein Discovery 数据趋势图识别需要调查的异常模式 |
| 平台 | 字段审计跟踪 | ✅ 在存储 AI 决策数据的自定义对象上启用字段审计跟踪,无限期保留归档历史,直到删除同意记录、覆盖决策和偏见报表 |
| 平台 | Event Monitoring | ✅ Event Monitoring 捕获 Agentforce 对话脚本、工具调用和决策点 |
| 平台 | Event Monitoring | ✅ Event Monitoring 日志通过平台事件路由到外部 SIEM,用于防篡改存储 |
| 平台 | Event Monitoring | ✅ SIEM 查询检测大量 Agentforce 交互中的偏见模式 |
反模式
| 何处查看 | 什么不好的样子 |
|---|---|
| Einstein | Trust 层 | 部署 Agentforce 交互时,未启用 Trust 层审计捕获或定义保留策略 |
| Einstein | Trust 层 | ⚠ 保留策略未考虑特定行业的监管要求(金融服务、医疗保健) |
| CRM Analytics | 监控 | 不会分析捕获的预测模型决策数据;不会随时间跟踪决策模式和公平度量 |
| 平台 | 字段审计跟踪 | AI 决策审计跟踪依赖于标准的 18 个月字段历史,而不考虑监管保留要求 |
| 平台 | 字段审计跟踪 | 未在具有同意记录、覆盖决策和偏见报表的对象上启用字段审计跟踪 |
| 平台 | Event Monitoring | Event Monitoring 日志依赖于本地保留限制,无需外部 SIEM 即可进行防篡改的长期存储 |
| 平台 | Event Monitoring | ⚠ 不分析 Agentforce 交互日志中大量数据的偏见模式 |
模式
| 何处查看 | 好样的 |
|---|---|
| 治理 | 欧盟 AI 法案 | ✅ 高风险 AI 系统通过透明度文档、技术文档、人员监督能力和准确性/公平性度量进行记录 |
| 治理 | 欧盟 AI 法案 | Einstein Trust 层审计跟踪和 Discovery 模型卡为欧盟 AI Act 透明度要求提供了基础 |
| 治理 | 欧盟 AI 法案 | ✅ 模型训练数据人口统计、验证方法和已知限制记录在架构决策记录中 |
| 治理 | GDPR | ✅ 系统在数据主体访问请求时间范围内(因司法管辖区而异,在 15 至 45 天内)按需生成任何历史决策的一致解释 |
| 治理 | GDPR | ✅ 捕获的预测模型决策数据和 Einstein Discovery 解释因子存储时有足够的保留,支持 GDPR 的解释权解释重建 |
| 治理 | 算法问责制 | ✅ 在部署后续 AI 之前,进行算法影响评估,作为主动合规,而不是被动响应 |
| 治理 | 算法问责制 | ✅ 捕获的预测模型决策数据和 CRM Analytics 公平性监控仪表板为算法责任报告提供了数据基础 |
反模式
| 何处查看 | 什么不好的样子 |
|---|---|
| 治理 | 欧盟 AI 法案 | ⚠ 部署高风险 AI 系统时没有透明度文档、人员监督能力或公平性度量 |
| 治理 | 欧盟 AI 法案 | 模型训练数据人口统计和已知限制未记录在架构决策记录中 |
| 治理 | GDPR | ⚏ 系统无法在 GDPR 数据主体访问请求时间范围内为历史决策生成一致的解释 |
| 治理 | GDPR | 捕获的预测模型决策数据保留不足以支持过去决策的解释重建 |
| 治理 | 算法问责制 | 在后续 AI 部署之前,不会进行算法影响评估;合规性在监管查询后是反应性的 |
模式
| 何处查看 | 好样的 |
|---|---|
| 平台 | OWD | ✅ 为包含敏感客户数据的对象建立专用组织范围默认设置,并通过角色层次结构和共享规则授予访问权限 |
| 平台 | OWD | ✅ 具有明确共享拨款的私人 OWD 创建可审计的访问模式,支持不歧视合规 |
| 平台 | 字段级安全性 | ✅ 包含受保护特征(种族、宗教、残疾状态)的敏感字段通过 FLS 对没有合法业务需求的用户隐藏 |
| 平台 | 字段级安全性 | ✅ 通过 FLS 删除对大部分简档敏感字段的读取访问权限;通过具有文档证明的权限集授予访问权限最少 |
| 平台 | 分配和路由 | ✅ 分配规则、队列和全方位路由根据客观条件在区域、团队和服务客服人员之间公平分配工作 |
| 平台 | 共享规则 | ✅ 自动共享规则基于客观标准(行业、地理位置、产品线),而不是经理主观判断 |
| 平台 | 权限集 | ✅ 通过具有记录到期权限集授予对敏感数据的临时访问权限,而不是永久修改简档 |
| 平台 | 权限集 | ✅ 当特定项目需要访问人口统计数据时,计划流会在定义的时间段后自动撤销权限集 |
反模式
| 何处查看 | 什么不好的样子 |
|---|---|
| 平台 | OWD | 公共读/写 OWD 使稍后限制访问具有破坏性(收紧默认触发器会重新计算共享);不存在可审计的访问模式 |
| 平台 | OWD | ⚏ 客户 OWD 设置为“公用读/写”,所有用户都可以看到未受保护的人口统计字段,从而启用主观偏见 |
| 平台 | 字段级安全性 | 敏感人口统计字段对所有简档可见,没有 FLS 限制;不会阻止歧视性数据使用 |
| 平台 | 共享规则 | ⚠ 手动共享将高价值业务机会集中在特定的用户群体,而没有记录的业务理由 |
| 平台 | 共享规则 | ⚠ 共享规则依赖于主观经理酌处权,而不是允许偏见的客观标准 |
| 平台 | 权限集 | ⚏ 简档被永久修改,影响所有用户,而不是通过权限集授予临时访问权限 |
| 平台 | 权限集 | 授予敏感数据访问权限的权限集不会自动过期;访问权限在项目完成后会无限期保留 |
模式
| 何处查看 | 好样的 |
|---|---|
| Shield | Event Monitoring | ✅ Shield Event Monitoring 跟踪对包含受保护特征或敏感属性的字段的访问 |
| Shield | Event Monitoring | ✅ Event Monitoring 查询跟踪谁访问人口统计字段,何时以及在什么上下文中检测异常模式 |
| Shield | Event Monitoring | ✅ 异常访问模式(突然峰值、意外用户访问)触发潜在滥用的调查 |
| 平台 | 报告 | ✅ 报表分析共享规则如何在用户、团队和区域之间分发记录,并按客户人口统计计算分发统计数据 |
| 平台 | 报告 | ✅ 报表确定特定用户组在没有书面证明的情况下获得宝贵记录过多访问权限的集中点 |
| 平台 | 设置审计跟踪 | ✅ 审查设置审计跟踪,了解对 OWD 设置、共享规则、FLS 配置和权限集的更改,以检测未经授权的更改 |
| 平台 | 事务安全性 | ✅ 事务安全性策略处理高风险实时事件监控事件(异常 API 活动、可疑登录、大量导出敏感数据);FLS 和共享更改依赖于设置审计跟踪和记录的更改管理批准 |
反模式
| 何处查看 | 什么不好的样子 |
|---|---|
| Shield | Event Monitoring | ⚠ 不监控对敏感人口统计字段的访问;不会发现潜在的滥用 |
| Shield | Event Monitoring | 不会跟踪或调查异常访问模式(峰值、意外用户) |
| 平台 | 报告 | 未分析共享规则分配;对宝贵记录的过度访问仍不可见 |
| 平台 | 报告 | 高价值客户集中在特定的用户群体中,缺乏有据可查的业务理由 |
| 平台 | 设置审计跟踪 | 未审查设置审计跟踪;未检测到对启用敏感数据访问的数据访问控制的未授权更改 |
| 平台 | 事务安全性 | ⚠ 高风险实时 Event Monitoring 事件(异常 API 活动、大量导出敏感数据)不使用事务安全性策略进行处理 |
模式
| 何处查看 | 好样的 |
|---|---|
| 平台 | 自定义对象 | ✅ 通过自定义同意对象跟踪目的、授予日期/方法、撤销日期和相关用户/联系人 ID,启用每个 AI 用例的精细同意 |
| 平台 | 自定义对象 | ✅ 客户同意 Einstein 产品推荐,同时通过每个用例的单独同意记录拒绝 AI 驱动的信用决策 |
| 平台 | 字段审计跟踪 | ✅ 在同意对象上启用字段审计跟踪,以便长期保留,满足监管要求 |
| Data 360 | 同意 | Data 360 同意管理用于 Einstein 个性化功能,通过映射到隐私数据模型的连接器接收和存储同意首选项,并将其用作细分和激活时的筛选条件 |
| Data 360 | 同意 | ✅ 同意类别映射到特定的 AI 用例,使用户能够在维护核心服务的同时选择退出个性化 |
| Marketing Cloud | 同意 | ✅ Marketing Cloud 同意与 Einstein 消息传递见解和 Agentforce 市场营销代理集成,尊重订阅状态 |
| Marketing Cloud | 同意 | ✅ Marketing Cloud 同意状态会在 Agentforce 启动自动外联之前查询,以防止与选择退出的用户产生不必要的联系 |
反模式
| 何处查看 | 什么不好的样子 |
|---|---|
| 平台 | 自定义对象 | ⚏ AI 同意在电子表格中跟踪,或依赖作为无明确记录的隐式一揽子同意的登录 |
| 平台 | 自定义对象 | 使用整体 AI 同意,而不是按用例细化同意;用户无法选择退出特定 AI 功能 |
| 平台 | 字段审计跟踪 | 未在同意对象上启用字段审计跟踪;未维护满足监管要求的长期保留 |
| Data 360 | 同意 | Data 360 同意未用于 Einstein 个性化;同意类别未映射到特定用例 |
| Marketing Cloud | 同意 | Marketing Cloud 同意未与 Einstein 或 Agentforce 集成;订阅状态未在自动外联中遵守 |
模式
| 何处查看 | 好样的 |
|---|---|
| Experience Cloud | 简档设置 | ✅ 用户通过 Experience Cloud 简档设置或我的设置中的可访问首选项控制,选择退出 Agentforce 交互,并清楚地描述 |
| 平台 | 用户/联系人记录 | ✅ AI 首选项存储在用户或联系人记录中,可在流和 Agentforce 决策逻辑中启用查询 |
| Agentforce | 全方位 | ✅ 选择退出 Agentforce 的用户通过全方位路由到人工客服人员,而不是接收降级服务 |
| Agentforce | 流 | ✅ 在 Agentforce 参与前,流会检查同意和首选项字段;如果用户选择退出,则会创建工作记录并将其路由到人工队列 |
| Agentforce | 全方位 | ✅ 人工队列人员配置为选择退出的用户提供与自动化服务相似的等待时间 |
| 平台 | 用户/联系人记录 | ✅ AI 首选项存储在用户或联系人记录中,确保渠道之间的一致性(Web、手机、电子邮件) |
| 平台 | 流 | ✅ 首选项在所有交互流中一致查询,防止用户需要在每个渠道上重复声明首选项 |
反模式
| 何处查看 | 什么不好的样子 |
|---|---|
| Experience Cloud | 简档设置 | ⚏ 选择退出仅通过电子邮件提供给支持团队;可访问的首选项控制不存在 |
| 平台 | 用户/联系人记录 | ⚏ AI 首选项未存储在用户或联系人记录中;首选项无法在流或 Agentforce 逻辑中查询 |
| Agentforce | 全方位 | ⚏ 选择退出的用户会收到降级服务,作为接受 AI 的隐式压力,而不是路由到人工客服人员 |
| Agentforce | 流 | 流不会在 Agentforce 参与前检查同意或首选项字段;将忽略选择退出首选项 |
| 平台 | 用户/联系人记录 | 渠道之间的首选项不一致;用户必须分别在 Web、手机、电话和电子邮件上重新声明选择退出 |
模式
| 何处查看 | 好样的 |
|---|---|
| 治理 | 文档 | ✅ 每个生产预测模型都有训练数据人口统计、公平度量、预期用例、偏见缓解策略和监控方法记录 |
| 治理 | 文档 | ✅ 模型文档包含公平性监控方法、警报阈值、人员监督要求、审查时间表和监管注意事项 |
| 平台 | 自定义对象 | ✅ 模型文档使用自定义模型对象或附加到项目的 Salesforce Files 存储在 Salesforce 中,启用可搜索性和版本控制 |
| 治理 | 部署网关 | ✅ 部署前公平大门需要培训数据审计、公平度量计算、影响评估、人员监督设计以及生产前的透明度审查 |
| 治理 | 部署网关 | ✅ 培训数据表示差距被分析并记录为强制部署网关 |
| 治理 | 部署网关 | ✅ 人口统计均等、平等机会和差别性影响的计算符合作为强制门限的阈值 |
| 治理 | 部署网关 | ✅ 影响评估将受影响人群的潜在伤害评估为强制入口 |
| 治理 | 部署网关 | ✅ 人员监督设计,包括升级模式、审批工作流和覆盖机制,作为强制网关进行设计和测试 |
| 治理 | 部署网关 | ✅ 解释功能作为强制门对所有决策类型进行验证 |
| 治理 | 部署网关 | ✅ 公平大门与有权阻止部署失败任何大门的安全大门同等严格 |
反模式
| 何处查看 | 什么不好的样子 |
|---|---|
| 治理 | 文档 | 部署 Einstein 功能时,无需记录训练数据、公平度量、偏见缓解或监控方法 |
| 治理 | 文档 | ⚠ 示例文档不包含公平性监控方法、人员监督要求或监管注意事项 |
| 平台 | 自定义对象 | 模型文档存储在电子表格或维基中,没有可搜索性或版本控制 |
| 治理 | 部署网关 | ⚠ ️ Einstein 功能在没有公平门的情况下进入生产阶段;部署完全基于整体准确性度量 |
| 治理 | 部署网关 | ⚏ 在生产部署之前,会跳过培训数据审计、公平度量计算或影响评估 |
| 治理 | 部署网关 | ⚠ 生产前不执行人工监督设计、透明度审查或解释验证 |
| 治理 | 部署网关 | 公平大门仅提供建议,无权阻止部署;尽管公平标准失败,模型仍会继续 |
模式
| 何处查看 | 好样的 |
|---|---|
| 治理 | 审核委员会 | ✅ 审核委员会包括技术专家(架构师、数据科学家)、业务利益相关者、法律顾问、隐私专家和受影响社区的代表 |
| 治理 | 审核委员会 | ✅ 在道德审查期间,不同视角会暴露出同质群体缺失的公平问题 |
| 治理 | 审查触发器 | ✅ 定义了审查触发器:影响就业/信贷/住房/医疗保健/法律权利的决定、影响每年 >10 万用户的系统、新用例、重大伤害风险 |
| 治理 | 审查触发器 | ✅ 使用敏感个人数据(健康、财务、人口统计)的 AI 应用程序需要在部署前进行道德审查 |
| 治理 | 审查机构 | ✅ 道德审查委员会有权要求更改、强制实施监控条件或阻止部署不符合道德标准 |
| 平台 | 自定义对象 | ✅ 所有审核都记录在 Salesforce 自定义对象跟踪申请名称、审核日期、提出的顾虑、缓解要求和批准条件中 |
反模式
| 何处查看 | 什么不好的样子 |
|---|---|
| 治理 | 审核委员会 | 审核委员会缺乏多样性(仅限技术专家);同质群体忽略了影响不同人群的公平问题 |
| 治理 | 审核委员会 | ⚠ 受影响社区的代表不包括在内;公平考虑的盲点会导致 |
| 治理 | 审查触发器 | 未定义审查触发器;高风险 AI 应用程序在部署前未经道德审查而继续 |
| 治理 | 审查机构 | 道德审查仅提供咨询,不强制执行;部署仍在失败的道德标准下继续(问责制区域) |
| 平台 | 自定义对象 | 审查没有系统记录;没有跟踪历史审查决策、关注和缓解措施 |
模式
| 何处查看 | 好样的 |
|---|---|
| CRM Analytics | 监控 | ✅ CRM Analytics 仪表板按照预定节奏从捕获的决策数据和 Trust 层审计数据中跟踪 Einstein 和 Agentforce 公平性度量 |
| CRM Analytics | 监控 | ✅ 人口统计均等、平等机会、不同影响比率和服务质量度量按客户细分监控 |
| CRM Analytics | 监控 | ✅ CRM Analytics 警报被配置为在公平度量违反需要调查的定义阈值时触发 |
| CRM Analytics | 监控 | ✅ CRM Analytics 仪表板跟踪公平信号:决策分配的突变、偏见相关个案的峰值、特定人群的性能下降 |
| CRM Analytics | 监控 | ✅ 当任何细分的批准率每周下降超过 15% 需要公平性调查时,触发 Einstein 业务机会得分的警报 |
| 治理 | 计划审计 | ✅ 高风险 AI(信用、就业、医疗)的全面公平审计每季度进行一次,风险较低的系统每半年进行一次 |
| 治理 | 计划审计 | ✅ 审计检查当前的公平度量,审查覆盖模式,分析用户反馈和偏见报表,并验证治理控制是否有效 |
| 治理 | 事件响应 | ✅ Salesforce Knowledge 中记录了清晰的事件响应流程,以便在检测到偏见时做出响应 |
| 治理 | 事件响应 | ✅ 通过在 CRM Analytics 中查询预测模型决策数据,进行即时严重性评估;严重偏见会在调查前暂停自动决策 |
| 治理 | 事件响应 | ✅ 临时缓解通过调整置信度阈值、功能禁用或客服人员完全暂停来实施更多的人工监督 |
| 治理 | 事件响应 | ✅ 根本原因分析识别偏见是如何输入或演变的;训练数据、模型版本和配置更改通过现场审计跟踪进行分析 |
| 治理 | 事件响应 | ✅ 永久补救实施数据更正、模型再培训或流程更改,并与受影响用户进行适当沟通 |
| 治理 | 事件响应 | ✅ 预防措施记录在运行手册中,防止偏差事件再次发生 |
反模式
| 何处查看 | 什么不好的样子 |
|---|---|
| CRM Analytics | 监控 | 公平性度量不会按照捕获的决策数据或 Trust 层审计数据中的任何计划节奏进行跟踪;偏差偏差不会随着数据分布的变化而检测到 |
| CRM Analytics | 监控 | 未配置 CRM Analytics 警报;不会触发需要调查的公平度量违规 |
| CRM Analytics | 监控 | 公平性信号不受监控;决策分配的突变不会被检测到 |
| 治理 | 计划审计 | ⚠ 全面公平审计未按任何计划进行;治理控制偏差且无效 |
| 治理 | 计划审计 | 覆盖模式、用户反馈和偏见报表在审计期间没有系统分析 |
| 治理 | 事件响应 | 没有记录明确的事件响应流程;偏见检测导致没有系统方法的临时响应 |
| 治理 | 事件响应 | 临时缓解或永久补救没有系统地实施;影响用户的偏见持续存在 |
| 治理 | 事件响应 | 未进行根本原因分析;输入或演变的偏差如何仍未知 |
| 治理 | 事件响应 | 预防措施没有记录;没有防止复发 |
模式
| 何处查看 | 好样的 |
|---|---|
| 平台 | 必填字段 | ✅ 每个必填字段都有记录的业务理由,说明为什么数据是必填项,而不是可选项;进程可以不运行的字段通过下游处理缺失值而变为可选项 |
| 平台 | 必填字段 | ✅ 电子邮件是可选的替代通信方法(短信、电话、邮政邮件),因此没有可靠的互联网或个人电子邮件的用户不会被从帐户创建中排除 |
| 平台 | 名称字段 | ✅ 名称架构使用单个全名字段或灵活的多部分结构,在不假设顺序或继承的情况下适应单名、称谓系统和多个给定或家族名称 |
| 平台 | 名称字段 | ✅ 名称字段使用不同的国际名称进行测试,接受单字名称、长名称、变音符、撇号、连字符和非拉丁字母(阿拉伯语、中文、西里尔、梵文) |
| 平台 | 地址验证 | ✅ 当结构验证失败时,允许的地址验证接受自由形式的输入,并在用户输入地址时存储地址,而不是强制进行无效的更正 |
| 平台 | 地址验证 | ✅ 地址验证内置于履行流程中,准确性在操作上至关重要,而不是预先阻止数据捕获 |
| 平台 | 通信首选项 | ✅ 首选通信方法存储在联系人记录中,并在所有出站系统中一致遵守,提供全方位替代方案,而不是单渠道假设 |
| 自定义对象 | 人口统计数据 | ✅ 自愿人口统计数据通过带有“宁愿不回答”选项的单独调查收集,存储在带有私人 OWD 的自定义对象中,受 FLS 限制,并仅用于聚合公平性分析 |
| Shield | Event Monitoring | ✅ Shield Event Monitoring 记录人口统计数据的访问事件(报表导出、API 对象查询),以审计访问模式 |
| 平台 | 第三方丰富 | ✅ 在实施前,对第三方丰富供应商进行公平性测试、人口统计覆盖率和准确性、推理方法和合同数据使用限制的审计 |
反模式
| 何处查看 | 什么不好的样子 |
|---|---|
| 平台 | 必填字段 | ⚏ 创建客户需要电子邮件,没有其他选择,电话或地址验证拒绝非美国格式、邮政信箱和乡村路线,无法提供数据的用户除外 |
| 平台 | 必填字段 | ⚏ 字段被标记为必填项,而没有记录流程是否可以在没有数据的情况下运行,从而从被拒绝的不完整记录中创建不可见的人群 |
| 平台 | 名称字段 | 名称字段强制实施西部第一/最后约定,并拒绝单名、变音符或非拉丁字母,使用户遭受基于文化身份的系统拒绝 |
| 平台 | 地址验证 | ⚠ 地址验证需要美国邮政格式,无法识别国际地址、邮政信箱、军事 (APO/FPO) 或部落土地地址,阻止客户创建和服务交付 |
| 平台 | 通信首选项 | ⚠ 假设单个通信渠道是通用的(仅限电子邮件或仅限电话),不包括没有互联网、没有电话接入或耳聋或听力障碍的用户 |
| 自定义对象 | 人口统计数据 | 人口统计数据从没有用户 Knowledge 的名称或位置推断出来,存储在对所有用户可见的标准联系人字段中,并在没有披露的情况下用于潜在客户评分或预测 |
| 平台 | 第三方丰富 | 附加第三方数据时没有审计供应商公平做法或人口统计覆盖范围,将供应商引入的偏见导入组织决策 |
模式
| 何处查看 | 好样的 |
|---|---|
| 平台 | 分配和路由 | ✅ 分配和路由规则使用客观标准(产品线、SLA、语言要求),分配每季度审计一次,按客户人口统计分层,以确保不会出现集中模式 |
| 平台 | 全方位 | ✅ 在路由路径中监控平均处理时间、首次联系解决率和客户满意度,以检测客户群是否系统地接待了经验较少的客服人员 |
| 平台 | 流 | ✅ 审查做出相应决策的流是否符合与受保护特征(客户期限、渠道首选项、购买历史、工作时间)相关的标准,并将决策逻辑记录在架构决策记录中 |
| 平台 | 流 | ✅ 影响就业、信贷或服务访问的高风险流与 AI 系统一样需要遵循相同的道德审查流程 |
| 平台 | 验证规则 | ✅ 验证规则使用不同的数据(国际地址、非西方名称、备用电话格式)进行测试,并在拒绝合法数据时进行扩展;名称字段接受 Unicode 和所有脚本 |
| 平台 | 区域设计 | ✅ 在最终确定设计之前,跨建议的区域边界映射客户人口统计数据;在出现集中的地方,评估资源分配是否公平,并记录和监测业务理由 |
| 平台 | 审计 | ✅ 自动化逻辑(业务规则、分配标准、流决策)记录在 Salesforce Knowledge 或 ADR 中,结果按人口统计(分配分配、流批准率、验证拒绝率和区域资源分配)进行季度分层审计 |
反模式
| 何处查看 | 什么不好的样子 |
|---|---|
| 平台 | 分配和路由 | 分配规则根据历史赢得率将潜在客户从特定邮政编码优先分配到“表现最佳的客户”,而不检查该成功是否反映了技能或人口统计优势 |
| 平台 | 全方位 | 没有跨客户细分监控路由质量度量,因此客服人员体验或分辨率的差异不会被检测到 |
| 平台 | 流 | 流决策条件与受保护的特征(期限、渠道、购买量、时区)相关,并被视为客观,因为确定性逻辑感觉中立 |
| 平台 | 流 | 高风险流做出相应的决策,而无需道德审查、ADR 文档或处理典型客户简档之外的用户 |
| 平台 | 验证规则 | ⚏ 名称验证仅限于 A-Z,并拒绝变音符或非拉丁字母,地址验证需要美国邮政格式 — 合法数据被拒绝,用户放弃未报告的请求 |
| 平台 | 区域设计 | ⚏ 区域边界遵循与人口统计相关的地理位置,不同区域的薪酬或人员配置不同,并且没有人口统计集中的分析 |
| 平台 | 审计 | 自动化逻辑未记录,结果从未审计,因此分配、批准、验证或区域分配中的歧视性模式仍不可见 |