批准人工智能却不知道自己在批准什么的董事会
- 问题
- 公司有十一个人工智能项目在生产环境运行,但在董事会上无法回答每个项目由谁负责。每次审批都在讨论预期回报,没有一次讨论如果模型对真实客户出错会怎样。
- 介入
- 引入一个简单标准:按后果分级,而不是按技术分级,并将其作为任何审批的前置条件。每个系统提交董事会时都必须附带具名负责人、明确的失败情形,以及受影响客户的申诉路径。
- 影响
- 十一个项目中有两个因找不到可识别的负责人而暂停。其余九个转为按季度复核,并附带人工推翻率数据。平均审批时间反而下降,因为议题送达时已经准备就绪。
起点不是技术诊断,而是重读此前六次会议的纪要。没有任何一次记录过关于后果的提问,只有回报与时间。
按后果分级把系统分为三档:对人无直接影响、间接影响、直接影响客户或员工的生活。只有第三档需要董事会审批,其余下放至执行委员会。这既疏通了议程,也在真正重要的地方提高了严格程度。
最初的阻力来自技术团队,他们把这项变化读作不信任。当明确具名负责人同时获得正式否决权后,阻力消解,因为这实际上增加了该团队的权力,而非相反。
最能改变讨论方向的指标是人工推翻率。其中一个系统的该数值已连续十四个月为零。不是因为系统足够好,而是因为没人知道自己可以推翻它。
