跳到主要内容
返回文章列表
治理与伦理1 分钟阅读

当模型出错时,谁来负责

人工智能治理不是一份原则文件。它是对一个简单而不舒服的问题的回答:当自动化建议造成损害时,责任线上写的是谁的名字?

作者:Dorian Lacerda

只有当你能对每一个在生产环境运行的系统回答一个具体问题时,人工智能治理才真正存在:谁,以姓名和职务,为它给出的建议负责?

如果这个回答需要时间、需要牵扯一个委员会,或者最终落到「技术部门」,那就没有治理。有的只是一份原则文件,那是另一回事,而且保护不了任何人。

为什么原则性政策不够

多数声称「已经有人工智能治理」的组织,实际拥有的是一串形容词:负责任、透明、公平、以人为本。没有人会反对,而这正是它不起作用的原因。

所有人都同意的原则,无法解决两个原则相互冲突的时刻,而那恰恰是唯一需要治理的时刻。准确率对可解释性。速度对复核。个性化对隐私。治理就是决定哪一方让步、以及由谁来决定的机制。

四个最低要件

1. 每个系统有一位具名负责人。 不是一个部门,而是一个人。此人拥有暂停该系统的正式权力,并且在选择不暂停时有义务书面记录理由。

2. 按后果分级,而不是按技术分级。 决定管控严格程度的,不是这个系统用的是语言模型还是回归模型,而是它出错时会对一个人造成什么。推荐下一篇文章的模型和筛选简历的模型,需要完全不同的管理机制。

3. 记录人的决定,而不只是模型的输出。 保存模型推荐了什么很容易,也远远不够。审计时真正重要的是,人拿到这条建议后做了什么、为什么,尤其是在他不同意的时候。

4. 一条真正可用的申诉通道。 受自动化决策影响的人,必须能够要求人工复核,并在规定期限内得到答复。这是巴西 LGPD 规定的权利,也是检验治理是否只存在于纸面的最诚实的标准。

如果从来没有人推翻过任何系统,这不能证明系统足够好,只能证明推翻这件事并不存在。

把良知外包出去的错误

有一种反复出现的模式:企业聘请供应商,供应商提交自己的合规报告,组织便认为此事已了。

并没有。对客户、监管机构和受影响员工的责任,无法通过合同转移。供应商对你负责,而你对整个世界负责。一份措辞严谨的合同可以分摊经济损失,但分摊不了责任。

董事会的具体职责

董事会不写人工智能政策,也不应该写。属于董事会的,是定期提出三个问题,并且拒绝含糊的回答:

  • 哪些在运行的系统会影响涉及人的决策,包括客户、应聘者和员工,每一个由谁负责?
  • 过去一年里,有多少次是人推翻了自动化建议?之后发生了什么?
  • 如果其中一个系统明天造成损害,最初 48 小时的行动顺序是什么?

第三个问题最容易打乱会议节奏,也是唯一能揭示究竟是有准备还是只有自信的问题。

根本的一点

自动化决策是正当的,在许多情况下甚至优于孤立的人类判断。不正当的是,把责任也一并自动化。

系统没有过错,没有意图,也无法被追责。每当一个组织说得像是模型做了决定,就说明有人放弃了决定,而这才是治理的失败,不是模型的错误。

分享LinkedIn当模型出错时,谁来负责

欢迎分享,请注明作者并附上原文链接。

电子通讯

Insights — Inteligência Conectada

人工智能、治理与决策,服务于企业的长期生命力,直接送到您的收件箱。

没有垃圾邮件。随时一键退订。

相关阅读

Ilustração editorial sobre longevidade e o futuro do trabalho
长寿与工作的未来1 分钟阅读

长寿已经不再是人力资源的议题

到 2050 年,巴西将有近三分之一人口年满 60 岁。领导者现在就必须决定:把它当作看不见的成本,还是当作这十年最大的价值机会。

阅读文章
Ilustração editorial sobre consultoria estratégica e inteligência artificial
人工智能与管理1 分钟阅读

人工智能时代的咨询业

人工智能不会杀死咨询业,它会杀死咨询业中早已沦为大宗商品的那部分,并且毫不留情地暴露那些把幻灯片数量当作判断力来卖的人。

阅读文章