O conselho que aprovava IA sem saber o que aprovava
- Problema
- A companhia tinha onze iniciativas de IA em produção e nenhuma forma de responder, em reunião de conselho, quem respondia por cada uma. Cada aprovação era discutida pelo retorno projetado; nenhuma pelo que aconteceria se o modelo errasse com um cliente real.
- Atuação
- Introdução de um critério simples de classificação por consequência, e não por tecnologia, como pré-requisito para qualquer aprovação. Cada sistema passou a chegar ao conselho com responsável nomeado, cenário de falha explícito e caminho de contestação para o cliente afetado.
- Impacto
- Duas das onze iniciativas foram suspensas por não terem responsável identificável. As nove restantes passaram a ser revisadas trimestralmente com dados de reversão humana. O tempo médio de aprovação caiu, porque a pauta chegava pronta.
O ponto de partida não foi um diagnóstico de tecnologia, e sim a leitura da ata de seis reuniões anteriores. Em nenhuma delas havia registro de pergunta sobre consequência, apenas sobre retorno e prazo.
A classificação por consequência dividiu os sistemas em três faixas: sem efeito direto sobre pessoas, efeito indireto e efeito direto sobre a vida de um cliente ou funcionário. Só a terceira faixa passou a exigir aprovação em conselho; as demais desceram para o comitê executivo. Isso desafogou a pauta e aumentou o rigor onde importava.
A resistência inicial veio da área de tecnologia, que leu a mudança como desconfiança. Foi revertida quando ficou claro que o responsável nomeado ganhava também autoridade formal de veto, o que, na prática, aumentou o poder da área, não o contrário.
O indicador que mais mudou a conversa foi a taxa de reversão humana. Descobriu-se que, em um dos sistemas, ela era zero havia catorze meses. Não porque o sistema fosse bom: porque ninguém sabia que podia reverter.
