Quem responde quando o modelo erra

Só existe governança de inteligência artificial quando é possível responder a uma pergunta específica sobre cada sistema em produção: quem, com nome e cargo, responde pelo que ele recomenda?

Se a resposta demora, envolve um comitê ou termina em "a área de tecnologia", não há governança. Há um documento de princípios, que é outra coisa, e não protege ninguém.

Por que política de princípios não basta

A maioria das organizações que "já tem governança de IA" tem, na verdade, uma lista de adjetivos: uso responsável, transparente, justo, centrado no ser humano. Ninguém é contra. É exatamente por isso que não funciona.

Princípios com os quais todo mundo concorda não resolvem o momento em que dois princípios entram em conflito, que é o único momento em que governança é necessária. Precisão versus explicabilidade. Velocidade versus revisão. Personalização versus privacidade. Governança é o mecanismo que decide qual cede, e quem decide.

Os quatro elementos mínimos

1. Um responsável nomeado por sistema. Não uma área: uma pessoa. Com autoridade formal para suspender o sistema e obrigação de registrar por escrito quando escolhe não suspendê-lo.

2. Classificação por consequência, não por tecnologia. O que define o rigor do controle não é se o sistema usa um modelo de linguagem ou uma regressão. É o que acontece com uma pessoa se ele errar. Um modelo que sugere o próximo artigo e um que tria currículos exigem regimes diferentes.

3. Registro da decisão humana, não só do output. Guardar o que o modelo recomendou é fácil e insuficiente. O que importa em uma auditoria é o que a pessoa fez com a recomendação e por quê, especialmente quando discordou.

4. Um caminho de contestação que funcione. Quem foi afetado por uma decisão automatizada precisa poder pedir revisão humana e receber resposta em prazo definido. Direito previsto na LGPD e, na prática, o teste mais honesto de que a governança existe fora do papel.

Se ninguém nunca vetou um sistema, isso não é sinal de que os sistemas estão bons. É sinal de que o veto não existe.

O erro de terceirizar a consciência

Há um padrão que se repete: a empresa contrata um fornecedor, o fornecedor apresenta seu próprio relatório de conformidade, e a organização considera o assunto resolvido.

Não está. Responsabilidade perante o cliente, o regulador e o funcionário afetado não é transferível por contrato. O fornecedor responde perante você; você responde perante o mundo. Um contrato bem escrito distribui o prejuízo financeiro, não distribui a responsabilidade.

O papel específico do conselho

Conselho não escreve política de IA e não deve escrever. O que cabe ao conselho é fazer três perguntas, com regularidade, e não aceitar respostas vagas:

• Quais sistemas em produção influenciam decisões sobre pessoas, clientes, candidatos, funcionários, e quem responde por cada um?
• Em quantos casos, no último ano, um humano reverteu a recomendação automatizada? E o que aconteceu depois?
• Se um desses sistemas causar dano amanhã, qual é a sequência de ações nas primeiras 48 horas?

A terceira pergunta é a que mais desorganiza reuniões. Ela também é a única que revela se existe preparo ou apenas confiança.

O ponto de fundo

Automatizar decisão é legítimo e, em muitos casos, melhor que o julgamento humano isolado. O que não é legítimo é automatizar a responsabilidade junto.

Sistemas não têm culpa, não têm intenção e não podem ser responsabilizados. Toda vez que uma organização fala como se o modelo tivesse decidido, alguém deixou de decidir, e essa é a falha de governança, não o erro do modelo.