Ir al contenido
Volver a artículos
Gobernanza y Ética3 min de lectura

Quién responde cuando el modelo se equivoca

La gobernanza de IA no es un documento de principios. Es la respuesta a una pregunta simple e incómoda: cuando la recomendación automatizada cause daño, ¿qué nombre está en la línea de responsabilidad?

Por Dorian Lacerda

Solo existe gobernanza de inteligencia artificial cuando es posible responder una pregunta específica sobre cada sistema en producción: ¿quién, con nombre y cargo, responde por lo que recomienda?

Si la respuesta demora, involucra a un comité o termina en «el área de tecnología», no hay gobernanza. Hay un documento de principios, que es otra cosa y no protege a nadie.

Por qué una política de principios no alcanza

La mayoría de las organizaciones que «ya tienen gobernanza de IA» tienen en realidad una lista de adjetivos: uso responsable, transparente, justo, centrado en las personas. Nadie está en contra. Exactamente por eso no funciona.

Los principios con los que todos coinciden no resuelven el momento en que dos principios entran en conflicto, que es el único momento en que la gobernanza hace falta. Precisión contra explicabilidad. Velocidad contra revisión. Personalización contra privacidad. La gobernanza es el mecanismo que decide cuál cede, y quién decide.

Los cuatro elementos mínimos

1. Un responsable nombrado por sistema. No un área: una persona. Con autoridad formal para suspender el sistema y obligación de registrar por escrito cuando elige no suspenderlo.

2. Clasificación por consecuencia, no por tecnología. Lo que define el rigor del control no es si el sistema usa un modelo de lenguaje o una regresión. Es qué le pasa a una persona si se equivoca. Un modelo que sugiere el próximo artículo y otro que filtra currículos exigen regímenes distintos.

3. Registro de la decisión humana, no solo del output. Guardar lo que el modelo recomendó es fácil e insuficiente. Lo que importa en una auditoría es qué hizo la persona con la recomendación y por qué, sobre todo cuando estuvo en desacuerdo.

4. Un camino de impugnación que funcione. Quien fue afectado por una decisión automatizada necesita poder pedir revisión humana y recibir respuesta en un plazo definido. Es un derecho previsto en la LGPD y, en la práctica, la prueba más honesta de que la gobernanza existe fuera del papel.

Si nadie vetó nunca un sistema, eso no indica que los sistemas sean buenos. Indica que el veto no existe.

El error de tercerizar la conciencia

Hay un patrón que se repite: la empresa contrata a un proveedor, el proveedor presenta su propio informe de cumplimiento, y la organización da el asunto por resuelto.

No lo está. La responsabilidad ante el cliente, el regulador y el empleado afectado no se transfiere por contrato. El proveedor responde ante ti; tú respondes ante el mundo. Un contrato bien redactado distribuye el perjuicio financiero, no distribuye la responsabilidad.

El papel específico del consejo

El consejo no escribe la política de IA, ni debe hacerlo. Al consejo le corresponde hacer tres preguntas, con regularidad, y no aceptar respuestas vagas:

  • ¿Qué sistemas en producción influyen en decisiones sobre personas, clientes, candidatos o empleados, y quién responde por cada uno?
  • ¿En cuántos casos, en el último año, un humano revirtió la recomendación automatizada? ¿Y qué pasó después?
  • Si uno de esos sistemas causa daño mañana, ¿cuál es la secuencia de acciones en las primeras 48 horas?

La tercera es la que más desordena reuniones. También es la única que revela si hay preparación o solo confianza.

El punto de fondo

Automatizar decisiones es legítimo y, en muchos casos, mejor que el juicio humano aislado. Lo que no es legítimo es automatizar la responsabilidad junto con ello.

Los sistemas no tienen culpa, no tienen intención y no pueden ser responsabilizados. Cada vez que una organización habla como si el modelo hubiera decidido, alguien dejó de decidir, y esa es la falla de gobernanza, no el error del modelo.

CompartirLinkedInQuién responde cuando el modelo se equivoca

Se permite compartir con crédito y enlace a la fuente original.

Newsletter

Insights — Inteligência Conectada

IA, gobernanza y decisión para la longevidad de los negocios, directo a tu bandeja de entrada.

Sin spam. Cancelación en un clic, cuando quieras.

Lecturas relacionadas

Ilustração editorial sobre longevidade e o futuro do trabalho
Longevidad y Futuro del Trabajo3 min de lectura

La longevidad dejó de ser un tema de RR. HH.

En 2050, casi un tercio de Brasil tendrá 60 años o más. Quien lidera tiene que decidir ahora si eso es un costo invisible o la mayor oportunidad de valor de la década.

Leer artículo
Ilustração editorial sobre consultoria estratégica e inteligência artificial
IA y Gestión3 min de lectura

La consultoría en la era de la IA

La IA no va a matar a la consultoría. Va a matar la parte que ya era commodity, y a dejar en evidencia, sin anestesia, a quien vendía volumen de diapositivas como si fuera criterio.

Leer artículo