Poner a una persona en el circuito de una decisión automatizada no convierte el resultado en una decisión controlada. Sin conocimiento, tiempo, información y poder real de intervención, la supervisión humana es apenas una puesta en escena.
Hay expresiones que, de tanto repetirse, pierden significado. En muchas regulaciones sobre inteligencia artificial, eso sucede con la “supervisión humana”.
La fórmula aparece en diversos instrumentos —normas, protocolos y guías, incluidos los adoptados por distintos poderes judiciales argentinos— como una suerte de última barrera frente a decisiones capaces de afectar derechos. La idea transmite seguridad, ya que si un sistema produce un resultado y una persona interviene, se supone que la decisión está bajo control.
La confusión surge de equiparar intervención humana con control humano"
Pero la mera presencia de una persona no garantiza que exista supervisión. Del mismo modo que sentar a alguien en la cabina de un avión no lo convierte en piloto, ubicar a una persona en algún punto del proceso tampoco la transforma en supervisora.
En muchos casos, el deber se considera cumplido con solo incluir a alguien en el procedimiento. Sin embargo, quien interviene puede ignorar cómo funciona el sistema de IA, qué información utiliza o cuándo suele equivocarse.
Puede recibir únicamente el resultado, sin acceder a los datos o criterios que permitieron producirlo. Puede disponer de pocos segundos para revisar cientos de recomendaciones o detectar un problema, pero carecer de facultades para apartarse de lo sugerido.
En esas condiciones, la supervisión no es efectiva, sino ficticia. La confusión surge de equiparar intervención humana con control humano. Una persona puede participar de un procedimiento automatizado o semiautomatizado, pero carecer de posibilidades concretas para influir en el resultado.
Para que exista una verdadera supervisión, quien la ejerce debe contar con conocimientos suficientes. No necesita comprender cada detalle técnico, pero sí conocer las capacidades y limitaciones del sistema.
También necesita información y tiempo. No se puede revisar seriamente una conclusión cuando solo se conoce la respuesta final o cuando la tarea se realiza bajo una presión incompatible con un análisis responsable.
Y, sobre todo, necesita poder real de intervención. Debe poder detener o suspender el procedimiento, apartarse de una recomendación o predicción, solicitar información adicionalo modificar el curso de acción cuando resulte necesario.De lo contrario, la persona no supervisa. Se vuelve autómata de la automatización.
La situación se agrava cuando la regulación se limita a imponer un deber genérico desupervisión a quien utiliza el sistema, pero no precisa las obligaciones de la organización encuyo ámbito se emplea la tecnología.
Si algo sale mal, la responsabilidad puede recaer automáticamente sobre esa persona, sin exigir que se examine qué reglas había establecido la organización, qué capacitación había brindado, qué controles había implementado ni hasta qué punto conocía, toleraba o se beneficiaba del uso de esatecnología.
Así concebida, la supervisión corre el riesgo de convertirse en un mecanismo para individualizar culpas y ocultar las responsabilidades institucionales vinculadas con el diseño,la adopción y la organización de la tecnología.
Por lo tanto, el término no debería reducirse a un simple requisito de presencia humana. Debe traducirse en condiciones concretas que permitan comprender y revisar los resultados, junto con facultades reales para intervenir.
A la vez, su intensidad debe guardar proporción con el riesgo. No puede exigirse el mismo grado de control para el envío automatizado de una comunicación de mero trámite que parala adopción de una decisión compleja. Cuanto mayor sea la incidencia sobre derechos ymás graves o irreversibles sus consecuencias, más intensa deberá ser la intervención humana.
El Reglamento de Inteligencia Artificial de la Unión Europea avanza en esa dirección para los sistemas de alto riesgo, exigiendo medidas de supervisión adecuadas y proporcionales, y previendo que quien supervise pueda comprender las capacidades y limitaciones delsistema, interpretar sus resultados y, cuando corresponda, descartarlos o detener su funcionamiento.
De ahí que, al incorporar esta figura, las regulaciones deberían precisar quién supervisará, qué conocimientos deberá tener esa persona, qué información recibirá, de cuánto tiempo dispondrá y qué podrá hacer frente a un resultado cuestionable.
Porque el propósito no es simplemente colocar a un ser humano en el proceso, sino contribuir a que las decisiones sean más fundadas, comprensibles y sensibles al contexto y a las personas afectadas.
Si esas condiciones no se verifican, no hay una regulación efectiva de la supervisión humana. Hay apenas una puesta en escena.
*Funcionario de la Suprema Corte de Justicia de la Provincia de Buenos Aires; docente de posgrado en UBA, Lomas de Zamora, Salamanca, Collège de París; Máster en Inteligencia Artificial ( Centro Europeo de Postgrado); Director del Laboratorio de Innovación Tecnológica de la Facultad de Derecho de la Universidad Nacional de Lomas de Zamora; Director del Área de IA y Justicia en el Laboratorio de Innovación e Inteligencia Artificial de la Facultad de Derecho de la Universidad de Buenos Aires.
