Se sabe poco del Poder Judicial en la Argentina, pero hay dos temas en los que hay un consenso casi unánime: los expedientes deambulan durante años o décadas en los tribunales y se trata de un Poder poco reconocido por la transparencia y con poco avance tecnológico, en el que todavía persiste el trabajo con el expediente en papel y no digitalizado. Sin embargo, el Ministerio Público Fiscal de la Ciudad Autónoma de Buenos Aires empezó a utilizar un software que se llama Prometea, que busca, en parte, atacar estos problemas.
¿Qué hace Prometea?
Prometea puede predecir la solución de un expediente a través de inteligencia artificial (IA). Su insumo es la información de miles de expedientes anteriores. Al sistema ingresan todos esos documentos. Lo que hace el software es sugerir un dictamen en base a lo que se resolvió en casos análogos anteriores y reemplaza, así, la tarea que habitualmente realiza un humano de forma manual. Su rol más llamativo está en la predicción de soluciones. Si ya existen casos idénticos en los que ya se resolvió de una forma, ¿para qué cambiar?
También automatiza el control de los plazos procesales, es decir que advierte a la fiscalía cuando está por vencer el tiempo que tiene el Ministerio Público para dictaminar. Y reduce los tiempos de elaboración de pliegos para contrataciones del Ministerio Público, a través de preguntas que el sistema hace al usuario.
Hagamos un dictamen
Pero, ¿cómo funciona Prometea? El empleado de la fiscalía abre el software en su computadora (o su celular) y se encuentra con una estética de diseño similar a una conversación de WhatsApp. Prometea pregunta cuál es la función que desea utilizar: predecir la solución de un expediente, detectar soluciones anteriores para un caso (rol de “asistente”), elaborar un pliego para una contratación o controlar los plazos procesales. El empleado elige.
Va a la primera opción. A continuación introduce el número del expediente que está tratando. Se trata de un caso que tiene que haber ingresado en la Fiscalía General, que es la última instancia de la Justicia porteña, la que actúa ante el Tribunal Superior de Justicia (TSJ) porteño. Por eso, ya pasó por las dos instancias anteriores de la Justicia porteña: el Juzgado y la Fiscalía de primera instancia, así como la Fiscalía de Cámara y la Cámara de Apelaciones. El sistema ya cuenta con la información de todo lo que pasó en esta causa en las instancias anteriores. Los expedientes no están digitalizados, pero sí los fallos y dictámenes. De eso se nutre Prometea.
Luego de introducir el número de expediente, Prometea arroja los links a los fallos y dictámenes de las instancias anteriores para que queden de referencia y de fácil acceso, y pocos segundos después, a la derecha de la pantalla, presenta el proyecto de dictamen, basado en lo que anteriormente la Fiscalía resolvió en casos similares. Sólo le faltan dos cosas: los número de fojas (los expedientes no son digitales y por eso no se puede automatizar la ubicación en el expediente) y la firma del fiscal.
Si el fiscal está de acuerdo con la solución sugerida por Prometea, firma el dictamen propuesto y se envía al Tribunal Superior de Justicia (TSJ), la última instancia de la Justicia porteña.
Cuestionan que la web de subastas judiciales tenga link a sitio privado
Hasta el momento, para la tarea de “predicción” se dictaron 149 dictámenes. En su mayoría (135) se trata de casos de derecho a la vivienda o amparos habitacionales y los 14 restantes son demandas de docentes estatales por sus salarios. En la mayoría de los casos reclaman que sea remunerativo el componente de “material didáctico” y, en otros casos, lo que se debate es si el Fondo Nacional de Incentivo Docente debe ser pagado por la Nación o la Ciudad.
En formato “asistente”, Prometea fue utilizado en 658 dictámenes emitidos por el Ministerio Público Fiscal desde octubre de 2017 hasta mediados de 2020. Esto puede significar una búsqueda rápida y efectiva de la legislación vigente sobre el tema del expediente y de fallos anteriores vinculados con el tema. De esa cifra, 219 corresponden al Fuero Contravencional, Penal y de Faltas y 439 al Fuero Contencioso Administrativo y Tributario.
El fuero penal, afuera
El software fue creado por el Laboratorio de Inteligencia Artificial de la Universidad de Buenos Aires (UBA), una iniciativa que llevan adelante en conjunto el Ministerio Público Fiscal porteño y la Facultad de Derecho de la Universidad de Buenos Aires (UBA). Sus directores son Daniel Pastor, penalista y secretario de Investigación de la UBA, y Juan Gustavo Corvalán, fiscal general adjunto del Ministerio Público porteño, quien además de ser abogado tiene una especialización en machine learning del Instituto Tecnológico de Massachusetts (MIT).
El software comenzó a utilizarse en noviembre de 2017 en el área que comanda Corvalán y luego se sumó la entonces Fiscalía General Adjunta en lo Penal, Contravencional y de Faltas, aunque la tarea predictiva del programa sólo se utiliza en el Fuero Contencioso Administrativo y Tributario.
Pero la Justicia porteña atiende cada vez más expedientes penales, porque la Nación ha ido transfiriendo distintos tipos penales que antes atendía la Justicia Nacional ordinaria. Y a partir de este año se encarga de algunos delitos de la “ley de drogas”, que fueron pasados de la órbita federal a la ordinaria. Sin embargo, Prometea no predice dictámenes del fuero penal. Sólo automatiza procesos reiterativos, como por ejemplo la carga manual que requiere cada expediente relacionado con causas de alcohol al volante. Ahora se carga una sóla vez, y luego Prometea lo automatiza. Reduce tiempos, pero no predice resultados.
Las autoridades a cargo de Prometea dan una explicación técnica y una política de por qué evitan esa “predicción”. La técnica: en la Justicia porteña los procesos penales en las primeras instancias son orales. Esto le quita al software los insumos con los que trabaja, que son los fallos y dictámenes escritos. La política: el penal es un fuero más sensible, en el que se puede decidir incluso acerca de la libertad de una persona.
Tampoco las instancias inferiores del fuero Contencioso, Administrativo y Tributario utilizan Prometea en su función de predecir un dictamen, pero sí se usa para otras tareas de “asistente” y para la búsqueda de soluciones en los precedentes, una suerte de enciclopedia.
Puede fallar
En su formato “predictivo”, Prometea se utilizó en 149 dictámenes y la mayoría de los casos fueron amparos habitacionales. Aunque su rol es dictaminar, en el 90% de los casos el fiscal coincidió con lo propuesto por Prometea, pero no sucedió así en el 10% restante.
Estos dictámenes, en los que el fiscal no coincidió con la propuesta de Prometea, se basan en la interpretación de un precedente del Tribunal Superior de Justicia de la Ciudad. A los mayores de 60 años y a los discapacitados (fallo “K.M.P”), el Estado les debe garantizar un alojamiento. Y el resto de las personas vulnerables tienen derecho a acceder a políticas sociales (no a alojamiento), con prioridad para los que tienen niños a cargo.
De acuerdo con datos oficiales del Ministerio Público de la Ciudad, hay 4 casos en los que Prometea interpretó que correspondía aplicar lo que el sistema clasifica como “persona sola”, es decir, personas en situación de vulnerabilidad, pero que no son mayores de edad ni discapacitados y tampoco tienen hijos a cargo, y el resultado fue incorrecto. En 3 de ellos el fiscal señaló que había menores a cargo y en el restante se trataba de un caso de discapacidad.
Hay otros 6 casos en los que Prometea propuso aplicar el precedente por discapacidad (es decir, el que propone una solución habitacional) y la propuesta, según Corvalán, era incorrecta. En 3 de ellos correspondía aplicar el criterio de menores a cargo y en los 3 restantes, de “persona sola”. Si bien automatiza procesos, la mirada del fiscal sigue siendo imprescindible para corroborar lo que interpreta el software, sobre todo para, aún agilizando los trámites, evitar las injusticias.
Un debate con plena vigencia
“La cuarta revolución industrial llegó y esto lo que provoca es que un poder conservador y paralizado comienza a agilizarse”, explica a Chequeado el abogado constitucionalista Andrés Gil Domínguez, que forma parte de la Comisión Consultivo que asesora al presidente Alberto Fernández sobre reformas en la Justicia y acaba de publicar un libro titulado Inteligencia Artificial y Derecho. “Es un hecho disruptivo e innovador, aunque se trata de una inteligencia artificial predictiva débil. No tiene capacidad de autonomía y sólo sirve como apoyo a la decisión final de los fiscales”, señala sobre Prometea.
El especialista plantea que el sistema podría ser mucho más ambicioso. “Con una inteligencia artificial fuerte se puede aspirar a que el software se nutra de los derechos vigentes en la legislación y, de esta manera poder, ampliar derechos y beneficios. Si sólo automatiza en base a lo que ya se hizo, es un mero repetidor de patrones”. Y eso, si la Justicia no ha funcionado bien, puede ser incluso un problema.
Matías Werner, abogado penalista y especialista en cibercrimen y evidencia digital, sostiene que es positivo “todo lo que sirva para la aceleración y dinamización de la Justicia, siempre que sea en el camino de desburocratizar”, y agrega: “La discusión también radica en dos cuestiones: incorporar herramientas para ‘automatizar’ el expediente -es decir, un software que realice con mayor eficiencia tareas repetitivas (notificaciones, resoluciones que son de trámite) y/o incorporar un software que ‘tome’ decisiones en este tipo de expedientes”. Explica que esto último no sería conflictivo “en temas menores que no requieren mayor debate y que acumulan muchos expedientes en tribunales, como las ejecuciones fiscales, infracciones de tránsito o litigios de defensa del consumidor”.
Sin embargo, “en temas penales podría ser más problemático”, señala. “Si alguien tuviera que decidir sobre tu libertad, ¿preferís que te juzgue una persona, que te mira a los ojos en una audiencia, o un robot? El problema principal es que no se conoce con qué criterios se va a resolver si los códigos con los que se programa ese software no son abiertos y la comunidad no puede acceder a los mismos. En un aspecto más práctico, la pregunta es si respeta los parámetros constitucionales la utilización de un programa que haga predicciones sobre la posibilidad de que un reo reincida, y sobre ese criterio conceder o no una libertad condicional”.
“Ahora bien, el método utilizado actualmente no es completamente fiable, pero por lo menos sabemos cuál fue el razonamiento -equivocado o no- que tomó el magistrado para adoptar la decisión”, concluye Werner.
El Ministerio Público Fiscal porteño asegura que el tipo de inteligencia artificial utilizada es restringida. “Es trazable en la medida en que podemos conocer cómo llega a los resultados que obtiene”, explica el Ministerio Público. De esta manera, aseguran, evita lo que se conoce como “caja negra, que logra un desempeño superior al humano sin que las personas comprendan cabalmente cómo se obtiene ese resultado”.
“Prometea no funciona como un algoritmo de caja negra, sino que es completamente trazable y permite explicar de una manera clara y sencilla cómo se arriba a una determinada propuesta de solución. Asimismo, lo más importante es que el dictamen jurídico que se crea con Prometea, es revisado manualmente por el fiscal a cargo, previamente a firmarla y enviarla al Tribunal Superior de Justicia”, señala en un informe el Banco Interamericano de Desarrollo (BID), que financió parcialmente el desarrollo del software.
Esta “restricción” a la inteligencia artificial se origina en que el Ministerio Público Fiscal coincide con lo que plantean los críticos de los sistemas de “caja negra”. “Creemos que el Estado no puede utilizar un sistema de caja negra para resolver cuestiones que impactan en los derechos fundamentales de las personas. La justificación es simple: el Estado tiene que poder justificar, motivar y explicar sus decisiones”, explica en sus informes el Ministerio Público porteño.
Y agrega: “Como técnicamente es imposible trazar un sistema de Inteligencia Artificial de caja negra (basado en redes neuronales artificiales), entonces, por ahora no es posible autorizar el uso estatal cuando se trata de incidir en los derechos fundamentales de las personas”.
El ejemplo internacional, entre la agilización y el sesgo
La inteligencia artificial se está haciendo presente en los sistemas de Justicia de muchos países. Incluso Prometea se utiliza también en algunos juzgados de Mendoza, Corrientes y la Provincia de Buenos Aires, y ha sido “exportada” a Colombia, donde es utilizada por la Corte Constitucional de ese país. Allí funciona con el nombre de Pretoria y tiene la meta de descongestionar un sistema colapsado.
El máximo tribunal colombiano recibe cerca de 2.700 amparos diarios, que vienen de instancias inferiores en formato papel. No puede tratarlos todos, por eso escoge los más prioritarios. Pero eso también lleva tiempo. Aquí interviene Pretoria: los amparos son escaneados y el sistema creado por el Ministerio Público Fiscal porteño determina en poco tiempo cuáles son prioritarios, de acuerdo con criterios establecidos por la Corte. “Detección y clasificación inteligente”: así es como describen esta tarea las autoridades del Ministerio Público.
Como ocurre con Prometea, la automatización y agilización de procesos ha sido la principal bandera, pero en algunos casos su uso ha despertado duras críticas.
En los Estados Unidos, al menos 10 estados han incorporado el software COMPAS (Correctional Offender Management Profiling for Alternative Sanctions). El sistema, a partir de la digitalización, hace, principalmente, un análisis de riesgo de reincidencia, es decir, de qué chances hay de que una persona detenida, acusada o condenada, vuelva a delinquir. El software se nutre de las respuestas a las preguntas que se le hacen al acusado cuando es detenido.
Pero una investigación de Propublica, un medio sin fines de lucro que hace periodismo de investigación, desató una fuerte polémica en la Justicia americana. El medio analizó los casos de 7 mil personas arrestadas en el Estado de Florida durante dos años. La conclusión fue que al comparar a una persona negra y a otra blanca con la misma edad, género, historial delictivo y otros factores, la persona negra tenía un 45% más de chances de obtener un puntaje con alto riesgo que la persona blanca, pese a que el cuestionario que debe contestar el acusado no incluye el tema racial.
El problema central del sistema de los Estados Unidos es que los acusados no pueden acceder al algoritmo que los consideró riesgosos para conocer qué factores ponderó. Sólo tiene acceso al algoritmo la empresa que diseñó COMPAS, Northpoint, que rechazó las conclusiones de Propublica.
En Brasil también se utiliza inteligencia artificial en la Justicia. Existe un sistema llamado “Victor”, que lee y clasifica todos los recursos extraordinarios que llegan al Supremo Tribunal Federal de Brasil, el máximo organismo judicial del país. El sistema lo desarrolló la Universidad de Brasilia y además convierte en texto imágenes de documentos, separa la parte procesal de lo que se conoce como “decisorio” en los fallos, y otras ventajas que agilizan los procesos del máximo tribunal.
Lo cierto es que estos debates en la Argentina recién comienzan. ¿Y si se dictaminó mal antes? ¿Se replicará el sesgo? ¿En qué momento podría cortarse para evitar fallos que repliquen injusticias previas? ¿Ayudará a liberar tareas burocráticas de los fiscales para enfocarlos más en la investigación? ¿Cuáles podrían ser los próximos pasos de la digitalización? A la par del desafío de resolver viejos problemas, como agilizar expedientes y transparentar procesos, la Justicia también se pone a prueba en nuevas dimensiones.
*Esta nota es una de las ocho investigaciones latinoamericanas sobre las implicancias éticas del uso de inteligencia artificial y algoritmos en políticas públicas y empresas privadas a nivel regional. Todas estas piezas son financiadas por Chequeado gracias al apoyo de Knight Foundation.
