Las redes sociales potenciaron lo bueno y lo malo de nuestras sociedades. Pero los algoritmos son astutos y saben, tanto como los medios, que lo malo vende más que lo bueno. Nadie compraría un diario con portadas positivas. El odio es rendidor para las redes, porque es el tipo de contenido que más “engage” tracciona, potenciando clicks, vistas, suscripciones y demás interacciones, que son vestidas con publicidad hábilmente comercializada por las empresas Google y Facebook. Gobiernos, tribunales judiciales y organizaciones civiles ya no saben cómo poner freno a esta reacción en cadena. El odio sin control hace metástasis en nuestra sociedad.
En una nota publicada el 22 de noviembre en PERFIL, pusimos foco en dos grupos de odio que apuntaban a nichos muy diferentes: la Agrupación Nueva Soberanía y el canal TLV1. Y señalamos que, mientras uno utilizaba Facebook e Instagram –red social que pertenece a la empresa de Mark Zuckerberg– apuntando su comunicación a captar jóvenes y adolescentes, el otro privilegiaba un segmento latinoamericano con más de 40 años, simulando ser un canal de televisión de aire cualquiera que sube su material a YouTube, que es de Google. Intentar que estos gigantes tecnológicos den de baja este tipo de material es prácticamente imposible, por lo cual, como se verá, creamos un algoritmo propio para analizar y efectivamente corroborar el antisemitismo y la incitación a la violencia de estos canales.
Público y algoritmos
TLV1 llegó a tener 190 mil suscriptores (dos puntos de rating asegurados), con 33 millones de visualizaciones, producto de 3 mil videos en sus años de historia. Con solo picar algunos de los videos, el odio a los judíos emergía abiertamente, lo mismo que la fijación antivacuna y evidentes llamados a la violencia o al alzamiento hacia las instituciones gubernamentales que, gracias a la publicación de PERFIL, se hicieron públicos.
Si un usuario sigue a un grupo neonazi, Google y Facebook le darán contenidos similares
¿Antes no eran públicos? Sí, pero dentro de burbujas. Los algoritmos sugieren grupos y materiales que las plataformas detectan como del agrado de tales usuarios, por lo cual, si estos siguen, por ejemplo, a un grupo neonazi, Facebook y Google los ayudarán a que potencien su odio poniendo al alcance más contenidos similares. De lo contrario, no cualquier navegante llega a verlos tan fácilmente.
Tras publicarse la nota señalada, las dos empresas ofrecieron personal para ayudar sobre el caso. El primer obstáculo se presentó en la manera en que dichas compañías evalúan lo que es un “grupo de odio”. En YouTube Argentina, puntualizaron que no veían nada raro en el canal TLV1, si bien ya habían recibido denuncias sobre sus videos.
¿Censura? Decidimos advertirles a las plataformas que acudiríamos a la Justicia para que tomaran cartas en el asunto. En el mundo entero se está debatiendo, precisamente, cómo deben lidiar las plataformas con la información –y la desinformación, mal llamada “fake news”–, y hasta qué punto pueden “censurar” ciertos contenidos.
En el video anexo, desde el minuto 16.26, puede verse la reacción de TLV1 a nuestra primera nota:
Claramente hay cosas que, desde un punto de vista ético, superan cualquier umbral, como la pornografía infantil y la incitación a cometer delitos violentos. Pero ¿hasta qué punto deberían Google y Facebook dar de baja contenidos maliciosos que publique, por ejemplo, Donald Trump en búsqueda de un beneficio político? Y es justo en este límite donde se apoyan las tecnológicas para invocar la libertad de expresión al oponerse a moderar ciertos contenidos, apelando a la “no responsabilidad de intermediarios”.
De fondo, igual, hay un tema económico: mientras más gente consuma más contenido en YouTube, Facebook, Instagram y el resto de las redes, más plata ganan los barones de Silicon Valley. Pero, frente a un reclamo legal, como podría ser una violación de derechos de autor por un stream ilegal de un partido de fútbol, sí actúan. Luego de advertirles, Google y Facebook removieron los videos y publicaciones detectadas claramente como discriminatorias antes de que la Justicia pudiese ver las pruebas.
- Lección uno:
YouTube baja un canal si recibe tres denuncias válidas en un término de noventa días; o sea que, si cada 91 días publicamos un video de odio, la plataforma mantendrá a salvo el canal y solo eliminará el video.
La Justicia argentina, mientras tanto, se preguntaba si aquellos eran grupos de odio o apenas cuentas con dos o tres videos donde se deslizaba una que otra “frase desafortunada”. Con recursos humanos tan limitados, ¿quién de un juzgado iba a mirar 3 mil horas de videos para llegar a una conclusión? Si bien, por ejemplo, en la Ciudad de Buenos Aires existe la Fiscalía 22 a cargo de Mariela de Minicis especializada en discriminación, no hay un solo fallo sobre el delicado asunto acontecido en plataformas digitales. Es un tema complicado para la Justicia argentina, que no termina de encontrarle la vuelta.
En un polémico fallo conocido como Belén Rodríguez, la Corte Suprema aceptó que las plataformas son intermediarios, pero consideró que tienen responsabilidad en la difusión de la información, al igual que un medio de comunicación. Pero, aunque existe el marco legal, los tiempos de la Justicia hacen que sea prácticamente imposible frenar rápidamente la viralización de contenidos que violen la ley. Y las plataformas deberían tener centenares de editores controlando qué contenidos están distribuyendo.
Libertad de expresión. Dos miedos nos asaltaron:
- si la Justicia se movía rápido y las plataformas apelaban cualquier resolución hasta la última instancia, ¿quién de nosotros invertiría todo ese tiempo?
- ¿Correríamos el riesgo de causar el efecto contrario y ayudar a estos grupos a fortalecerse como arteras “víctimas de censura”?
YouTube, por caso, aclaró que no iba a gastar recursos en chequear 3 mil horas de video y que su posición era “defender la libertad de expresión”. Dicho sea de paso: la “libertad de expresión” estaba garantizada no bien el video fue emitido y las plataformas no son las guardianas de tales derechos, sino las leyes y los jueces. Así, defender la libertad de expresión funciona como un relato para evitar el trabajo y gasto económico de detectar y remover estos materiales. Además, el argumento es falaz: las grandes plataformas gastan cientos de millones de dólares al año para crear sistemas automáticos que detectan violaciones de copyright como también la aparición de pornografía infantil o contenidos que muestren mutilaciones. ¿Por qué les cuesta tanto con los grupos de odio?
- Lección dos:
Antes de cazar a un grupo de odio, especular con que, de algún modo, las plataformas “son ellos” o van a protegerlos.
Cabe destacar que ninguna de las dos plataformas cuenta con una persona en nuestro país para estos casos, todo es tomado por su gente de relaciones públicas, que trata de mediar y al mismo tiempo elevar el caso internamente. Países con poca relevancia como los nuestros solo tienen personal vinculado a la venta de publicidad.
Había que saltar la primera barrera. Salir de las “frases desafortunadas” para demostrar la existencia de un “eje temático” que demostrara que estábamos frente a un grupo de odio. Nos vimos en la obligación de contestar con datos. De los 3 mil videos de TLV1, tomamos un playlist de 73 videos de una hora cada uno. A cada video se le generaron los subtítulos de manera automática, para posteriormente insertarlos en una base de datos, relacionando cada línea de texto con el minuto y segundo exactos de la grabación para poder verificar, luego, cualquier resultado de manera visual.
Las plataformas y la justicia tienen las herramientas adecuadas para detectar los dicursos de odio
A esta base de datos le preguntamos, por ejemplo: ¿cuántas veces mencionaron la palabra “judío” en las 73 horas de grabación? Resultado: 129 coincidencias en 29 de los 73 videos.
Si bien la palabra judío no es ofensiva, por experiencia es la que más probabilidades tiene de ser utilizada con motivaciones de odio dentro de un grupo de estas características.
El abogado especializado en grupos de odio Raúl Martínez Fazzalari verificó manualmente, uno por uno, los contextos y si la frases enteras representaban o no un delito. De las 129 menciones de la palabra “judío”, encontró que treinta eran estigmatizantes o de contenido discriminatorio. En las mismas se vincula directamente al “judío” con las finanzas, el dominio del mundo, el control de empresas. Las expresiones están enmarcadas en supuestas clases o comentarios de expertos o conferencistas. Si tomamos la totalidad de las menciones, es evidente que existe un ensañamiento, una búsqueda concreta de desacreditar, descalificar o estigmatizar a una colectividad o a individuos específicos.
En el 40 por ciento de los videos se mencionaba la palabra “judío” con un ritmo de 4,44 veces por hora. Habíamos logrado buscar, en un segundo, términos que nos llevaran a encontrar discursos de odio, usando datos y verificando solo las coincidencias.
Cierre. Una vez analizada esta playlist, que representaba el 0,02 por ciento del total del material, lo hicimos público en el programa Lanata sin filtro por Radio Mitre y se lo informamos a las plataformas con la base completa a su disposición. YouTube dio de baja el canal TLV1, con 190 mil seguidores, al día siguiente.
Una vez cerrado TLV1, comenzaron a circular por las redes de la plataforma y otros grupos de simpatizantes muestras de apoyo a “tamaña censura de JewTube” como la llamaron en un grupo de Telegram.
Al percibir que todo su trabajo se había arruinado, se empezaron a emitir mensajes intimidatorios contra el autor de este informe desde otras cuentas, que aún permanecen abiertas. Después difundieron mi identidad y mi foto. Todo ese fascismo y antisemitismo cayó sobre mis cuentas sociales.
- Lección tres:
No existe un protocolo de “manejo del odio” interplataformas.
Facebook. Que Google tomara la determinación de cerrar el canal TLV1 no fue suficiente para que Facebook cerrara sus cuentas allí. El grupo utilizó estas últimas para reorganizar su tropa y lanzar sus ataques personales. Pero más fue la sorpresa cuando apareció en YouTube un “canal dormido” de TLV1, llamado TLV1 Archivo, con solo 4 mil suscriptores, en el que se subió un video extendiendo de sus insultos a Jorge Fontevecchia y a Jorge Lanata, conductor del programa de radio que se hizo eco de la nota. Se nos acusaba de formar parte de lobbies judíos que operan enquistados en Argentina o de responder a sus intereses. Así como también de ser “operadores políticos” en detrimento de la libertad de expresión.
Temiendo ataques físicos directos, comunicamos a Facebook y a Google que la falta de un protocolo nos había expuesto, ya que es desde sus plataformas desde donde coordinan las agresiones amenazantes. En principio, no hubo respuestas. Pero bastó con emitir el audio del video en Radio Mitre para que YouTube, dos horas después, diera de baja el canal secundario llamado TLV1 Archivo.
- Lección cuatro:
Lo que más les duele a las plataformas son las denuncias públicas de sus malas prácticas.
Tarea pendiente. Facebook-Instagram permaneció inmutable. También la Fiscalía 22. En tanto, TLV1 se recompone del golpe utilizando Facebook.
Doblamos la apuesta. Insertamos diez veces más videos que en el primer muestreo y llegamos a una base de datos de un millón de líneas de texto y 740 horas de video del canal en cuestión. Nuestro objetivo inicial es encontrar la mayor cantidad de frases posible que involucren actitudes de odio para documentar nuestro trabajo. Pero, sobre todo, se trata de lograr que las plataformas y la Justicia se hagan cargo y actúen, ya que no es tan difícil reconocer discursos y grupos de odio usando las herramientas a su disposición para evitar, o al menos limitar, que se difundan.
Para colaborar con nuestra investigación podés ingresar a http://investigacion.perfil.com y ayudarnos a detectar frases que sean delito.
*Experto en tecnología.
Doctrina legal de la discriminación
El discurso de odio significa una manifestación discriminatoria expresa, ya sea en la comunicación oral o escrita, que tiene el fin de alentar y promover el desprecio hacia una persona o grupo de personas por sus caracteres físicos, sexo, creencia, religión o nacionalidad.
La Ley 23.592 define la discriminación como aquella que arbitrariamente impida, obstruya, restrinja o menoscabe el pleno ejercicio de los derechos y garantías fundamentales reconocidos en la Constitución Nacional. Y se consideran particularmente actos discriminatorios aquellos cercenamientos de derechos determinados por motivos como la raza, religión, nacionalidad, ideología, opinión política o gremial, sexo, posición económica, condición social o caracteres físicos.
Las penas fijadas en la norma aumentan para aquellos que persigan a una raza, religión o nacionalidad, o destruir en todo o en parte a un grupo nacional, étnico, racial o religioso. La ley contempla a los grupos que realizaren propaganda basados en ideas o teorías de superioridad de una raza o de un grupo de personas de determinada religión, origen étnico o color, o que tengan por objeto la justificación o promoción de la discriminación racial o religiosa en cualquier forma.
También se pena a aquellos que alentaren o iniciaren la persecución o el odio contra una persona o grupos de personas a causa de su raza, religión, nacionalidad o ideas políticas. En los últimos años, la doctrina administrativa y judicial amplió el concepto de discriminación, llevándolo a las expresiones que por su dogmatismo e ideología de odio se focalizan en grupos o personas comprendidas en los parámetros establecidos por la ley. La estigmatización y ensañamiento de esos colectivos o personas son considerados discriminatorios para nuestro marco positivo. n
*Raúl Martínez Fazzalari. Abogado especialista en delitos informáticos.
