El gigante de internet Amazon recientemente se topó con un problema que ilustra de manera elocuente los escollos de los “big data”: trató de automatizar la contratación con un algoritmo de aprendizaje automático, pero al realizar las pruebas se dio cuenta de que simplemente perpetuaba el sesgo de la industria tecnológica contra las mujeres. Lo que más preocupa no es el descubrimiento en sí mismo; es que la mayoría de las compañías que usan algoritmos similares ni siquiera quieren saber.
Bienvenido a la era de la negación plausible en big data.
Hace mucho tiempo que esperaba que sucediera algo así como la falla técnica de Amazon. Hace más de un año, usando como ejemplo la cultura dominada por los hombres en Fox News, expliqué cómo funcionaría.
Los algoritmos de aprendizaje automático analizan datos del pasado para comprender qué tendrá éxito en el futuro. En una empresa con una cultura misógina, la computadora vería que las mujeres han sido ascendidas con menos frecuencia, han tendido a irse rápidamente y han recibido menos aumentos de sueldo. Entonces concluiría que los hombres son mejores empleados, perpetuando e incluso amplificando el sesgo histórico.
El motor de reclutamiento de Amazon hacía un gran esfuerzo para identificar y eliminar a las mujeres. Una universidad de mujeres en la sección de educación de un currículum era un demérito automático. Por el contrario, la presencia de vocabulario típicamente masculino, como "ejecutado", era un punto a favor. Estos son solo dos ejemplos de cómo las computadoras pueden escudriñar datos para encontrar indicadores para las características que desean buscar o evitar. Lo que parece una información irrelevante y sin importancia se correlaciona con cosas como el género, la raza y la clase.
Y nos guste o no, el género, la raza y la clase son muy importantes en cuanto a cómo funciona nuestro mundo, por lo que sus señales son muy fuertes. Esto permite a las computadoras discriminar sin que sus creadores lo hagan intencionalmente.
Lo que hace que Amazon sea inusual es que realmente hizo su diligencia debida, descubrió el sesgo preocupante y decidió no usar el algoritmo.
Eso es mucho más de lo que la mayoría de las empresas pueden decir. Están tratando de fingir que tales problemas no existen, incluso cuando duplican y triplican los algoritmos de reclutamiento, despido u otros algoritmos de recursos humanos, e incluso cuando venden o implementan algoritmos de crédito, seguros y publicidad. Lo sé porque dirijo una empresa que audita algoritmos y he encontrado este mismo problema varias veces.
Lo que ocurre es esto: una persona del área de análisis, generalmente bastante sénior, me pregunta si puedo ayudar a auditar el algoritmo de una empresa para cosas como el sexismo u otros tipos de sesgo que serían ilegales en su campo regulado. Esto conduce a una gran llamada telefónica y promesas de más y mejores llamadas telefónicas. En la segunda llamada, incorporan al asesor legal de la empresa, quien me pregunta una versión de la siguiente pregunta: ¿Qué sucede si usted encuentra un problema con nuestro algoritmo que no podemos solucionar? ¿Y qué pasa si algún día nos demandan por ese problema y, al descubrirlo, se dan cuenta que ya lo sabíamos? Nunca llego a la tercera llamada.
En resumen, las empresas quieren la negación plausible. Pero no podrán esconder sus cabezas en la arena por mucho tiempo. Surgirán más casos como el de Amazon, y los periodistas y reguladores comenzarán a atar cabos.
Lo ideal es que las empresas enfrenten el problema pronto, lo que significará gastar mucho más en reclutamiento, o al menos en asegurarse de que sus algoritmos no sean ilegales, un costo inicial que no disfrutan. Lo más probable es que lo sigan ignorando hasta que atraigan una serie de importantes demandas, posiblemente de reguladores, pero dado el clima actual, probablemente a través de acciones colectivas. Y cuando los demandantes comiencen a ganar, los accionistas reconocerán que los big data no son la bendición que esperaban.
Esta columna no necesariamente refleja la opinión de la junta editorial o de Bloomberg LP y sus dueños.
