El problema existe y es “ineludible”. Lo dice Lorena Etcheverry, profesora del Instituto de Computación de la Facultad de Ingeniería y responsable de ética, sesgos y discriminación de la ciencia de datos en el Centro Interdisciplinario de Datos y Aprendizaje Automático de la Universidad de la República, desde Montevideo, y lo dicen cuatro ingenieras -dos latinoamericanas y dos alemanas- asociadas a la organización Women in AI & Robotics en una conferencia sobre sesgos de género en inteligencia artificial (IA) en Berlin Science Week, uno de los eventos de discusión científica, tecnológica y política más grandes del mundo donde participó Domingo.

Las aplicaciones de IA, también ineludibles en nuestra vida cotidiana, padecen los mismos prejuicios que existen en el mundo real. Técnicos como Etcheverry y organizaciones como Women in AI & Robotics abogan por cambios para que estos sistemas no caigan en actos discriminatorios.

Las ingenieras coincidieron en que la intervención de los gobiernos en materia de regulación es necesaria. “Hoy no es usual encontrar requisitos para el software de este tipo en los pliegos de las licitaciones”, señaló Etcheverry, quien participará del evento Transformación Digital 2023, organizado por el diario El País. No obstante, cree que será una situación ineludible en los próximos años. La postura expresada en la Berlin Science Week fue más dura. Las técnicas manifestaron que las regulaciones “ya están llegando demasiado tarde” debido que la IA -y, por lo tanto, sus sesgos- están completamente incorporados en nuestra vida cotidiana. Una de ellas afirmó: “Debe existir un estándar sistemático para proteger la seguridad pública”.

Solo en materia de género, se pueden encontrar muchos casos. Por ejemplo, si una empresa utiliza un algoritmo para seleccionar personal para un determinado puesto y el algoritmo está entrenado para decidir que las mujeres no son relevantes para el cargo, Maisam Madi, científica de datos y miembro de Women in AI & Robotics, dejó muy clara la consecuencia: “Nuestra trayectoria profesional está siendo bloqueada por una máquina”. Y si otro algoritmo decide que la devolución de un préstamo es más riesgosa si el beneficiario es una mujer, “significa que las mujeres tienen menos posibilidades de abrir sus propios negocios”. Los sesgos por género no solo afectan a los adultos. Lo mismo ocurre si a un varón solo se le presentan videos sobre ciencia o artes marciales en cualquier red social mientras que a una niña solo se le presentan videos de baile o cocina. El algoritmo podría mandarles el mensaje de que solo esas actividades les corresponden.

Los sesgos, además, pueden ser interseccionales, un término que utilizó Etcheverry para explicar que pueden ser entrenados para combinar aspectos de género y raciales, por ejemplo. “Así los efectos son aún más fuertes”, apuntó. Un ejemplo típico de esto es el algoritmo utilizado por el sistema judicial de Estados Unidos que predecía la probabilidad de reincidencia de forma diferente para la población blanca que para la población negra, contribuyendo a que se negara más la libertad condicional para esta última.

“Ya hay formas de evaluar un sistema ya armado o en desarrollo. Lo importante aquí es tomar decisiones y definiciones de carácter político”, señaló Etcheverry. Y agregó: “Hay que evaluar si el algoritmo es justo”. Aquí interviene lo que se conoce como “justicia algorítmica” que no es otra cosa que analizar si se comporta correctamente respecto a las distintas poblaciones a las que está enfocado; por ejemplo, ¿se equivoca con la misma tasa tanto para hombres como para mujeres? Si la respuesta es no, no es un sistema justo.

Foto:

Parte de la solución viene desde el armado de un equipo de trabajo. Un algoritmo será entrenado de forma “más justa” si es diseñado por una gran representatividad de humanos que puedan poner su visión sobre la mesa. “Cuanto más homogéneo sea el equipo de desarrollo es más probable que se le escapen cosas”, dijo Etcheverry. Aquí no solo se debe incrementar la presencia de mujeres en la industria del software, sino también la de profesionales de otras áreas como la sociología, la psicología o hasta la filosofía.

Gabriela Cortes, investigadora científica sobre Alexa, el asistente virtual de Amazon, en Berlín, se puso como ejemplo. Durante un año fue la única mujer en su equipo de trabajo; hoy existe un equilibro entre géneros y hay varias nacionalidades. El cambio significó que se “detectaran más fácilmente problemas” con los algoritmos y se modificaran las bases de datos con las que es entrenado. “Fue tan fácil como que alguien levantó la mano y dijo: En mi cultura eso no es aceptable’”.

Si parte de la industria ha reconocido el problema, ¿eso significa que ha habido mejoras? En la conferencia organizada por Women in AI & Robotics en la Berlin Science Week, se dieron buenas (pero no suficientes) noticias al respecto. Aplicaciones de imágenes como DALL-E han reparado sus algoritmos para reducir los sesgos. Por ejemplo, si se le pedía una imagen de un “CEO inteligente” antes solo ofrecía el retrato de un hombre asiático; ahora puede devolver la imagen de una mujer si se le da de nuevo la orden, dado que “entiende que no es lo que quiere el usuario”. En otros casos, puede responder que no tiene “información suficiente para crear la imagen” solicitada. A juicio de las ingenieras, esta es una respuesta mucho mejor. Por otra parte, exhortan a que si la respuesta no es del agrado del usuario, en especial, porque se sospecha que se debe a un sesgo del algoritmo, se le envíe un correo a la empresa detallando el caso. Cuanto más feedback reciban, más presión sentirán por parte de los usuarios y más posibilidades hay de que mejoren los algoritmos.