Por fin las empresas de medios sociales están enfrentando más en serio el acoso en línea. Pero el debate público sobre los peligros de una internet abierta tuvo que llegar a un punto culminante, y que numerosos usuarios, famosos y cotidianos, declarasen que el problema estaba llegando a niveles de crisis, sobre todo para las mujeres, jóvenes y minorías sexuales, étnicas y religiosas alrededor del mundo.

El acoso en línea toma muchas formas, desde comentarios negativos hasta amenazas, acoso y doxing [investigar y publicar maliciosamente datos personales]. El problema se agrava porque este comportamiento es fácilmente ampliado por “bots”. A lo largo de los años, ni las autoridades ni las plataformas en línea han respondido con vigor, lo que incluso ha llevado a acusaciones de que las empresas de medios sociales carecen de la voluntad para hacerlo.

Como les ocurrió a otros antes que a él, la frustración del escritor Yair Rosenberg con los comentarios llenos de odio en Twitter alcanzaron un punto máximo en 2017, y creó un belicoso bot justiciero para engañar a los “trols” y bots que realizaban comentarios antisemitas. Al final, Twitter bloqueó el bot de Rosenberg con el argumento de que violaba las reglas de comentarios spam, pero han estado tomando acción de otras maneras para reducir el acoso.

El año pasado, Twitter dio cuenta de una reducción del acoso tras seis meses del anuncio de las nuevas reglas. Dijeron que las acciones ejercidas contra las cuentas ofensivas aumentaron 10 veces en 2017 comparado con 2016. Facebook también reconoció el creciente problema en 2017, y lanzó nuevas características para evitar el contacto no deseado, y guías de seguridad para personas de alto riesgo, como víctimas de violencia doméstica y periodistas.

Aproximadamente, 2.500 millones de personas en todo el mundo usan medios sociales – muchas en idiomas no admitidos en las principales plataformas – y la tarea de contrarrestar el acoso en todas sus formas requiere una mezcla de enfoques, tanto humanos como automatizados. Algunas empresas están aprovechando la inteligencia artificial (IA) de maneras novedosas como parte de sus intentos para enfrentar el abuso en sus plataformas.

En 2017, Instagram comenzó a tomar medidas contra los comentarios de acoso con una herramienta de IA llamada DeepText, que fue programada por un equipo multilingüe para identificar y filtrar palabras tóxicas y emojis para inglés, árabe, francés, alemán y portugués. A partir del contexto en el que aparece la toxicidad, DeepText identifica palabras adicionales por su cuenta. Los usuarios pueden personalizar su propia palabra y filtros de emoji también. Como revisión final, la IA de Instagram evalúa las relaciones del usuario para juzgar si un comentario ofensivo es realmente tóxico o si tal vez es solo una broma entre amigos.

Gfycat, plataforma de videos breves con más de 130 millones de usuarios diarios, usa IA con el potencial de combatir otra forma de acoso de en línea: “pornografía de venganza” (pornografía no consentida), en la forma de deepfakes.

Los deepfakes son dos videos combinados en uno para imponer la cara de una persona con el cuerpo de otra. La IA de Gfycat reconoce caras y antecedentes que existen en otras partes de internet. Si detecta una incompatibilidad, retira el video. Son buenas noticias para las víctimas famosas, pero no es tan efectivo para personas menos reconocibles.

Aunque la IA puede ser una herramienta útil en la lucha contra el acoso en línea, también hay limitaciones preocupantes que ponen en riesgo la libre expresión. En un caso, el algoritmo de IA de Instagram interpretó la palabra ‘mexicano’ como un insulto, dado su uso frecuente al lado de comentarios de odio contra inmigrantes en Estados Unidos. Los intentos de la moderación automatizada en otras plataformas, como Facebook y Twitter, han silenciado injustamente a activistas y personas de color. La minimización de estos riesgos debería ser el eje de cualquier estrategia que use IA en la lucha contra el acoso en línea, pero es probable que se comentan errores ahora y en el futuro.

Es complicado pedirle a máquinas que naveguen por las sutilezas del lenguaje, pero con la intervención de humanos podría ayudar a hacer que internet sea más segura. Ahora que las plataformas están empezando a responder más al acoso en línea, necesitan trabajar con las comunidades de usuarios para entender mejor los problemas y refinar las guías, reglas y mejores prácticas.

Lectura adicional:

Instagram’s Kevin Systrom Wants to Clean Up the Internet [Kevin Systrom de Instagram quiere limpiar internet], WIRED, agosto de 2017
Facebook’s Secret Censorship Rules Protect White Men From Hate Speech But Not Black Children [Las reglas de censura secretas de Facebook protegen a los hombres blancos del discurso de odio, pero no a los niños negros]. ProPublica, junio de 2017
Artificial intelligence is now fighting fake porn [La inteligencia artificial combate ahora la pornografía falsa], WIRED, febrero de 2018
Deepfakes are disappearing from parts of the Web, but they’re not going away [Deepfakes desaparece de algunas partes de la web, pero no se va], The Verge, febrero de 2018