Los “ultrafalsos” están aquí, ¿y ahora qué?

En un video de 2018, Barack Obama miraba a la cámara y advertía:

“Estamos entrando a una era en la que nuestros enemigos pueden hacer que parezca que cualquier persona dice cualquier cosa, en cualquier momento. Aún cuando nunca lo hubiese dicho”.

El del video se parece y habla como Obama. Pero Obama nunca dijo esas palabras.

El video es en realidad un untrafalso (deepfake en inglés, literalmente «falso profundo»): una foto, un video o un audio manipulados con inteligencia artificial para representar a una persona diciendo algo que nunca dijo, o haciendo algo que nunca hizo.

El ultrafalso de Obama fue un proyecto del cineasta Jordan Peele y Jonah Peretti, director ejecutivo de BuzzFeed, con la intención de advertir al público sobre la desinformación en línea. Con herramientas libres (y la ayuda de editores expertos) sobreimpusieron la voz y la boca de Peele en un video existente de Obama.

Esta clase de tecnología ya ha estado por largo tiempo a disposición de cineastas de Hollywood. Pero en los dos últimos años ha avanzado enormemente en accesibilidad y sofisticación.

Los ultrafalsos lograron notoriedad masiva en 2018, con una racha de videos manipulados que usaban inteligencia artificial para poner rostros de celebridades en cuerpos de actores porno. El propio término inglés deepfake viene del nombre de un usuario de Reddit — Deepfakes — que hacía este tipo de videos e inició los subreddits de /r/deepfakes para compartirlos.

El aumento del porno ultrafalso motivó respuestas decisivas de algunas plataformas, varias de las cuales lo clasificaron como pornografía no consentida. Los subreddits de /r/deepfakes fueron prohibidos en febrero de 2018 por esa razón.

Pero el nombre de deepfake quedó. Posiblemente porque parecía tener sentido: ‘profundo’ en referencia a técnicas de ‘aprendizaje profundo’ usadas para crear los medios, y ‘falso’ en referencia a su naturaleza artificial.

La tecnología no solo se está volviendo más accesible, sus aplicaciones también se están expandiendo en múltiples direcciones que incluyen producir ultrafalsos de cuerpo entero, crear suplantaciones en tiempo real y eliminar elementos de videos sin dejar huellas. En todo el mundo crece la preocupación por el impacto negativo que los ultrafalsos pueden tener en personas, comunidades y democracias.

El potencial para el daño es real. Pero Sam Gregory, director de programa de la organización de derechos humanos WITNESS, dice que en vez de dejar que el miedo nos paralice debemos enfocarnos en encontrar soluciones. Publicó un exhaustivo estudio de soluciones al uso malicioso de ultrafalsos y medios sintéticos basadas en conversaciones con expertos en el campo.

En la categoría de soluciones técnicas, muchos investigadores, plataformas y startups están explorando usar inteligencia artificial para detectar y eliminar ultrafalsos. También hay nuevas innovaciones en análisis forense de audio y video con la finalidad de mejorar nuestra capacidad de rastrear la autenticidad y el origen de imágenes y videos, como ProofMode y TruePic, con el fin de ayudar a periodistas y personas a validar y autenticar medios.

Aunque Gregory cree que las soluciones técnicas son importantes, dice que no pueden resolver solas el problema. “Es vital preguntarnos qué comunidades pueden estar excluidas de las soluciones técnicas, y quién tiene control sobre los datos”, dice. “Si las herramientas para rastrear el origen se volvieran obligatorias, se podrían usar como armas contra personas que no tienen acceso a esas herramientas o que eligen permanecer anónimas”.

La alfabetización digital es una solución fundamental que Gregory dice que no se ha estudiado suficientemente: “¿Cómo haces que las personas hagan preguntas cuando una imagen parece ser perfecta?”. Dice que es especialmente apremiante mejorar las calificaciones de profesionales que trabajan con grupos vulnerables y cuyo trabajo podría verse afectado negativamente por tecnología de ultrafalsos, como periodistas y defensores de derechos humanos.

Muchos Gobiernos están tratando de solucionar la desinformación en línea. Pero algunos activistas y académicos son cautos ante una prohibición completa de la tecnología de ultrafalsos. Les preocupa que si una ley concede a funcionarios gubernamentales el poder de decidir qué es verdad y qué es falso, existe el riesgo de que puedan usarlo para censurar opiniones no populares o discrepantes.

Gregory también dice que la sociedad civil debería desarrollar una posición sobre el rol que deben tener las plataformas comerciales. “En muchos aspectos, las plataformas tienen la mejor oportunidad de detectar ultrafalsos porque tienen el mayor cuerpo de datos de entrenamiento. Debemos tener claro ahora como sociedad civil sobre qué queremos que detecten, y cómo queremos que informen al público, a Gobiernos y a las principales instituciones supervisoras”.

En general, Gregory nos advierte que debemos reconocer cuáles son los riesgos, pero sin sobrereaccionar.

“Es bueno no ser apocalípticos al respecto, usemos este momento para tener una discusión racional” dice. “El mayor daño de los ultrafalsos puede ser hacer que las personas lo cuestionen todo”.

La tecnología no solo se está volviendo más accesible, sus aplicaciones también se están expandiendo en múltiples direcciones que incluyen producir ultrafalsos de cuerpo entero, crear suplantaciones en tiempo real y eliminar elementos de videos sin dejar huellas. En todo el mundo crece la preocupación por el impacto negativo que los ultrafalsos pueden tener en personas, comunidades y democracias.

El potencial para el daño es real. Pero Sam Gregory, director de programa de la organización de derechos humanos WITNESS, dice que en vez de dejar que el miedo nos paralice debemos enfocarnos en encontrar soluciones. Publicó un exhaustivo estudio de soluciones al uso malicioso de ultrafalsos y medios sintéticos basadas en conversaciones con expertos en el campo.

En la categoría de soluciones técnicas, muchos investigadores, plataformas y startups están explorando usar inteligencia artificial para detectar y eliminar ultrafalsos. También hay nuevas innovaciones en análisis forense de audio y video con la finalidad de mejorar nuestra capacidad de rastrear la autenticidad y el origen de imágenes y videos, como ProofMode y TruePic, con el fin de ayudar a periodistas y personas a validar y autenticar medios.

Aunque Gregory cree que las soluciones técnicas son importantes, dice que no pueden resolver solas el problema. “Es vital preguntarnos qué comunidades pueden estar excluidas de las soluciones técnicas, y quién tiene control sobre los datos”, dice. “Si las herramientas para rastrear el origen se volvieran obligatorias, se podrían usar como armas contra personas que no tienen acceso a esas herramientas o que eligen permanecer anónimas”.

La alfabetización digital es una solución fundamental que Gregory dice que no se ha estudiado suficientemente: “¿Cómo haces que las personas hagan preguntas cuando una imagen parece ser perfecta?”. Dice que es especialmente apremiante mejorar las calificaciones de profesionales que trabajan con grupos vulnerables y cuyo trabajo podría verse afectado negativamente por tecnología de ultrafalsos, como periodistas y defensores de derechos humanos.

Muchos Gobiernos están tratando de solucionar la desinformación en línea. Pero algunos activistas y académicos son cautos ante una prohibición completa de la tecnología de ultrafalsos. Les preocupa que si una ley concede a funcionarios gubernamentales el poder de decidir qué es verdad y qué es falso, existe el riesgo de que puedan usarlo para censurar opiniones no populares o discrepantes.

Gregory también dice que la sociedad civil debería desarrollar una posición sobre el rol que deben tener las plataformas comerciales. “En muchos aspectos, las plataformas tienen la mejor oportunidad de detectar ultrafalsos porque tienen el mayor cuerpo de datos de entrenamiento. Debemos tener claro ahora como sociedad civil sobre qué queremos que detecten, y cómo queremos que informen al público, a Gobiernos y a las principales instituciones supervisoras”.

En general, Gregory nos advierte que debemos reconocer cuáles son los riesgos, pero sin sobrereaccionar.

“Es bueno no ser apocalípticos al respecto, usemos este momento para tener una discusión racional” dice. “El mayor daño de los ultrafalsos puede ser hacer que las personas lo cuestionen todo”.

¿Cómo evitar que los ultrafalsos debiliten la confianza en línea?

¡Sé el primero en agregar tu voz! Todavía no hay comentarios.

Ver las guías de participación de la comunidad de Mozilla: [English | Español | Deutsch | Français]. Este es un espacio moderado de comentarios. Eliminaremos los comentarios ofensivos o que se desvíen del tema.