Les entreprises de médias sociaux prennent enfin plus au sérieux la lutte contre le harcèlement en ligne. Mais, pour cela, il a fallu que le débat public sur les dangers d’un Internet ouvert gagne une forte intensité et qu’un nombre incalculable d’utilisateurs, célèbres et anonymes, dénonce le niveau critique atteint par le phénomène, en particulier parmi les femmes, les jeunes et les minorités sexuelles, ethniques et religieuses, partout dans le monde.

Le harcèlement en ligne prend de nombreuses formes, qui vont des critiques négatives aux menaces, en passant par le harcèlement proprement dit et le doxing. Le problème est aggravé par le fait que ces comportements inappropriés prennent de l’ampleur à cause des bots informatiques. Au fil des années, ni les forces de l’ordre ni les plateformes en ligne n’ont réellement agi contre cette tendance, ce qui a valu à ces dernières des accusations pour leur indifférence face au phénomène.

Comme d’autres avant lui, la frustration de l’écrivain Yair Rosenberg face aux commentaires haineux sur Twitter a atteint un niveau inégalé en 2017. Il a alors créé un bot informatique vigilant pour démasquer les commentaires antisémites publiés par des trolls et des robots. Twitter a fini par bloquer le logiciel de Yair Rosenberg en invoquant la violation des règles sur la publication abusive de commentaires indésirables. Toutefois, la plateforme a pris d’autres mesures pour réduire le harcèlement.

L’an dernier, Twitter a signalé une diminution du harcèlement dans les six mois qui ont suivi l’annonce de nouvelles règles. Le service a indiqué avoir pris dix fois plus de mesures contre des comptes insultants en 2017 qu’en 2016. Facebook a également reconnu l’ampleur du problème en 2017 et déployé de nouvelles fonctionnalités pour empêcher les contacts indésirables et publié des guides de sécurité pour les personnes particulièrement vulnérables, telles que les victimes de violences domestiques et les journalistes.

Avec environ 2,5 milliards d’utilisateurs de réseaux sociaux dans le monde, dont la plupart parlent des langues non prises en charge par les principales plateformes, la lutte contre le harcèlement sous toutes ses formes nécessite une combinaison d’approches humaines et automatisées. Quelques entreprises exploitent l’intelligence artificielle de manière novatrice dans le cadre de leurs tentatives de lutte contre les abus sur leurs plateformes.

En 2017, Instagram a commencé à réprimer les commentaires qui relèvent du harcèlement au moyen de l’outil à base d’intelligence artificielle DeepText qui a été programmé par une équipe multilingue pour identifier et filtrer les mots et les emojis nocifs pour l’anglais, l’arabe, le français, l’allemand et le portugais. DeepText est capable d’apprendre du contexte dans lequel il détecte de telles occurrences et  identifie d’autres mots supplémentaires et pertinents lui-même. Les utilisateurs peuvent également personnaliser leurs filtres de mots et d’emojis. En guise de vérification finale, l’intelligence artificielle d’Instagram évalue les relations entre utilisateurs pour juger si un commentaire offensant doit réellement être considéré comme une insulte ou s’il s’agit d’une blague entre amis.

Gfycat, une plateforme de  vidéos courtes qui attire plus de 130 millions d’utilisateurs quotidiens, utilise une intelligence artificielle qui vise à lutter contre une autre forme de harcèlement en ligne : la « vengeance pornographique » (pornographie non consensuelle) à l’aide de deepfakes.

Les deepfakes se composent de deux vidéos combinées en une seule pour incruster le visage d’un individu sur le corps d’un autre. L’intelligence artificielle de Gfycat reconnaît les visages et les arrière-plans accessibles ailleurs sur Internet. Si elle détecte une incohérence, elle supprime la vidéo. Cet outil représente une bonne nouvelle pour les célébrités victimes de tels procédés, mais s’avère moins efficace pour les personnes plus difficilement reconnaissables.

Bien que les intelligences artificielles puissent jouer un rôle utile dans la lutte contre le harcèlement en ligne, des erreurs inquiétantes mettent aussi en péril la liberté d’expression. Par exemple, l’outil d’Instagram a interprété le mot « mexicain » comme une insulte, à cause de son utilisation fréquente dans des commentaires haineux contre les immigrés aux États-Unis. Sur d’autres plateformes, notamment Facebook et Twitter, les tentatives de modération automatique ont injustement réduit au silence des militants et des personnes de couleur. Minimiser ces risques devrait être au cœur de toute stratégie visant à utiliser des intelligences artificielles dans la lutte contre le harcèlement en ligne, mais, malgré tout, il est probable que d’autres erreurs seront commises demain et à l’avenir.

Demander aux machines de naviguer parmi les nuances de la langue revient à leur confier une tâche très délicate, mais si elles bénéficient d’un soutien non automatisé, elles pourraient contribuer à faire d’Internet un espace plus sûr. À l’heure où les plateformes commencent à se préoccuper davantage du harcèlement en ligne, il est nécessaire qu’elles travaillent de concert avec les communautés d’utilisateurs pour mieux comprendre les problèmes et affiner les politiques, les règles ainsi que les meilleures pratiques.

Pour en savoir plus :

Instagram’s Kevin Systrom Wants to Clean Up the Internet, WIRED, août 2017
Facebook’s Secret Censorship Rules Protect White Men From Hate Speech But Not Black Children, ProPublica, juin 2017
Artificial Intelligence is now fighting fake porn, WIRED, février 2018
Deepfakes are disappearing from parts of the Web, but they’re not going away, The Verge, février 2018