Algorithme d’alimentation des familles : pourquoi Instagram suggère du contenu sexualisé

Instagram est en fait une plateforme photo sécurisée. Mais l’algorithme propose un mélange toxique et diffuse apparemment du contenu sexualisé provenant d’enfants – qui ne devraient même pas être sur la plateforme.

Au printemps 2010, deux diplômés de Stanford, Kevin Systrom et Mike Krieger, travaillaient sur un service de photographie à San Francisco. Quelques mois plus tard, l’application Instagram est apparue. La ruée est énorme, des milliers de personnes le téléchargent en quelques heures. Les systèmes informatiques ne cessent de tomber en panne. En 2012, Facebook s’est vendu pour 1 milliard de dollars.

Aujourd’hui, deux milliards de personnes dans le monde sont connectées à Instagram. L’application photo est le quatrième réseau social après Facebook, YouTube et Whatsapp. Il ne s’agit plus seulement d’une communauté de photos : des vidéos sont également mises en ligne depuis 2013. En 2020, les Reels ont été introduits, de courts clips avec des effets comme Tiktok.

Depuis 2016, Instagram n’affiche plus les publications par ordre chronologique mais utilise un algorithme. Ce sera désormais la chute de la plateforme. Parce qu’il veille à ce que les clips sexualisés d’enfants soient intégrés dans la chronologie. C’est ce qu’ont découvert les journalistes du Wall Street Journal (WSJ). Ils ont suivi de jeunes sportifs, adolescents et influenceurs avec des comptes tests. Et des internautes qui suivent ces jeunes filles. Le résultat était un mélange toxique de contenu sexuel mettant en scène des mineurs et de la pornographie adulte.

Les entreprises arrêtent de faire de la publicité sur Instagram

Pour Jürgen Pfeffer, professeur de protection de l’enfance sur les plateformes de médias sociaux à l’Université technique de Munich, cela n’est guère surprenant. Parce que c’est ainsi que fonctionne le réseau : nous voyons ce qu’Instagram pense que nous voulons voir. « Tant que ces sujets ne vous intéressent pas, il est fort possible que vous passiez des années sur les réseaux sociaux sur Internet sans voir de contenus problématiques », explique Pfeffer dans le podcast de ntv « J’ai encore appris quelque chose ».

Facebook a supprimé 16,9 millions de contenus liés à l’exploitation sexuelle des enfants entre juillet et septembre seulement, soit deux fois plus que le trimestre précédent. Chez X, dix à vingt pour cent des contenus tournaient autour de la pornographie, selon l’expert. L’ancien Twitter est la seule plateforme majeure où ceux-ci ne sont pas interdits.

Selon une étude du WSJ, entre les vidéos offensantes se trouvent des publicités de grandes marques telles que Disney, Walmart, Tinder et le Wall Street Journal lui-même, qui ne sont pas très enthousiastes à ce sujet. Certains, comme Match Group, parent de Tinder, ont désormais arrêté de faire de la publicité sur Instagram Reels à cause de cela.

« Des directives strictes pour la nudité »

La société mère Meta semble être consciente du problème depuis longtemps. Mais une porte-parole de Meta souhaite seulement répondre par écrit à la demande d’interview de ntv.de : « Nous n’autorisons pas sur Instagram les contenus liés à l’abus et à la mise en danger d’enfants et avons des directives strictes concernant les représentations nues d’enfants », écrit-elle dans un e-mail. « Nous supprimons les contenus qui sexualisent explicitement les enfants. Les formes plus subtiles de sexualisation, comme le partage d’images d’enfants en conjonction avec des commentaires inappropriés, seront également supprimées. »

Afin de filtrer les images et les contenus mettant en danger les enfants, Instagram affirme utiliser la correspondance de photos. Cela s’applique par exemple aux photos d’enfants nus. Il scanne automatiquement toutes les images et les supprime si nécessaire. Néanmoins, il existe de nombreux contenus émanant d’enfants sur Instagram et d’autres plateformes sociales qui ne devraient pas y figurer selon la protection de l’enfance ou les directives.

Cela s’explique en partie par le fait que les systèmes automatiques ont plus de mal à analyser le contenu vidéo que le texte ou les images fixes, écrit le WSJ. C’est encore plus difficile avec Reels : ils affichent du contenu en dehors de votre propre cercle d’amis – à partir de sources que l’utilisateur ne suit pas. Les employés de Meta avaient des problèmes de sécurité avant même l’introduction de Reels 2020.

L’algorithme doit être formé

Instagram filtre les contenus problématiques à l’aide de l’IA et de l’apprentissage automatique, explique dans le podcast Angelina Voggenreiter, assistante de recherche à l’Université technique de Munich. « Pour que cela se produise, l’algorithme a d’abord besoin d’un ensemble de tests contenant suffisamment de données montrant quelles sont les images qui ne devraient pas être là. » Mais cela est particulièrement difficile dans le cas de la pédopornographie. Car ces données ne sont pas forcément disponibles en cette quantité, surtout au début.

Les systèmes détectent bien la nudité, « mais lorsqu’il s’agit d’enfants à moitié habillés, il est très, très difficile de les filtrer automatiquement », explique Voggenreiter. Les plateformes dépendent largement des autres utilisateurs signalant de tels contenus, mais sont submergées par le grand nombre de ces signalements et ne peuvent pas les supprimer immédiatement.

Outre le problème selon lequel les systèmes automatiques ont plus de mal à analyser le contenu vidéo que le texte ou les images fixes, les plateformes de médias sociaux sont les mieux placées pour les monétiser : les utilisateurs doivent y consacrer le plus de temps possible. L’expérience a montré que les gens restent plus longtemps à l’écran avec des images animées qu’avec du texte ou des photos. Pendant ce temps, davantage de publicité peut être diffusée, ce qui rapporte plus d’argent.

Les employés ne sont pas autorisés à modifier l’algorithme

Instagram a également optimisé son algorithme afin que les utilisateurs se voient suggérer des vidéos correspondant à leurs intérêts ou au contenu précédemment cliqué. Ainsi, si vous regardez souvent des jeunes filles ou des femmes en bikini, des vidéos similaires vous seront proposées. Un flux infini – qui continue jusqu’à ce que l’on recherche activement un autre contenu ou que ces algorithmes de recommandation soient modifiés « de manière significative ». Mais Meta ne veut pas de cela, ont déclaré les employés actuels et anciens d’Instagram au WSJ. Afin de ne pas perdre d’utilisateurs, comme l’explique le rapport.

Techniquement, ce n’est pas un problème, déclare Jürgen Pfeffer, professeur de médias sociaux. « Avez-vous déjà essayé de regarder les buts du dernier match de votre club de Bundesliga préféré sur YouTube ? Vous ne les trouverez probablement pas car il y a derrière eux un droit d’auteur fort des sociétés de médias. Cela fonctionne très bien, du contenu que vous ne devriez pas voir , aussi pour se cacher. » Une meilleure réglementation au niveau européen pourrait être une solution.

L’âge de l’utilisateur n’est pas vérifié

Un autre point faible d’Instagram est l’âge des utilisateurs. En fait, vous ne pouvez vous inscrire qu’à partir de 13 ans. En fait, il y a probablement des millions d’enfants sur la plateforme. Bien que l’âge soit demandé lors de l’inscription pour s’assurer que les enfants le précisent correctement, il n’est pas vérifié. Une fois inscrit, vous pouvez vous déplacer librement sur la plateforme. Ce n’est que lorsqu’ils téléchargent eux-mêmes du contenu qu’ils doivent vérifier leur âge, explique l’expert Voggenreiter. Mais c’est difficile et rarement appliqué.

Meta serait au courant de ce problème depuis des années mais l’ignorerait. Des dizaines d’États américains ont donc poursuivi l’entreprise en justice. Instagram a délibérément attiré des enfants vers la plateforme, indique le procès. Et également collecté des informations personnelles telles que leurs emplacements ou leurs adresses e-mail. Même si les parents n’étaient pas d’accord – ce qui est en fait nécessaire.

Ce n’est pas une surprise pour Pfeffer. Parce que le nombre d’utilisateurs est la « marchandise » la plus importante pour des entreprises comme Meta. « Une mesure importante pour le cours boursier des plateformes est le nombre de nouveaux utilisateurs qu’elles ont par mois », analyse l’expert des médias sociaux dans le podcast. Contrôler les centaines de milliers de nouveaux comptes Instagram chaque jour serait coûteux et prendrait du temps. Un retard dans le processus d’enregistrement pourrait avoir un impact sur le succès de l’entreprise.

Malgré toutes les critiques justifiées adressées à Meta, les experts voient un autre problème bien plus important sur Instagram : les influenceurs familiaux. Ce sont des parents qui exhibent sur leurs comptes leurs enfants, parfois à moitié nus en couches et en bikini. Ils alimentent l’algorithme avec ces images et vidéos et fournissent aux utilisateurs pédosexuels de nouveaux « matériaux » pour leurs fantasmes.