Les systèmes d’encouragement des communautés de l’unité Meta ont guidé les utilisateurs vers des contenus pédophiles ; l’entreprise affirme qu’elle améliore ses contrôles internes
Instagram, le populaire site de réseaux sociaux appartenant à Meta Platforms ℹ️, contribue à connecter et à promouvoir un vaste réseau de comptes ouvertement consacrés à la commande et à l’achat de contenus à caractère sexuel destinés aux mineurs, selon des enquêtes menées par le Wall Street Journal ℹ️ 🔗 et des chercheurs de l’université de Stanford ℹ️ et de l’université du Massachusetts Amherst ℹ️.
Les pédophiles utilisent depuis longtemps l’internet, mais contrairement aux forums et aux services de transfert de fichiers qui s’adressent aux personnes intéressées par des contenus illicites, Instagram ne se contente pas d’héberger ces activités. Ses algorithmes les encouragent. Instagram met en relation les pédophiles et les guide vers les vendeurs de contenu grâce à des systèmes de recommandation qui excellent dans la mise en relation de ceux qui partagent des intérêts de niche, ont constaté le Journal et les chercheurs universitaires.
Bien qu’ils soient invisibles pour la plupart des utilisateurs de la plateforme, les comptes sexualisés sur Instagram ne cachent pas leur intérêt. Les chercheurs ont constaté qu’Instagram permettait aux internautes de rechercher des hashtags ℹ️ explicites tels que #pedowhore et #preteensex et les mettait en relation avec des comptes qui utilisaient ces termes pour faire de la publicité pour du matériel pédophile à vendre. Ces comptes prétendent souvent être gérés par les enfants eux-mêmes et utilisent des pseudonymes ouvertement sexuels comprenant des mots tels que “petite salope pour vous”.
Les comptes Instagram qui proposent de vendre du matériel sexuel illicite ne le publient généralement pas ouvertement, mais affichent plutôt des “menus” de contenu. Certains comptes invitent les acheteurs à commander des actes spécifiques. Certains menus incluent des prix pour des vidéos d’enfants se faisant du mal et des “images du mineur pratiquant des actes sexuels avec des animaux”, ont constaté les chercheurs de l’Observatoire de l’Internet de Stanford. Au bon prix, les enfants sont disponibles pour des “rencontres” en personne.
La promotion de contenus à caractère sexuel destinés aux mineurs viole les règles établies par Meta ainsi que la loi fédérale.
En réponse aux questions du Journal, Meta a reconnu l’existence de problèmes au sein de ses opérations d’application de la loi et a déclaré avoir mis sur pied un groupe de travail interne pour s’attaquer aux problèmes soulevés. “L’exploitation des enfants est un crime horrible”, a déclaré l’entreprise, qui a ajouté : “Nous cherchons continuellement des moyens de nous défendre activement contre ce comportement”.
Meta a déclaré avoir supprimé 27 réseaux pédophiles au cours des deux dernières années et prévoit d’autres suppressions. Depuis qu’elle a reçu les requêtes du Journal, la plateforme a déclaré avoir bloqué des milliers de hashtags qui sexualisent les enfants, dont certains comptent des millions de messages, et avoir interdit à ses systèmes de recommander aux utilisateurs de rechercher des termes connus pour être associés à des abus sexuels. Elle a également indiqué qu’elle s’efforçait d’empêcher ses systèmes de recommander à des adultes potentiellement pédophiles de se connecter les uns aux autres ou d’interagir avec le contenu de l’un d’entre eux.
Alex Stamos, directeur de l’Observatoire de l’Internet de Stanford et responsable de la sécurité de Meta jusqu’en 2018, a déclaré que même les abus les plus évidents ne pourraient être maîtrisés qu’au prix d’un effort soutenu.
“Le fait qu’une équipe de trois universitaires disposant d’un accès limité puisse trouver un réseau aussi vaste devrait déclencher des alarmes chez Meta”, a-t-il déclaré, notant que l’entreprise dispose d’outils bien plus efficaces pour cartographier son réseau pédophile que les personnes extérieures. “J’espère que l’entreprise réinvestira dans des enquêteurs humains”, a-t-il ajouté.
En raison d’obstacles techniques et juridiques, il est difficile pour quiconque n’appartient pas à Meta de déterminer avec précision l’ampleur du réseau.
Les lois relatives aux contenus pédopornographiques étant extrêmement larges, il est juridiquement délicat d’enquêter même sur la promotion ouverte de ces contenus sur une plateforme publique.
Dans son rapport, le Journal a consulté des experts universitaires sur la sécurité des enfants en ligne. L’Observatoire de l’Internet de Stanford, une division du Cyber Policy Center ℹ️ de l’université axée sur les abus des réseaux sociaux, a produit une analyse quantitative indépendante des fonctionnalités d’Instagram qui aident les utilisateurs à se connecter et à trouver du contenu.
Le Journal s’est également adressé au Rescue Lab de l’UMass, qui a évalué la place des pédophiles sur Instagram dans l’écosystème plus large de l’exploitation des enfants en ligne. En utilisant des méthodes différentes, les deux entités ont été en mesure d’identifier rapidement des communautés à grande échelle promouvant les abus sexuels criminels.
Les comptes tests mis en place par les chercheurs qui consultaient un seul compte du réseau ont été immédiatement touchés par des recommandations “suggérées pour vous” de prétendus vendeurs et acheteurs de contenus pédophiles, ainsi que de comptes renvoyant à des sites d’échange de contenus hors plateforme. Il suffisait d’abonné à une poignée de ces recommandations pour inonder un compte test de contenus à caractère sexuel pour enfants.
L’Observatoire de l’internet de Stanford a utilisé des hashtags associés à la sexualité des mineurs pour trouver 405 vendeurs de ce que les chercheurs ont appelé du matériel pédosexuel “autogénéré”, c’est-à-dire des comptes prétendument gérés par des enfants eux-mêmes, dont certains disent qu’ils n’ont pas plus de 12 ans. Selon les données recueillies par Maltego 🔗, un logiciel de cartographie des réseaux, 112 de ces comptes vendeurs comptaient collectivement 22 000 abonnés uniques.
Les créateurs et les acheteurs de contenus sexuels pour mineurs ne sont qu’une partie d’un écosystème plus vaste consacré aux contenus sexualisés pour enfants. D’autres comptes de la communauté pédophile sur Instagram rassemblent des mèmes pro-pédophilie ou discutent de leur accès aux enfants. Les employés actuels et anciens de Meta qui ont travaillé sur des initiatives de sécurité des enfants sur Instagram estiment que le nombre de comptes qui existent principalement pour suivre ce type de contenu est de l’ordre de centaines de milliers, voire de millions.
Un porte-parole de Meta a déclaré que l’entreprise cherchait activement à supprimer ces utilisateurs, en supprimant 490 000 comptes pour violation de ses politiques de sécurité des enfants au cours du seul mois de janvier.
“Instagram est une rampe d’accès à des sites Internet où les abus sexuels sur les enfants sont plus explicites”, a déclaré Brian Levine, directeur du UMass Rescue Lab, qui étudie les crimes contres les enfants en ligne et met au point des outils scientifiques pour la combattre. Levine est l’un des auteurs d’un rapport sur l’exploitation des enfants sur internet, publié en 2022 par l’Institut national de la justice, l’organe de recherche du ministère de la justice.
Instagram, qui compterait plus de 1,3 milliard d’utilisateurs, est particulièrement populaire auprès des adolescents. Les chercheurs de Stanford ont trouvé des activités d’exploitation sexuelle similaires sur d’autres plateformes sociales plus petites, mais ont déclaré que le problème était particulièrement grave sur Instagram. “La plateforme la plus importante pour ces réseaux d’acheteurs et de vendeurs semble être Instagram”, écrivent-ils dans un rapport qui devrait être publié le 7 juin.
Instagram a déclaré que ses statistiques internes montrent que les utilisateurs voient l’exploitation des enfants dans moins d’un message sur 10 000.
Les efforts déployés par les réseaux sociaux et les forces de l’ordre pour lutter contre la propagation de la pédopornographie en ligne sont principalement axés sur la recherche d’images et de vidéos confirmées, connues sous le nom de “matériel d’abus sexuel d’enfants”, dont on sait déjà qu’elles sont en circulation. Le National Center for Missing & Exploited Children (NCMEC) 🔗, une organisation américaine à but non lucratif qui collabore avec les services de police, gère une base de données d’empreintes numériques de ces images et vidéos, ainsi qu’une plate-forme de partage de ces données entre les sociétés Internet.
Les algorithmes des sociétés Internet vérifient les empreintes numériques des images publiées sur leurs plateformes par rapport à cette liste et signalent au centre les cas où ils les détectent, comme l’exige la loi fédérale américaine. En 2022, le centre a reçu 31,9 millions de signalements de pédopornographie, principalement de la part de sociétés Internet, soit une augmentation de 47 % par rapport à l’année précédente.
Meta, qui compte plus de 3 milliards d’utilisateurs à travers ses applications, dont Instagram, Facebook et WhatsApp, est en mesure de détecter ce type d’images connues si elles ne sont pas cryptées. Meta est à l’origine de 85 % des signalements de pédopornographie adressés au centre, dont quelque 5 millions en provenance d’Instagram.
Le filtrage automatisé de Meta pour les contenus existants liés à l’exploitation des enfants ne permet pas de détecter les nouvelles images ou les actions visant à promouvoir leur vente. Pour prévenir et détecter de telles activités, il ne suffit pas d’examiner les rapports des utilisateurs, mais aussi de suivre et de perturber les réseaux pédophiles, affirment des employés actuels et anciens, ainsi que les chercheurs de Stanford. L’objectif est de faire en sorte qu’il soit difficile pour ces utilisateurs de se connecter les uns aux autres, de trouver du contenu et de recruter des victimes.
Ce travail est essentiel, car les services répressifs ne disposent pas des ressources nécessaires pour enquêter sur une infime partie des informations reçues par le NCMEC, a déclaré M. Levine, de l’UMass. Cela signifie que les plateformes ont la responsabilité première d’empêcher la formation d’une communauté et de normaliser les abus sexuels commis sur des enfants.
Meta a eu plus de difficultés que d’autres plateformes à cet égard, en raison de la faiblesse des mesures d’application et des caractéristiques de conception qui favorisent la découverte de contenus tant légaux qu’illicites, a constaté l’équipe de Stanford.
L’équipe de Stanford a trouvé 128 comptes proposant de vendre du matériel pédopornographique sur Twitter, soit moins d’un tiers du nombre qu’elle a trouvé sur Instagram, dont la base d’utilisateurs est bien plus importante que celle de Twitter. L’équipe a constaté que Twitter ne recommandait pas ces comptes autant qu’Instagram et qu’il les supprimait beaucoup plus rapidement.
Parmi les autres plateformes populaires auprès des jeunes, Snapchat est principalement utilisé pour sa messagerie directe, et ne contribue donc pas à la création de réseaux. Et la plateforme TikTok est l’une de celles où “ce type de contenu ne semble pas proliférer”, selon le rapport de Stanford.
Twitter n’a pas répondu aux demandes de commentaires. TikTok et Snapchat se sont refusés à tout commentaire.
David Thiel, technologue en chef à l’Observatoire de l’Internet de Stanford, a déclaré : “Le problème d’Instagram se résume aux fonctions de découverte de contenu, à la manière dont les sujets sont recommandés et à la mesure dans laquelle la plateforme s’appuie sur la recherche et les liens entre les comptes.” M. Thiel, qui a déjà travaillé chez Meta sur des questions de sécurité, a ajouté : “Vous devez mettre en place des garde-fous pour que quelque chose qui connaît une telle croissance reste nominalement sûre, et Instagram ne l’a pas fait.”
La plateforme a eu du mal à superviser une technologie de base : les mots-clés. Les hashtags sont un élément central de la découverte de contenu sur Instagram, car ils permettent aux utilisateurs de poster et de trouver des messages qui intéressent une communauté particulière, qu’il s’agisse de sujets généraux tels que #fashion ou #nba ou de sujets plus restreints comme #embroidery ou #spelunking.
Une capture d’écran réalisée par l’Observatoire de l’Internet de Stanford montre l’avertissement et l’option de clic lors de la recherche d’un hashtag lié à la pédophilie sur Instagram.
Ces résultats peuvent contenir des images d’abus sexuels sur des enfants
L’abus sexuel d’enfants ou la visualisation d’images sexuelles d’enfants peut conduire à l’emprisonnement et à d’autres conséquences personnelles graves. Ces abus causent un préjudice extrême aux enfants et la recherche et la visualisation de tels de tels documents ne font qu’aggraver ce préjudice. Pour obtenir une aide confidentielle ou apprendre comment signaler un contenu inapproprié, visitez notre Centre d’aide.
Les pédophiles ont eux aussi leurs hashtags. Des termes de recherche tels que #pedobait et des variantes de #mnsfw (“minor not safe for work” / mineur dangereux pour le travail) ont été utilisés pour marquer des milliers de messages consacrés à la publicité de contenus sexuels mettant en scène des enfants, ce qui les a rendus facilement repérables par les acheteurs, ont constaté les chercheurs universitaires. À la suite d’abonnés du Journal, Meta a déclaré qu’elle était en train d’interdire ces termes.
Dans de nombreux cas, Instagram a permis aux utilisateurs de rechercher des termes dont ses propres algorithmes savent qu’ils peuvent être associés à des contenus illégaux. Dans de tels cas, un écran contextuel avertissait les utilisateurs que “ces résultats peuvent contenir des images d’abus sexuels sur des enfants” et soulignait que la production et la consommation de ce type de données causait un “préjudice extrême” aux enfants. L’écran proposait deux options aux utilisateurs : “Obtenir des ressources” et “Voir les résultats quand même”.
En réponse aux questions du Journal, Instagram a retiré l’option permettant aux utilisateurs de voir les résultats de recherche pour des termes susceptibles de produire des images illégales. L’entreprise a refusé de dire pourquoi elle avait offert cette option.
Les comptes pédophiles sur Instagram mélangent effronterie et efforts superficiels pour voiler leur activité, ont constaté les chercheurs. Certains emojis fonctionnent comme une sorte de code, comme l’image d’une carte – qui signifie “personne attirée par un mineur” – ou celle d’une “pizza au fromage”, qui partage ses initiales avec “pédopornographie”, selon M. Levine, de l’université de Massachusetts. Beaucoup se déclarent “amoureux des petites choses de la vie”.
Les comptes s’identifient comme “vendeur” ou “s3ller”, et nombre d’entre eux indiquent dans leur biographie le mode de paiement qu’ils préfèrent. Ces comptes de vendeurs indiquent souvent l’âge supposé de l’enfant en disant qu’il est “au chapitre 14”, ou “âgé de 31 ans”, suivi d’un emoji représentant une flèche inversée.
Selon M. Levine, de l’Université de Massachusetts, certains de ces comptes portent des traces de trafic sexuel, comme celui d’une adolescente dont le visage porte le mot “WHORE” (prostituée).
Certains utilisateurs qui prétendent vendre du contenu sexuel autoproduit disent qu’ils sont “sans visage” – ils n’offrent que des images à partir du cou – en raison d’expériences passées au cours desquelles des clients les ont harcelés ou leur ont fait du chantage. D’autres prennent le risque de demander une prime pour des images et des vidéos qui pourraient révéler leur identité en montrant leur visage.
De nombreux comptes montrent des utilisateurs portant des cicatrices de coupure à l’intérieur des bras ou des cuisses, et un certain nombre d’entre eux font état d’abus sexuels passés.
Le simple fait d’entrer en contact avec un compte de la communauté pédophile d’Instagram peut inciter la plateforme à recommander aux utilisateurs de la rejoindre.
Sarah Adams, une Canadienne mère de deux enfants, a construit une audience Instagram discutant de l’exploitation des enfants et des dangers du partage excessif sur les réseaux sociaux. Compte tenu de son objectif, les abonnés d’Adams lui envoient parfois des choses dérangeantes qu’ils ont rencontrées sur la plateforme. En février, dit-elle, l’un d’entre eux lui a envoyé un message avec un compte marqué du terme “incest toddlers” (jeunes enfants victimes d’inceste).
Adams a déclaré qu’elle avait accédé au compte – une collection de mèmes pro-incestes avec plus de 10 000 abonnés – pendant seulement les quelques secondes nécessaires pour le signaler à Instagram, puis qu’elle avait essayé de l’oublier. Mais au cours des jours suivants, elle a commencé à recevoir des messages de parents horrifiés. Lorsqu’ils ont consulté le profil Instagram d’Adams, ils ont appris qu’on leur recommandait des “bambins de l’inceste” à la suite des contacts d’Adams avec le compte.
Un porte-parole de Meta a déclaré que les “bambins de l’inceste” violaient les règles de l’entreprise et qu’Instagram avait commis une erreur dans l’application de ces règles. L’entreprise a déclaré qu’elle prévoyait de s’attaquer à ce type de recommandations inappropriées dans le cadre de son nouveau groupe de travail sur la sécurité des enfants.
Comme pour la plupart des réseaux sociaux, l’essentiel des recommandations d’Instagram est basé sur des modèles comportementaux, et non sur l’association des centres d’intérêt d’un utilisateur à des sujets spécifiques. Cette approche est efficace pour accroître la pertinence des recommandations et fonctionne de manière plus fiable pour les communautés qui partagent un ensemble restreint d’intérêts.
En théorie, cette même étroitesse de la communauté pédophile sur Instagram devrait permettre à Instagram de cartographier plus facilement le réseau et de prendre des mesures pour le combattre. Des documents déjà examinés par le Journal montrent que Meta a fait ce genre de travail dans le passé pour supprimer des réseaux de comptes qu’elle jugeait nuisibles, comme avec les comptes promouvant la délégitimation des élections aux États-Unis après l’émeute du 6 janvier au Capitole.
Comme d’autres plateformes, Instagram dit faire appel à ses utilisateurs pour l’aider à détecter les comptes qui enfreignent les règles. Mais ces efforts n’ont pas toujours été efficaces.
Il est arrivé que des signalements de nudité impliquant un enfant restent sans réponse pendant des mois, selon l’examen de dizaines de rapports déposés l’année dernière par de nombreux défenseurs de la sécurité des enfants.
Au début de l’année, un militant anti-pédophile a découvert un compte Instagram prétendant appartenir à une jeune fille et vendant du contenu sexuel pour mineurs, notamment un message déclarant : “Cette adolescente est prête pour vous, les pervers”. Lorsque l’activiste a signalé le compte, Instagram a répondu par un message automatisé disant : “En raison du volume élevé de signalements que nous recevons, notre équipe n’a pas été en mesure d’examiner ce message.”
Après que le même militant a signalé une autre publication, cette fois d’une jeune fille légèrement vêtue avec une légende graphiquement sexuelle, Instagram a répondu : “Notre équipe d’examen a constaté que la publication [du compte] ne va pas à l’encontre de nos lignes directrices de la communauté.” La réponse suggérait à l’utilisateur de masquer le compte pour éviter d’en voir le contenu.
Un porte-parole de Meta a reconnu que Meta avait reçu les signalements et n’y avait pas donné suite. Un examen de la manière dont l’entreprise traitait les signalements d’abus pédosexuels a révélé qu’un problème logiciel empêchait une grande partie des signalements d’être traités et que l’équipe de modération de l’entreprise n’appliquait pas correctement les règles de la plateforme, a déclaré le porte-parole. L’entreprise a indiqué qu’elle avait depuis corrigé le problème dans son système de signalement et qu’elle dispensait une nouvelle formation à ses modérateurs de contenu.
Même lorsqu’Instagram supprime les comptes qui vendent du contenu mineur à caractère sexuel, ils ne restent pas toujours inactifs.
Selon les directives internes de la plateforme, les sanctions pour violation des normes communautaires sont généralement imposées aux comptes, et non aux utilisateurs ou aux appareils. Étant donné qu’Instagram permet aux utilisateurs de gérer plusieurs comptes liés, le système permet d’échapper facilement à l’application des règles. Les utilisateurs indiquent régulièrement les poignées des comptes de “sauvegarde” dans leurs bios, ce qui leur permet de reprendre simplement la publication auprès du même ensemble d’abonnés si Instagram les supprime.
Dans certains cas, les systèmes de recommandations d’Instagram ont directement contrecarré les efforts de son propre personnel chargé de la sécurité. Après que l’entreprise a décidé de sévir contre les liens provenant d’un service spécifique de transfert de fichiers cryptés connu pour transmettre des contenus pédopornographiques, Instagram a bloqué les recherches portant sur son nom.
Les suggestions de hashtags pilotées par l’IA d’Instagram n’ont pas compris le message. Bien qu’elle ait refusé d’afficher les résultats pour le nom du service, la fonction de remplissage automatique de la plateforme a recommandé aux utilisateurs d’essayer des variantes du nom avec les mots “boys” et “CP” ajoutés à la fin.
L’entreprise a tenté de désactiver ces hashtags dans sa réponse aux questions du Journal. Mais quelques jours plus tard, Instagram a recommencé à recommander de nouvelles variantes du nom du service, qui ont également conduit à des comptes vendant du contenu prétendument pédophile.
Après le balayage initial des comptes portés à son attention par Stanford et le Journal, M. Levine, de l’UMass, a vérifié certains des comptes de vendeurs mineurs restants sur Instagram. Comme auparavant, la consultation d’un seul d’entre eux a conduit Instagram à en recommander de nouveaux. Les suggestions d’Instagram ont contribué à reconstruire le réseau que l’équipe de sécurité de la plateforme était en train d’essayer de démanteler.
Un porte-parole de Meta a déclaré que ses systèmes visant à empêcher de telles recommandations étaient en cours d’élaboration. M. Levine a qualifié d’inacceptable le rôle joué par Instagram dans la promotion de contenus et de comptes pédophiles.
“Tirez le frein à main”, a-t-il déclaré. “Les avantages économiques valent-ils les préjudices causés à ces enfants ?”