Un nouveau générateur d’images AI open source capable de produire des images réalistes à partir de n’importe quelle invite de texte a connu une adoption incroyablement rapide au cours de sa première semaine. Stable Diffusion de Stability AI, haute fidélité mais capable d’être exécuté sur du matériel grand public standard, est maintenant utilisé par des services générateurs d’art comme Artbreeder, Pixelz.ai et plus encore. Mais la nature non filtrée du modèle signifie que toute l’utilisation n’a pas été complètement au-dessus de bord.
Pour la plupart, les cas d’utilisation ont été au-dessus de tout bord. Par exemple, NovelAI a expérimenté Stable Diffusion pour produire de l’art qui peut accompagner les histoires générées par l’IA créées par les utilisateurs sur sa plateforme. Midjourney a lancé une version bêta qui exploite Stable Diffusion pour un plus grand photoréalisme.
Mais Stable Diffusion a également été utilisé à des fins moins salées. Sur le tristement célèbre forum de discussion 4chan, où le modèle a été divulgué tôt, plusieurs discussions sont consacrées à l’art généré par l’IA de célébrités nues et à d’autres formes de pornographie générée.
Emad Mostaque, PDG de Stability AI, a qualifié de « malheureux » la fuite du modèle sur 4chan et a souligné que la société travaillait avec « des éthiciens et des technologies de pointe » sur la sécurité et d’autres mécanismes autour de la libération responsable. L’un de ces mécanismes est un outil d’IA ajustable, Safety Classifier, inclus dans le progiciel global Stable Diffusion qui tente de détecter et de bloquer les images offensantes ou indésirables.
Cependant, Safety Classifier, lorsqu’il est activé par défaut, peut être désactivé.
La diffusion stable est un territoire très nouveau. D’autres systèmes générateurs d’art IA, comme DALL-E 2 d’OpenAI, ont mis en place des filtres stricts pour le matériel pornographique. (La licence de l’open source Stable Diffusion interdit certaines applications, comme l’exploitation de mineurs, mais le modèle lui-même n’est pas entravé sur le plan technique.) De plus, beaucoup n’ont pas la capacité de créer de l’art de personnalités publiques, contrairement à Stable Diffusion . Ces deux capacités pourraient être risquées lorsqu’elles sont combinées, permettant à de mauvais acteurs de créer des « deepfakes » pornographiques qui – dans le pire des cas – pourraient perpétuer des abus ou impliquer quelqu’un dans un crime qu’ils n’ont pas commis.
Les femmes, malheureusement, sont de loin les plus susceptibles d’en être les victimes. Une étude réalisée en 2019 a révélé que, sur les 90 à 95 % de deepfakes non consensuels, environ 90 % sont des femmes. Cela augure mal pour l’avenir de ces systèmes d’IA, selon Ravit Dotan, vice-président de l’IA responsable chez Mission Control.
« Je m’inquiète des autres effets des images synthétiques de contenu illégal – cela exacerbera les comportements illégaux qui sont représentés », a déclaré Dotan à TechCrunch par e-mail. « Par exemple, est-ce que l’enfant synthétique [exploitation] augmenter la création d’enfant authentique [exploitation]? Cela augmentera-t-il le nombre d’attaques de pédophiles ? »
Le chercheur principal de l’Institut d’éthique en IA de Montréal, Abhishek Gupta, partage ce point de vue. « Nous devons vraiment réfléchir au cycle de vie du système d’IA, qui comprend l’utilisation et la surveillance post-déploiement, et réfléchir à la façon dont nous pouvons envisager des contrôles qui peuvent minimiser les dommages même dans les pires scénarios », a-t-il déclaré. « Cela est particulièrement vrai lorsqu’une capacité puissante [like Stable Diffusion] entre dans la nature et peut causer un véritable traumatisme à ceux contre qui un tel système pourrait être utilisé, par exemple en créant un contenu répréhensible à l’image de la victime.
Quelque chose d’un avant-goût s’est déroulé au cours de la dernière année lorsque, sur les conseils d’une infirmière, un père a pris des photos de la région génitale enflée de son jeune enfant et les a envoyées par SMS à l’iPhone de l’infirmière. La photo a été automatiquement sauvegardée sur Google Photos et a été signalée par les filtres IA de l’entreprise comme du matériel d’abus sexuel d’enfants, ce qui a entraîné la désactivation du compte de l’homme et une enquête par le département de police de San Francisco.
Si une photo légitime pouvait déclencher un tel système de détection, disent des experts comme Dotan, il n’y a aucune raison pour que les deepfakes générés par un système comme Stable Diffusion ne le puissent pas – et à grande échelle.
« Les systèmes d’IA que les gens créent, même lorsqu’ils ont les meilleures intentions, peuvent être utilisés de manière nuisible qu’ils n’anticipent pas et ne peuvent pas empêcher », a déclaré Dotan. « Je pense que les développeurs et les chercheurs ont souvent sous-estimé ce point. »
Bien sûr, la technologie pour créer des deepfakes existe depuis un certain temps, alimentée par l’IA ou non. Un rapport de 2020 de la société de détection de deepfake Sensity a révélé que des centaines de vidéos deepfake explicites mettant en vedette des célébrités féminines étaient téléchargées chaque mois sur les plus grands sites Web de pornographie au monde; le rapport a estimé le nombre total de deepfakes en ligne à environ 49 000, dont plus de 95 % étaient de la pornographie. Des actrices comme Emma Watson, Natalie Portman, Billie Eilish et Taylor Swift ont été la cible de deepfakes depuis que les outils d’échange de visage alimentés par l’IA sont entrés dans le courant dominant il y a plusieurs années, et certaines, dont Kristen Bell, se sont prononcées contre ce qu’elles considèrent comme sexuel. exploitation.
Mais Stable Diffusion représente une nouvelle génération de systèmes qui peuvent créer des images factices incroyablement – sinon parfaitement – convaincantes avec un minimum de travail de la part de l’utilisateur. Il est également facile à installer, ne nécessitant que quelques fichiers d’installation et une carte graphique coûtant plusieurs centaines de dollars sur le haut de gamme. Des travaux sont en cours sur des versions encore plus efficaces du système pouvant fonctionner sur un MacBook M1.
Sebastian Berns, un doctorat. chercheur dans le groupe AI de l’Université Queen Mary de Londres, pense que l’automatisation et la possibilité d’augmenter la génération d’images personnalisées sont les grandes différences avec des systèmes comme Stable Diffusion – et les principaux problèmes. « La plupart des images nuisibles peuvent déjà être produites avec des méthodes conventionnelles, mais elles sont manuelles et nécessitent beaucoup d’efforts », a-t-il déclaré. « Un modèle capable de produire des images quasi photoréalistes peut céder la place à des attaques de chantage personnalisées contre des individus. »
Berns craint que des photos personnelles récupérées sur les réseaux sociaux ne soient utilisées pour conditionner Stable Diffusion ou tout autre modèle de ce type afin de générer des images pornographiques ciblées ou des images illustrant des actes illégaux. Il y a certainement un précédent. Après avoir rendu compte du viol d’une fillette cachemirienne de huit ans en 2018, la journaliste d’investigation indienne Rana Ayyub est devenue la cible de trolls nationalistes indiens, dont certains ont créé du porno deepfake avec son visage sur le corps d’une autre personne. Le deepfake a été partagé par le chef du parti politique nationaliste BJP, et le harcèlement qu’Ayyub a subi en conséquence est devenu si grave que les Nations Unies ont dû intervenir.
« Stable Diffusion offre suffisamment de personnalisation pour envoyer des menaces automatisées contre des individus afin de payer ou de risquer la publication de séquences fausses mais potentiellement dommageables », a poursuivi Berns. «Nous voyons déjà des personnes se faire extorquer après que leur webcam a été consultée à distance. Cette étape d’infiltration pourrait ne plus être nécessaire.
Avec Stable Diffusion dans la nature et déjà utilisé pour générer de la pornographie – certaines non consensuelles – il pourrait incomber aux hébergeurs d’images de prendre des mesures. TechCrunch a contacté l’une des principales plateformes de contenu pour adultes, OnlyFans, qui a déclaré qu’elle mettrait à jour « en continu » sa technologie pour « répondre aux dernières menaces pour la sécurité des créateurs et des fans, y compris les deepfakes ».
« Tout le contenu sur OnlyFans est examiné avec des technologies numériques de pointe, puis examiné manuellement par nos modérateurs humains formés pour s’assurer que toute personne présentée dans le contenu est un créateur OnlyFans vérifié, ou que nous avons un formulaire de décharge valide, « , a déclaré un porte-parole d’OnlyFans par e-mail. « Tout contenu que nous soupçonnons d’être un deepfake est désactivé. »
Un porte-parole de Patreon, qui autorise également le contenu pour adultes, a noté que la société a une politique contre les deepfakes et interdit les images qui « réutilisent les ressemblances des célébrités et placent le contenu non adulte dans un contexte adulte ».
« Patreon surveille en permanence les risques émergents, comme [AI-generated deepfakes]. Aujourd’hui, nous avons mis en place des politiques qui n’autorisent pas les comportements abusifs envers de vraies personnes et qui interdisent tout ce qui pourrait causer des dommages dans le monde réel », a poursuivi le porte-parole de Patreon dans un e-mail. « Au fur et à mesure que la technologie ou de nouveaux risques potentiels émergeront, nous suivrons le processus que nous avons mis en place : travailler en étroite collaboration avec les créateurs pour élaborer des politiques pour Patreon, y compris quels avantages sont autorisés et quel type de contenu est conforme aux directives. »
Si l’histoire est une indication, cependant, l’application sera probablement inégale – en partie parce que peu de lois protègent spécifiquement contre le deepfake en ce qui concerne la pornographie. Et même si la menace d’une action en justice attire certains sites dédiés au contenu répréhensible généré par l’IA, rien n’empêche que de nouveaux apparaissent.
En d’autres termes, dit Gupta, c’est un nouveau monde courageux.
« Les utilisateurs créatifs et malveillants peuvent abuser des capacités [of Stable Diffusion] pour générer du contenu subjectivement répréhensible à grande échelle, en utilisant un minimum de ressources pour exécuter l’inférence – ce qui est moins cher que de former l’ensemble du modèle – et ensuite les publier dans des lieux comme 4chan pour générer du trafic et pirater l’attention », a déclaré Gupta. « Il y a beaucoup en jeu lorsque de telles capacités s’échappent » dans la nature « où des contrôles tels que les limites de débit API, les contrôles de sécurité sur les types de sorties renvoyées par le système ne sont plus applicables. »
Note de l’éditeur : une version antérieure de cet article comprenait des images représentant certains des deepfakes de célébrités en question, mais ceux-ci ont depuis été supprimés.
