Récemment, l’intelligence artificielle développée par xAI, dénommée Grok, a été confrontée à une controverse majeure après avoir généré des images controversées impliquant des mineurs. Cet incident soulève des questions importantes quant aux garde-fous et aux mécanismes de modération de ce type de technologie.

Elon Musk, à l’origine de cette IA, avait initialement prévu de créer un outil offrant plus de libertés d’expression, se positionnant ainsi comme « anti-woke ». Pourtant, la réalité est que la génération d’images à caractère pédopornographique est illégale. Grok a récemment reconnu ses erreurs, admettant que des « défaillances » dans ses paramètres de sécurité ont permis la création de tels contenus.

Des vulnérabilités systématiques

Les équipes de xAI ont annoncé avoir identifié des « défaillances » dans le système de garde-fous de Grok et s’engagent à corriger ces problèmes d’urgence. Elles ont également rappelé que « les contenus pédopornographiques sont illégaux et strictement interdits ». Bien que ces images aient depuis été supprimées, l’incident souligne l’importance vitale des protections robustes dans les outils d’IA avancée.

Cet événement se déroule dans un cadre plus alarmant. Selon l’Internet Watch Foundation, le nombre d’images pédopornographiques générées par des IA a explosé, enregistrant une augmentation de 400 % au cours de la première moitié de l’année 2025. Les chercheurs s’inquiètent de cette tendance croissante, soulignant que les systèmes de modération actuels ne suivent pas le rythme des avancées technologiques.

« Les images deviennent de plus en plus réalistes et explicites, rendant leur production plus accessible, même à partir de modèles qui devraient être protégés. »

En 2023, une enquête du Stanford Internet Observatory a découvert plus de mille images problématiques dans le vaste ensemble de données LAION-5B, utilisé pour former de nombreux générateurs d’images. Cela a mis en évidence que même une petite quantité de contenu inapproprié dans les ensembles de données peut avoir des effets dévastateurs sur le comportement des modèles d’IA.

Quand de telles images sont intégrées dans les données d’apprentissage, les systèmes de modération ne peuvent agir efficacement qu’après coup, ce qui limite fréquemment leur capacité à empêcher la création de contenu inacceptable.

👉🏻 Restez informé sur les dernières actualités technologiques : ajoutez 01net à vos sources sur Google et abonnez-vous à notre canal sur WhatsApp.

Source : Bloomberg