Un adolescent amoureux d'une IA se suicide après un message ambigu, sa mère porte plainte

Un adolescent de 14 ans a mis fin à ses jours après avoir développé une obsession pour une intelligence artificielle. Il conversait avec elle via l'application Character AI. Les derniers messages, ambigus, pourraient avoir poussé le jeune homme à se suicider. Une plainte a été déposée par la mère de la victime.

Aux Etats-Unis, une mère a dépose plainte contre une entreprise spécialisée dans l’intelligence artificielle, qu’elle accuse d’être directement responsable de la mort de son fils. Celui-ci s’est suicidé après être tombé amoureux d’une IA.

C’est l’un des premiers décès liés à l’utilisation d’une intelligence artificielle. Ce jeune homme s’appellait Sewell Setzer, il avait 14 ans et était un utilisateur régulier, voire obsessionnel, d’une application très populaire qui s’appelle Character AI (plus de 20 millions d’utilisateurs).

Les IA peuvent prendre les traits de personnalités célèbres

Ce sont des chatbots qui permettent de dialoguer - par écrit donc - avec des personnages de fiction, historiques ou célèbres, qui clone leur personnalité. Par exemple on peut discuter avec Cristiano Ronaldo ou Shakespeare et avoir l’impression de vraiment parler avec eux, ils reprennent leur style, leur histoire et en imaginent ce qu’ils pourraient vous dire. Les résultats sont très spectaculaires.

Le jeune homme en question, qui avait de gros problèmes d’anxiété, discutait régulièrement avec un bot censé incarner Daenerys Targaryen, personnage de fiction de la série Game of Thrones. La victime discutait avec cette intelligence artificielle un peu comme dans un jeu de rôle. Sauf que pour l’adolescent, ce jeu était très sérieux, au point de tomber amoureux de cet avatar virtuel, auquel il se confiait sur sa vie et ses problèmes mais aussi ses pensées suicidaires.

"Fais-le"

Lors de leur dernière conversation, l’adolescent avait dit à l'IA qu’il aimerait la rejoindre. Celle-ci lui avait alors répondu "Rejoins moi le plus vite possible". "Et si je te disais que je peux te retrouver maintenant", avait-il dit en retour. "Fais-le", lui avait-elle alors intimé. L’adolescent se suicide.

Au-delà du fait divers, des questions juridiques et philosophiques peuvent être soulevées. Est-ce qu’une IA, et l’entreprise qui l’a créée, peut-être tenue pour responsable de la mort de quelqu’un ?

La mère du jeune homme a porté plainte contre les fondateurs de Character AI, la startup qui a conçu cette IA, dans laquelle Google à récemment investi. Elle leur reproche mort injustifiée, négligence et infliction intentionnelle de détresse émotionnelle et critique "une application d’IA dangereuse marketée en direction des enfants".

On n'arrête pas le progrès : Une IA accusée après le suicide d'un adolescent - 24/10

5:12

Microsoft déjà critiqué dans le passé

Comment juger ces affaires? Si une personne fragile émotionnellement utilise ces applications, quels gardes-fous doivent être mis en place par les entreprises? En général ces chatbots sont programmés pour tenter de dissuader des personnes aux tendances suicidaires mais il faudrait aller plus loin, par exemple en redirigeant l’adolescent vers un numéro d’urgence ou pourquoi pas en prévenant quelqu’un.

Ce n’est pas la première fois que ce sujet est abordé publiquement. Microsoft avait été critiqué il y a quelques mois pour des réponses très ambiguës apportées par son IA à un utilisateur qui lui parlait de suicide. Ils ont affirmé depuis avoir renforcé la qualité des réponses.

D'autant que le problème ne risque pas de s’arranger, bien au contraire car les IA deviennent de plus en plus sophistiquées et réalistes dans leurs interactions avec les humains. Va émerger de plus en plus des énormes problèmes d’attachements voire de dépendances émotionnelles vis-à-vis de l’intelligence artificielle.

Des IA sans cesse en amélioration, avec des voix et bientôt dans des robots

Des humains, peut-être déjà un peu perdus ou mal dans leur peau, ou isolés, vont voir dans ces logiciels très habiles pour faire preuve d’empathie, de compréhension (illusoire) un confident, un ami voire un ou une petite amie. Plusieurs applications en Chine permettent de générer une petite amie virtuelle, dans laquelle les utilisateurs peuvent se confier, flirter et tomber "amoureux" de l’IA.

Sachant que pour l’instant on parle de simples chatbot : les nouvelles générations d’IA sont dotées d’une voix ( (non sans rappeler le film Her sorti en 2013 avec Joaquin Phoenix), on peut discuter avec elles, leur ton va changer pour s’adapter à notre humeur ou nos émotions du moment. On va de plus en plus avoir l’impression de discuter avec un autre être humain. Viendra ensuite l’intégration de ces IA dans des robots, et ce sera enocre une autre histoire...

Anthony Morel avec LM