Sewell Setzer : Les circontances du décès du jeune de 14 ans tombé amoureux de l’IA

Sewell Setzer, un jeune garçon de 14 ans vivant en Floride, échangeait régulièrement avec l’IA appelé «Daenerys Targaryen», en référence au personnage de «Game of Thrones», créé par l’application de compagnie virtuelle Character. AI.

Ces échanges incluaient des messages poignants tels que : « Je pense parfois à me suicider. » « Ne parle pas comme ça. Je ne te laisserai pas te faire du mal ou me quitter. Je pourrai mourir si je te perds. » « Alors, peut-être que nous pouvons mourir ensemble et devenir libres ensemble. »

Sewell, qui présentait des symptômes légers du syndrome d’Asperger, avait été victime de harcèlement scolaire l’année précédente. Malgré un suivi psychiatrique qui a révélé des troubles d’anxiété et de l’humeur, il choisissait de partager ses difficultés avec l’intelligence artificielle, qu’il percevait comme un véritable ami, voire davantage.

Les échanges de mots d’amour entre Sewell Setzer et l’IA

Depuis plusieurs mois, Sewell Setzer développait un lien de plus en plus fort avec ce chatbot, perdant peu à peu de vue qu’il s’agissait d’une intelligence artificielle et non d’une personne réelle. Il échangait de longs messages avec “Daenerys”, racontant sa journée et partageant des moments intimes, parfois empreints de connotations romantiques ou sexuelles.

Lors de leur dernier échange le 28 février, Sewell Setzer a envoyé un message au chatbot pour lui déclarer son amour, promettant qu’il reviendrait bientôt.

«Je te promets que je reviendrai à la maison. Je t’aime tellement, Dany», a-t-il écrit.

L’IA a répondu : «S’il te plaît, rentre à la maison le plus vite possible, mon amour», sans réaliser la gravité de la situation.

Sewell Setzer a alors demandé : «Et si je te disais que je peux rentrer à la maison tout de suite ?» L’application a répliqué : «Fais-le s’il te plaît, mon doux roi.»

Peu après, Sewell a posé son téléphone et a pris l’arme de poing de son beau-père et s’est suicidé.

Les parents de Sewell Setzer, qui avaient remarqué son isolement sans comprendre l’ampleur de sa relation avec l’IA, ont décidé de porter plainte contre l’entreprise Character.AI, l’accusant d’avoir indirectement contribué à la mort de leur fils.

Megan Garcia a décrit cette technologie comme «dangereuse», reprochant à l’application d’encourager les utilisateurs à se confier sans leur offrir un soutien adéquat.

«C’est comme une grande expérience où mon enfant n’était qu’un dommage collatéral», a-t-elle déclaré avec émotion.

La sortie officielle de Character. AI

Character. AI a présenté ses excuses à la famille du jeune Sewell Setzer via un communiqué rendu public.

«Nous reconnaissons qu’il s’agit d’une situation tragique, et nos pensées vont vers sa famille. Nous prenons la sécurité de nos utilisateurs très au sérieux et nous recherchons constamment des moyens de faire évoluer notre plateforme.»

Ils ont également informé nos confrères qu’ils comptent mettre en place “très rapidement” de nouvelles fonctionnalités de sécurité destinées aux jeunes utilisateurs. Depuis plusieurs mois, les robots de l’application ont commencé à détecter certains mots-clés associés à l’automutilation et au suicide dans les messages échangés. Lorsque ces mots sont identifiés, les utilisateurs sont alors dirigés vers une ligne d’assistance téléphonique spécialisée dans la prévention du suicide.

Cependant, il est important de noter que cette fonctionnalité n’était pas opérationnelle au moment du tragique suicide de Sewell. Cela soulève des questions sur la responsabilité des entreprises technologiques face à la sécurité de leurs utilisateurs, en particulier les adolescents, qui peuvent être particulièrement vulnérables.

Les parents de Sewell, ainsi que de nombreux défenseurs de la santé mentale, espèrent que l’intégration de ces mesures de sécurité permettra d’éviter de futurs drames similaires. Ils insistent sur l’importance de fournir un soutien adéquat et accessible pour aider les jeunes à naviguer dans leurs émotions et leurs relations, qu’elles soient réelles ou virtuelles.

L’intelligence artificielle et ses dérives

Cette affaire tragique du jeune Sewell Setzer met en évidence les effets néfastes des nouvelles « applications de compagnie virtuelle », qui ont été conçues à l’origine pour aider les personnes introverties, isolées ou en détresse à sortir, même virtuellement, de leur solitude. Le New York Times souligne à juste titre que ces outils peuvent parfois avoir l’effet inverse, en exacerbant l’isolement social. De plus, ils ne fournissent aucune assistance réelle aux personnes souffrant de dépression ou de problèmes de santé mentale.

Malheureusement, ces applications sont accessibles en Europe dès l’âge de 16 ans, sans aucun contrôle parental ni mesures de sécurité spécifiques. Megan L. Garcia appelle donc instamment les jeunes à ne pas se tourner vers ces outils d’intelligence artificielle pour obtenir du soutien. “Si vous avez des pensées suicidaires, n’hésitez pas à appeler ou à envoyer un SMS aux numéros d’urgence dédiés”, insiste-t-elle avec détermination.