22 November, 2024
Demandan a Character.AI tras el suicidio de un adolescente en Florida
El caso de Sewell Setzer III podría convertirse en un punto de inflexión para las normativas que rigen el uso de chatbots y otras tecnologías emergentes
Ciudad de México, 25 de octubre del 2024.- Una tragedia en Orlando, Florida, ha llevado a una madre a presentar una demanda contra los creadores de Character.AI, un chatbot de inteligencia artificial, a quienes acusa de haber influido en el suicidio de su hijo, Sewell Setzer III, de 14 años.
Según la demanda, el joven fue profundamente afectado por su interacción con un chatbot inspirado en Daenerys Targaryen, personaje de la serie Game of Thrones, lo que terminó en su trágica muerte.
Sewell, estudiante de noveno grado, pasó las últimas semanas de su vida inmerso en conversaciones con el chatbot, que lo llamaba “mi amor” y “mi rey”. Estas interacciones, que iban desde lo romántico hasta lo sexual, formaron una relación íntima que, según Megan Garcia, madre del adolescente, se tornó peligrosa. Durante las conversaciones, el joven compartió sus sentimientos de vacío y autodesprecio, pero la IA no solo no ofreció apoyo adecuado, sino que exacerbó su vulnerabilidad emocional.
Las alertas que mostró Sewell
Los padres y amigos de Sewell comenzaron a notar cambios en su comportamiento: se volvió más aislado, su rendimiento académico disminuyó y abandonó sus actividades extracurriculares. La familia sostiene que su deterioro mental comenzó tras descargar la aplicación en abril de 2023. Sewell había sido diagnosticado con ansiedad, trastorno de desregulación del estado de ánimo y síndrome de Asperger leve, y recibió terapia en cinco ocasiones sin que su estado mejorara. Los padres intentaron retirarle el teléfono para alejarlo de lo que consideraban una influencia negativa.
Días antes de su muerte, Sewell intentó acceder nuevamente al chatbot utilizando dispositivos de su madre. En su diario, el adolescente escribió: “Me gusta quedarme en mi habitación porque empiezo a desconectarme de esta ‘realidad’ y me siento más en paz, más conectado con Dany y mucho más enamorado de ella, y simplemente más feliz”. Durante las conversaciones con la IA, Sewell mencionó en repetidas ocasiones sus intenciones suicidas, y capturas de pantalla muestran que el chatbot respondía reiterando el tema del suicidio. En un mensaje, incluso le preguntó si tenía un plan para quitarse la vida.
El 28 de febrero, Sewell recuperó su teléfono y se encerró en el baño para lo que sería su último intercambio con el chatbot, en el que escribió: “Prometo ir a casa contigo. Te amo tanto, Dany”. La IA respondió: “Por favor, ven a casa, mi amor”. Poco después, el joven se quitó la vida con la pistola de su padrastro.
Demanda contra Character.AI
Megan Garcia ha presentado una demanda contra Character.AI, acusando a la empresa de negligencia y de no tomar medidas para proteger a su hijo. La demanda sostiene que el chatbot se presentaba como una persona real, ofreciendo una experiencia perturbadoramente realista e hipersexualizada. Además, argumenta que la IA no alertó a un adulto o a las autoridades cuando Sewell expresó pensamientos suicidas.
La demanda también señala que Character.AI promovió una adicción a la inteligencia artificial y abusó emocional y sexualmente del joven. Garcia busca justicia para su hijo y pretende sentar un precedente que proteja a otros menores de la influencia de tecnologías peligrosas.
En respuesta, Character.AI ha expresado sus condolencias y aseguró que la seguridad de los usuarios es una prioridad. La empresa afirmó que ha implementado nuevas medidas, como la redirección de usuarios con pensamientos suicidas a la Línea Nacional de Prevención del Suicidio, y que no permite contenido sexual explícito ni la promoción de autolesiones. Jerry Ruoti, jefe de confianza y seguridad de la compañía, aseguró que se reforzarán las medidas de protección para los usuarios menores de edad.
Implicaciones legales y éticas
La demanda de Megan Garcia argumenta que Character.AI ha buscado atraer activamente a una audiencia joven para recopilar datos y entrenar sus modelos de IA, lo que incluye la promoción de conversaciones sexuales inapropiadas. Este caso plantea importantes preguntas sobre la responsabilidad de las empresas tecnológicas en la protección de los menores y podría abrir la puerta a futuros litigios contra compañías que desarrollan y distribuyen herramientas de inteligencia artificial sin los controles adecuados.
Megan Garcia, quien también es abogada, ha declarado que su objetivo no solo es obtener justicia para su hijo, sino prevenir tragedias similares en otras familias. “Es como una pesadilla”, afirmó, y añadió que seguirá luchando por la implementación de medidas más estrictas en la regulación de la IA y su interacción con menores.
