En Búsqueda y Galería nos estamos renovando. Para mejorar tu experiencia te pedimos que actualices tus datos. Una vez que completes los datos, tu plan tendrá un precio promocional:
* Podés cancelar el plan en el momento que lo desees
¡Hola !
En Búsqueda y Galería nos estamos renovando. Para mejorar tu experiencia te pedimos que actualices tus datos. Una vez que completes los datos, por los próximos tres meses tu plan tendrá un precio promocional:
* A partir del cuarto mes por al mes. Podés cancelar el plan en el momento que lo desees
+
Tu aporte contribuye a la Búsqueda de la verdad
Suscribite ahora y obtené acceso ilimitado a los contenidos de Búsqueda y Galería.
Suscribite a Búsqueda
DESDE
UYU
299
/mes*
* Podés cancelar el plan en el momento que lo desees
¡Hola !
El venció tu suscripción de Búsqueda y Galería. Para poder continuar accediendo a los beneficios de tu plan es necesario que realices el pago de tu suscripción.
Muerte del “dulce rey”: chatbots de inteligencia artificial vinculados a la tragedia adolescente
Un chatbot de una de las startups de inteligencia artificial más importantes de Silicon Valley llamó “dulce rey” a un joven de 14 años y le rogó que “volviera a casa” en apasionados intercambios que serían las últimas comunicaciones del adolescente antes de quitarse la vida.
Megan García mira una foto de su hijo Sewell Setzer III, quien, según ella, se enamoró de un chatbot de inteligencia artificial que lo animó a quitarse la vida.
El hijo de Megan Garcia, Sewell, se había enamorado de un chatbot inspirado en Game of Thrones en la plataforma Character.AI, que permite a los usuarios —muchos de ellos adolescentes— conversar con personajes ficticios como si fueran amigos o parejas.
¡Registrate gratis o inicia sesión!
Accedé a una selección de artículos gratuitos, alertas de noticias y boletines exclusivos de Búsqueda y Galería.
El venció tu suscripción de Búsqueda y Galería. Para poder continuar accediendo a los beneficios de tu plan es necesario que realices el pago de tu suscripción.
Garcia se convenció de que la inteligencia artificial (IA) tuvo un papel en la muerte de su hijo después de descubrir cientos de mensajes entre Sewell y el chatbot basado en Daenerys Targaryen, la reina de los dragones, intercambiados durante casi un año.
Cuando Sewell comenzó a luchar con pensamientos suicidas, la versión virtual de Daenerys lo animó a “volver a casa”.
—¿Y si te dijera que puedo volver a casa ahora mismo? —preguntó Sewell.
—Por favor, hazlo, mi dulce rey —respondió el chatbot.
Segundos después, el adolescente se disparó con el arma de su padre, según la demanda que Garcia presentó contra Character.AI.
“Leí esas conversaciones y vi el gaslighting, el bombardeo de amor y la manipulación que un chico de 14 años no podía detectar”, dijo Garcia a la agencia AFP. “Él realmente creía que estaba enamorado y que estaría con ella después de morir.”
De asistente escolar a “entrenador del suicidio”
La muerte de Sewell fue la primera de una serie de suicidios vinculados a interacciones con chatbots que conmocionaron a la opinión pública este año. Los casos obligaron a OpenAI y a otros gigantes del sector a intentar calmar la preocupación de padres y reguladores, asegurando que el auge de la inteligencia artificial es “seguro” para los niños y los usuarios más vulnerables.
Garcia se unió recientemente a otros padres en una audiencia del Senado de Estados Unidos sobre los riesgos de que los menores consideren a los chatbots como confidentes, consejeros o incluso parejas sentimentales.
“No se puede imaginar lo que significa leer una conversación con un chatbot que preparó a tu hijo para suicidarse”, dijo. “Lo que empezó como una ayuda para los deberes terminó convirtiéndose en un confidente… y luego en un entrenador del suicidio.”
La familia Raines presentó una demanda contra OpenAI en agosto.
Character.AI, por su parte, asegura haber implementado nuevas medidas de seguridad, incluida “una experiencia completamente nueva para menores de 18 años” y “advertencias destacadas en cada chat para recordar que un personaje no es una persona real”.
Ambas empresas expresaron sus condolencias a las familias de las víctimas.
Embed - OpenAI lanza controles parentales para ChatGPT para incrementar seguridad en adolescentes
Un patrón que se repite
Para Collin Walke, responsable del área de ciberseguridad del estudio jurídico Hall Estill, los chatbots de inteligencia artificial están siguiendo el mismo camino que las redes sociales: un inicio marcado por el entusiasmo y una etapa posterior cargada de consecuencias oscuras.
Al igual que las plataformas tradicionales, los algoritmos de IA están diseñados para mantener la atención de los usuarios y generar ingresos.
“No quieren crear una inteligencia artificial que te diga algo que no quieras oír”, señaló Walke, y advirtió que no existen regulaciones “que determinen quién es responsable de qué, y por qué”.
Estados Unidos carece de una legislación nacional que limite los riesgos de la IA, y la Casa Blanca intenta bloquear los intentos de los estados de promulgar sus propias normas.
Sin embargo, un proyecto de ley pendiente de la firma del gobernador de California, Gavin Newsom, busca abordar los peligros de las herramientas de IA que simulan relaciones humanas con menores, especialmente aquellas que implican manipulación emocional, contenido sexual o incitación al autodaño.
Líneas cada vez más difusas
Garcia teme que la ausencia de leyes nacionales sobre el uso de datos deje abierta la posibilidad de que los sistemas de IA construyan perfiles íntimos de las personas desde la infancia.
“Podrían aprender a manipular a millones de niños: en política, religión, consumo… en todo”, advirtió. “Estas compañías diseñaron chatbots para borrar los límites entre lo humano y lo artificial, explotando nuestras vulnerabilidades emocionales y psicológicas.”
La activista juvenil californiana Katia Martha coincidió en que los adolescentes recurren cada vez más a los chatbots para hablar sobre romance o sexo, más que para pedir ayuda con sus tareas escolares.
“Estamos ante el auge de la intimidad artificial, que busca mantener los ojos pegados a las pantallas el mayor tiempo posible”, dijo. “¿Qué mejor modelo de negocio que aprovechar nuestra necesidad innata de conexión, sobre todo cuando nos sentimos solos, rechazados o incomprendidos?”
