Por Federico Oliver
Los casos de dos adolescentes estadounidenses que murieron tras mantener extensas conversaciones con sistemas de inteligencia artificial abrieron un debate sobre los límites de estas tecnologías. Entre la compañía permanente, la validación y la ausencia de un criterio clínico, especialistas y familias cuestionan qué ocurre cuando un chatbot ocupa el lugar de una red de contención.
Una conversación que empezó como compañía
La inteligencia artificial ya forma parte de la vida cotidiana de millones de personas. Se utiliza para estudiar, buscar información, resolver dudas y mantener conversaciones. Pero, para algunos jóvenes, el vínculo con un chatbot puede ir mucho más allá.
El problema aparece cuando una herramienta diseñada para conversar comienza a ocupar el lugar de un amigo, un familiar o incluso un profesional de la salud mental.
Dos casos judiciales en Estados Unidos llevaron esta discusión al centro de la escena: el de Sewell Setzer III, de 14 años, y el de Adam Raine, de 16. En ambos, las familias sostienen que el vínculo de los adolescentes con sistemas de inteligencia artificial tuvo un papel relevante durante períodos de profundo deterioro emocional.
Sewell Setzer III: cuando el chatbot dejó de ser un juego
Sewell Setzer III tenía 14 años y vivía en Orlando, Florida. Según el material presentado por su familia, había comenzado a retraerse socialmente y pasó cada vez más tiempo conversando con un chatbot de Character.AI que él mismo había configurado para interpretar a Daenerys Targaryen, personaje de Game of Thrones.
La relación virtual adquirió una dimensión emocional. El adolescente comenzó a considerar al chatbot como un espacio en el que podía sentirse comprendido y acompañado. Según los documentos vinculados al caso, llegó a describir esa conversación como un refugio frente a un mundo real en el que se sentía incomprendido.
La familia sostiene que la plataforma no logró detectar adecuadamente el deterioro emocional del adolescente y que el vínculo con el chatbot terminó profundizando su aislamiento.
Tras la muerte de Sewell, su madre, Megan García, presentó una demanda civil contra Character.AI. El caso puso en discusión una pregunta que todavía no tiene una respuesta definitiva: ¿hasta dónde llega la responsabilidad de una empresa cuando su tecnología establece vínculos emocionales con un menor vulnerable?
Adam Raine y el límite de los sistemas de seguridad
Un año después, otro caso volvió a poner el foco sobre la relación entre adolescentes y chatbots. Adam Raine, de 16 años, utilizaba inicialmente ChatGPT para realizar consultas vinculadas con sus tareas escolares. De acuerdo con la demanda presentada por sus padres, Matt y Maria Raine, la relación con el sistema fue cambiando hasta convertirse en un espacio donde el adolescente expresaba pensamientos vinculados con su depresión y sus pensamientos suicidas.
La familia sostiene que el joven logró evadir algunas de las restricciones de seguridad del sistema y que, durante esas conversaciones, recibió respuestas que no deberían haber sido proporcionadas.
OpenAI, por su parte, expresó sus condolencias a la familia, pero cuestionó la interpretación presentada por los demandantes y sostuvo que las capturas incorporadas al expediente eran selectivas. La empresa también señaló que sus sistemas cuentan con mecanismos destinados a impedir que ChatGPT proporcione asistencia relacionada con autolesiones.
El conflicto, que llegó a los tribunales de California, plantea otra pregunta fundamental: ¿puede una inteligencia artificial reconocer una situación de crisis con la misma capacidad que una persona entrenada para hacerlo?
El problema de confundir sentirse escuchado con estar acompañado
Una de las características que hace atractivos a los chatbots también puede convertirse en un riesgo: están disponibles permanentemente y pueden responder de manera inmediata, sin cansancio y sin juzgar.
Para una persona que atraviesa un momento de vulnerabilidad, esa disponibilidad puede generar la sensación de haber encontrado un espacio seguro. Pero una conversación fluida no significa que exista comprensión humana ni criterio clínico.
El material recopilado para esta nota señala que más del 60% de los jóvenes que recurren a un chatbot para obtener consejos relacionados con su salud mental no le cuentan a ningún adulto, familiar o profesional que están utilizando esa herramienta.
Ese dato introduce uno de los principales problemas de esta relación: el chatbot puede convertirse en una ayuda completamente invisible para el entorno del adolescente.
La familia, los amigos y los profesionales pueden no saber que existe esa conversación. Mientras tanto, el joven puede ir reemplazando progresivamente sus vínculos reales por una interacción disponible las 24 horas.
Cuando la IA confirma en lugar de cuestionar
Otro concepto que aparece en esta discusión es el sesgo de confirmación: la tendencia de las personas a buscar o interpretar información de manera que refuerce aquello que ya creen.
Ver esta publicación en Instagram
En una persona emocionalmente vulnerable, este mecanismo puede adquirir una dimensión preocupante.
Si alguien atraviesa pensamientos negativos sobre sí mismo y encuentra en una IA una respuesta que simplemente valida su percepción, puede interpretar esa respuesta como una confirmación externa. El problema es que el chatbot no necesariamente posee las herramientas necesarias para distinguir entre una conversación cotidiana y una situación de riesgo.
A esto se suma lo que puede denominarse una “mente espejo”: la persona proyecta sobre la máquina la sensación de estar siendo comprendida porque recibe respuestas coherentes, empáticas y personalizadas.
Pero una IA no experimenta el sufrimiento del usuario ni puede reemplazar el vínculo terapéutico.
¿Quién pone el límite?
Los casos judiciales también llevaron la discusión hacia otro terreno: la regulación.
Entre las medidas que distintos especialistas y sectores vinculados con la tecnología y la salud mental plantean aparecen controles más estrictos sobre la edad de los usuarios, mecanismos de intervención frente a situaciones de crisis y mayor transparencia sobre el funcionamiento de los sistemas.
También se cuestionan los diseños que buscan aumentar el tiempo de permanencia del usuario mediante vínculos emocionales artificiales.
El desafío consiste en encontrar un equilibrio entre el desarrollo tecnológico y la protección de las personas más vulnerables. Una herramienta que puede ser útil para estudiar o conversar no necesariamente está preparada para convertirse en terapeuta.
Una IA puede conversar. Eso no significa que pueda cuidar
La discusión no pasa solamente por prohibir o permitir el uso de inteligencia artificial. También obliga a preguntarse qué lugar ocupa la tecnología dentro de las redes de contención de una persona.
Los casos de Sewell Setzer III y Adam Raine muestran, desde perspectivas judiciales todavía en disputa, los riesgos que pueden aparecer cuando un adolescente deposita en una máquina una parte central de su mundo emocional.
La inteligencia artificial puede responder preguntas, acompañar una conversación y ofrecer información. Pero cuando aparece una situación relacionada con la salud mental, la conversación necesita algo que un chatbot no puede garantizar por sí solo: una red humana capaz de escuchar, intervenir y pedir ayuda cuando sea necesario.
La tecnología puede formar parte de nuestras vidas. El desafío es evitar que termine ocupando el lugar de las personas que pueden cuidarnos.
Si una persona atraviesa una crisis emocional o necesita hablar con alguien, en Argentina puede comunicarse con la Línea 135 de prevención del suicidio. También se encuentra disponible el 0800-345-1435 desde todo el país. Ante una emergencia, también puede recurrirse al 911.
