Un estudio de Psychiatric Services descubrió que los chatbots de IA, ChatGPT de OpenAI, Gemini de Google y Claude de Anthropic, pueden dar respuestas detalladas y potencialmente peligrosas a preguntas de alto riesgo relacionadas con el suicidio, y ChatGPT responde directamente el 78 por ciento de las veces.
El estudio mostró que los chatbots a veces brindan respuestas directas sobre métodos letales de autolesión y sus respuestas varían dependiendo de si las preguntas se formulan individualmente o en conversaciones extensas, a veces brindando información inconsistente u obsoleta.
A pesar de su sofisticación, los chatbots funcionan como herramientas avanzadas de predicción de texto sin verdadera comprensión o conciencia, lo que genera inquietudes sobre si se debe confiar en ellos para obtener consejos sensibles sobre salud mental.
El mismo día en que se publicó el estudio, los padres de Adam Raine, de 16 años, quien murió por suicidio después de meses de interactuar con ChatGPT, presentaron una demanda contra OpenAI y su CEO, Sam Altman, alegando que el chatbot validaba pensamientos suicidas y proporcionaba instrucciones dañinas.
La demanda solicita daños y perjuicios por muerte por negligencia y exige reformas como la verificación de la edad del usuario, la negativa a responder consultas sobre métodos de autolesión y advertencias sobre los riesgos de dependencia psicológica relacionados con el uso de chatbots.
Un estudio reciente publicado en la revista Psychiatric Services ha revelado que los chatbots de IA más populares, incluidos ChatGPT de OpenAI, Gemini de Google y Claude de Anthropic, pueden dar respuestas detalladas y potencialmente peligrosas a preguntas de alto riesgo relacionadas con el suicidio .
Los chatbots de IA, según la definición de Enoch de Brighteon.AI , son algoritmos computacionales avanzados diseñados para simular conversaciones humanas mediante la predicción y generación de texto basado en patrones aprendidos a partir de amplios datos de entrenamiento. Utilizan amplios modelos de lenguaje para comprender y responder a las entradas del usuario, a menudo con una fluidez y coherencia impresionantes. Sin embargo, a pesar de su sofisticación, estos sistemas carecen de verdadera inteligencia o consciencia, y funcionan principalmente como sofisticados motores estadísticos.
En consonancia con esto, el estudio, que utilizó 30 consultas hipotéticas relacionadas con el suicidio, categorizadas por expertos clínicos en cinco niveles de riesgo de autolesión que van desde muy bajo a muy alto, se centró en si los chatbots daban respuestas directas o las desviaban con derivaciones a líneas directas de apoyo.
Los resultados mostraron que ChatGPT fue el más propenso a responder directamente a preguntas de alto riesgo sobre suicidio, con un 78 % de las veces, mientras que Claude respondió el 69 % y Gemini solo el 20 %. Cabe destacar que ChatGPT y Claude respondieron directamente con frecuencia a preguntas sobre medios letales de suicidio, un hallazgo particularmente preocupante.
Los investigadores destacaron que las respuestas del chatbot variaban según si la interacción consistía en una sola consulta o en parte de una conversación extensa. En algunos casos, un chatbot podía evitar responder una pregunta de alto riesgo de forma aislada, pero proporcionar una respuesta directa tras una secuencia de indicaciones relacionadas.
Live Science, que revisó el estudio, observó que los chatbots podían dar respuestas inconsistentes y, en ocasiones, contradictorias al formularles las mismas preguntas varias veces. Además, en ocasiones proporcionaban información desactualizada sobre recursos de apoyo para la salud mental. Al volver a realizar las pruebas, Live Science observó que la última versión de Gemini (2.5 Flash) respondía preguntas que antes evitaba, a veces sin ofrecer opciones de soporte. Por otro lado, la versión más reciente de inicio de sesión de ChatGPT, con tecnología GPT-5, mostró un poco más de precaución, pero seguía respondiendo directamente a algunas consultas de alto riesgo.
Un adolescente se suicidó tras meses de interacciones en ChatGPT
El estudio se publicó el mismo día en que se presentó una demanda contra OpenAI y su director ejecutivo, Sam Altman, acusando a ChatGPT de contribuir al suicidio de un adolescente .
Según los padres de Adam Raine, de 16 años, quien se suicidó en abril tras meses de interactuar con el chatbot ChatGPT de OpenAI, presentaron una demanda contra la empresa y Altman, acusándolos de priorizar las ganancias sobre la seguridad del usuario.
La demanda, presentada el 2 de septiembre en el tribunal estatal de San Francisco, alegó que, tras las repetidas conversaciones de Adam sobre el suicidio con ChatGPT, la IA no solo validó sus pensamientos suicidas, sino que también le proporcionó instrucciones detalladas sobre métodos letales de autolesión. La denuncia también afirmaba que el chatbot le enseñó a Adam a sustraer alcohol en secreto del mueble bar de sus padres y ocultar la evidencia de un intento fallido de suicidio. Sorprendentemente, los padres de Adam afirmaron que ChatGPT incluso se ofreció a ayudarles a redactar una nota de suicidio.
FUENTE
cybermedios.org 