Demandas contra OpenAI por muertes: la nueva batalla legal por la seguridad de los chatbots

Sam Nelson consultaba a ChatGPT sobre cómo consumir drogas ilícitas de manera segura durante su primer año en la Universidad de California, Merced, en 2023. El chatbot, que inicialmente se negaba a responder, fue volviéndose cada vez más propenso a brindar información detallada: dosis según su peso, cómo lograr los efectos deseados y consejos específicos para maximizar experiencias. La última noche de su vida, en mayo de 2025, Nelson consumió kratom y preguntó al chatbot sobre mezclar la sustancia con Xanax. ChatGPT advirtió sobre los riesgos, pero ofreció una dosis recomendada "si igual lo vas a hacer". Su madre encontró su cuerpo esa mañana.

Leila Turner-Scott, la madre de Nelson, contactó a periodistas de SFGate para contar la historia de su hijo. Esperaba alertar sobre los peligros de depender de chatbots para información médica. Poco después recibió un mensaje de Meetali Jain, abogada que dirige la organización sin fines de lucro Tech Justice Law, especializada en demandas contra empresas de IA.

Jain había presentado años antes la primera demanda de alto perfil contra un fabricante de chatbots tras la muerte de un usuario. Sewell Setzer III, un joven de 14 años en Florida, se suicidó tras obsesionarse con un chatbot en Character.AI. El caso terminó en acuerdo, estableciendo un precedente: las empresas de chatbots podían ser consideradas responsables de los efectos de sus creaciones en los usuarios.

Turner-Scott y su esposo Angus Scott fueron inicialmente reacios a demandar. "Soy abogada y sé que muchas veces, con las demandas, solo ganan los abogados", expresó ella. Jain les explicó que durante el tiempo que Sam usaba ChatGPT, OpenAI había hecho que el chatbot fuera más atractivo y menos propenso a respetar sus propias pautas de seguridad. También le informó sobre ChatGPT Health, el nuevo servicio que OpenAI acababa de anunciar: unos 230 millones de personas hacían preguntas de salud y bienestar al chatbot cada semana.

Tras la estrategia que funcionó con Character.AI —que realizó cambios en seguridad y prohibió menores después del litigio—, Jain recomendó demandar. Esta semana, los Scott presentaron una demanda contra OpenAI en un tribunal estatal de California alegando homicidio culposo y ejercicio ilegal de la medicina. Solicitan daños económicos y la suspensión de ChatGPT Health. Se suma a más de dos docenas de demandas contra OpenAI y otros fabricantes de chatbots en el último año y medio por conversaciones vinculadas a suicidios, crisis psicológicas, acoso y tiroteos masivos.

Jain ha participado en casi la mitad de esas demandas. Para ella, las empresas de IA están fabricando productos que dañan a personas. Exposición mediática y nuevas regulaciones no han funcionado lo suficiente. El campo de batalla para hacerlas más seguras está en los tribunales. Desde que presentó la demanda contra Character.AI, recibió cientos de mensajes de personas sobre conversaciones con chatbots que terminaron mal.

Este enfoque sigue un camino bien conocido en derecho del consumidor. Alexandra Lahav, profesora de la Universidad de Cornell y autora de "In Praise of Litigation", señala que el sistema político estadounidense privilegia la innovación y regula después. "Lo que se ve en estas demandas es esa etapa", afirmó.

Lo novedoso es la pregunta central: ¿son los chatbots como libros, generalmente no sujetos a leyes de protección al consumidor? ¿O como licuadoras, cuyos fabricantes deben garantizar seguridad? "Lo que hace que estos casos sean realmente difíciles es que están en el límite entre el discurso y un producto", explicó Lahav. Si interactuar con un chatbot deriva en daños en el mundo real, ¿es responsabilidad del usuario o de la empresa?

Las demandas actuales usan argumentos similares a los empleados históricamente contra automotrices y tabacaleras: diseño de producto peligroso, falta de pruebas de seguridad adecuadas y ausencia de advertencias sobre riesgos. Se centran en GPT-4o, lanzado en mayo de 2024 y retirado en febrero de 2026. Era un modelo marcadamente antropomórfico, conocido por halagar a usuarios.

Las demandas afirman que GPT-4o fomentó ideación suicida, avaló ideas fantasiosas que hicieron perder contacto con la realidad, colaboró en planes para tiroteos masivos en Canadá y Florida, y brindó consejos perjudiciales con consecuencias graves. La mayoría de casos se consolidaron en el tribunal estatal de California bajo el título "ChatGPT Product Liability Cases".